xiongli54的专栏

分布式资源管理

中国科大软件学院 熊莉 原创文章转载请注明出处

一:互联网的起源

1969

1985

1989

90年代初,商业机构开始进入互联网,使互联网开始了商业化的新进程,也成为互联网大发展的强大推动力。

1995

二:计算机网络技术

硬件设备:网卡是接入局域网或因特网,进行数据的转换与通信;通信电缆是连接计算机与网络设备;集线器或交换机是连接网络中的各台计算机,帮助数据信息在不同机器上进行传输。

网络设备:集线器和中继器是对接收到的信号进行再生整形放大,以扩大网络的传输距离,同时把所有节点集中在以它为中心的节点上;交换机为接入交换机的任意两个网络节点提供独享的电信号通路;路由器是连接因特网中各局域网、广域网的设备,它会根据信道的情况自动选择和设定路由,以最佳路径,按前后顺序发送信号;网桥是一种对帧进行转发的技术,根据MAC分区块,可隔离碰撞,将网络的多个网段在数据链路层连接起来。

协议:一套规则和协定的正式描述,它们管理设备在网络中通信的某一特定方面。协议规定了数据通信中的格式、定时、顺序和差错控制。没有协议,计算机就无法把从另一台计算机传过来的比我流组合成为原始的数据。协议控制数据通信的所有方面,它们决定物理网络如何构建,计算机如何连接到网络,数据在传输中采用怎样的格式,以及数据如何发送。

单播、组播、广播:单播在发送者和接收者之间实现一对一的网络连接;组播在发送者和每一个接收者之间实现一对多的网络连接;广播在发送者发送给网络上所有节点的数据分组,通过广播地址进行识别。

CSMA/CD检测电缆上的电信号活动。当设备检测到没有其他计算机在传送帧或载波信号时,就会发送信息。

三:互联网架构的演变

(1)物理分离webserver和数据库:由开始直接在互联网上搭建一个网站,随着访问人的数量增大,服务器响应的速度也越来越慢,而此时因为应用与数据库的互相影响太大,于是将应用和数据库从物理上分享,变成了两台机器。

(2)增加前端页面缓存:随着访问的人数越来越多,访问数据库的操作太多,导致数据连接竞争激烈,但数据库连接又不能开太多,会造成数据库机器压力增加,反而得不偿失,于是提出了对相对静态的页面缓存,保存在机器上,这样用户第二再访问的时候不必再去访问数据库。

(3)增加页面片段缓存:为了更进一步的提高性能,尝试将动态页面的相对静态部分也缓存起来,这样可以大大提高访问速度。

(4)数据缓存:由于用户在进行操作时需要获取数据信息,对同一用户不需重复操作,如此可以将用户的数据信息缓存到本地内存。

(5)增加webserver:如果想要更进一步的提高服务器的访问性能,采用多台服务器为更多的用户服务,这样用户访问的时候可以让更多的服务器服务。

(6)分库:由于数据库中连接,修改等操作太多,竞争过于激烈,数据库机器不能一下子为这么多的程序服务,因此选择将数据库集群和分库策略。

(7)分表、DAL和分布式缓存:随着系统的不断运行,数据量开始大幅度增长,按照分库的思想开始做分表的工作,而此时应用就要开始关心分库分表的规则等,所以增加一个通用的框架来实现分库分表的数据访问,此时发现之前的缓存同步方案也出现了问题,因为数据量太大,导致现在不太可能将缓存存在本地,然后同步的方式,需要采用分布式缓存方案了,于是将大量的数据缓存转移到分布式缓存上。

(8)增加更多的

(9)数据读写分离和廉价存储方案:由于添加的

(10)进入大型分布式应用时代和廉价服务器群:不断的增加

从上面可以看出为了使信息能够在不同的用户之间通信使用了一系列的技术来支持,并实现资源的共享。与随后出现的

整个网站架构的经典演变过程都和上面比较的类似,当然,每步采取的方案,演变的步骤有可能有不同,另外,由于网站的业务不同,会有不同的专业技术的需求,像数据库集群、数据挖掘、搜索等,但在真实的演变过程中还会借助像提升硬件配置、网络环境、改造操作系统、CDN镜像等来支撑更大的流量,因此在真实的发展过程中还会有很多的不同,另外一个大型网站要做到的远远不仅仅上面这些,还有像安全、运维、运营、服务、存储等。

四:SDN的诞生

传统的架构已经不适应新的业务需求了,需要太多的手动操作,网络变得更困难了,网络操作需要跟其他的

从路由器的设计上看,它是由软件控制和硬件数据通道组成。软件控制包括管理以及路由协议等,数据通道包括针对每个包的查询、交换和缓存。如果将网络中所有的网络设备视为被管理的资源,可以抽象也一个网络操作系统的概念,这个网络操作系统一方面底层网络设备的具体细节,同时还为上层应用提供了统一的管理视图和编程接口。这样基于网络操作系统这个平台,用户可以开发各种应用程序,通过软件来定义逻辑上的网络拓扑,以满足对网络资源的不同需求,而无需关心底层网络的物理拓扑结构。

openflow

1

a)物理端口,即设备上物理可见的端口;

b)

c)OpenFlow

2)流表

OpenFlow

在一条规则中,可以根据网络包在

3)通信通道

OpenFlow

OpenFlow规范中定义了三种消息类型:

a

b

生的某些异步事件的消息,主要包括

c

Openflow的应用

随着

a)Flowvisor

网络虚拟化的本质是要能够抽象底层网络的物理拓扑,能够在逻辑上对网络资源进行分片或者整合,从而满足各种应用对于网络的不同需求。为了达到网络分片的目的,

b)负载均衡

传统的负载均衡方案一般需要在服务器集群的入口处,通过一个

c)绿色节能的网络服务ElasticTree

在数据中心和云计算环境中,如何降低运营成本是一个重要的研究课题。能够根据工作负荷按需分配、动态规划资源,不仅可以提高资源的利用率,还可以达到节能环保的目的。

五:镜像网站技术和CDN内容分发网络

人,都有不能称心如意的时候,都有愿望落空的窘迫,

xiongli54的专栏

相关文章:

你感兴趣的文章:

标签云: