C114通信网  |  通信人家园

技术
2020/7/3 15:34

谈CDN网络 — 论网络服务的未来

移动Labs  王一鸣

作者:王一鸣

2004年毕业于上海大学通信工程系,2015年获得上海交大在职GCT硕士学位(项目管理专业)。

超15年的运营商通信网络运营工作经历,2017年开始物联网的产业研究及撰稿,2018年起始参与公司的物联网建设及运营,专职于物联网业务的技术支持。

Labs 导读

二十世纪八十年代,互联网出现在了人们的工作和生活中,这个神奇的技术为它的使用者打开了一个崭新的信息化的世界。从网页浏览、电子邮件,到文件共享(下载)、联网游戏,再到手机直播、在线导航等,绝大多数人已经无法离开互联网,它让“信息和服务”的获取变得如此便捷:拇指点几下,便心想事成。

通过互联网,玩家可以在网络游戏中“驰骋”,工程师可以远程操作企业系统,学者可以在搜索引擎中查找文献,消费者可以登录电商平台购物,学生可以打开平板上一节在线课程…..不过,在享受互联网的便利之时,总有一个特别让人烦恼的问题:“网速”,困扰着每一个“冲浪”人。

在一些关键时刻,上网速度就是一个令人无比抓狂的问题:网络游戏中组队打“BOSS”-卡得像在“放映PPT”,文献下载-速率只有“几Kb”,购物付费-遭遇“404(页面丢失)”,在线上英语课-只听到声音却看不到老师的口型…..越来越多的人连线到互联网,互联网则越来越拥挤……越来越“慢”……根据调查,在上网冲浪过程中,30%的用户不能接受超过4秒的等待时间(点击网页链接后需要等待4秒才呈现页面)。互联网服务可以向用户提供丰富多彩的信息资讯,但只要“迟到”就会被用户放弃。网站(或其它服务)的响应速度,成为了客户留驻的前提条件。

随着互联网的体量越来越庞大,信息服务越来越复杂,互联网工程师们的“头”也越来越大。工程师们要保证每时每刻的网速都畅通无阻,已变成一件“不可能完成的任务”。许多的“不确定”因素都会降低网络性能,破坏用户体验:网络容量的瓶颈、设备故障、突发的业务流量、应用软件系统的BUG、人为破坏(黑客攻击)等。其中,网络容量(带宽)的瓶颈是一个最关键的持续影响因素, 对于一个“从服务器到终端”的互联网服务,只要中间的任意环节存在带宽瓶颈,出现数据流拥堵,那就势必造成服务“延迟”、“卡顿”。

对于那些不懂互联网技术的普通用户来说,信息服务的获取变得既方便又高效。然而,其不确定性也同样困扰着用户:一旦关键时刻出现问题,只能望“洋(互联网)”兴叹,束手无策。

1 CDN的诞生

1995~1998年间,Tim Berners Lee(万维网创始人)预见到了互联网越来越拥堵的趋势,于是向麻省理工的同事们求助。其中,有一位应用数学教授:Tom Leighton(以研究并行算法和体系结构著称),面对这一挑战,开始成立算法小组,并着手于研究“如何解决分发互联网内容”。而后,算法小组研究出了数学运算方法,可以在大规模的分布式服务器网络中实现内容的智能分发(路由、传递和复制),并于1998年成立Akamai(首家CDN服务商),在1999年成为Yahoo!(当时全球访问量最大的网站之一)的供应商,开启了这一技术的商业化之旅。2000年, Chinacache(蓝汛)获得了中国的CDN试运行牌照,成为CDN领域“吃螃蟹的人”。

在经历了互联网发展的(2001~2002年)低谷期后,2003年Akamai率先提出并采用了“动态网站加速”的方法,之后迎接上了互联网的又一个高速发展期。在2005年CDN进入了高速发展期,不仅许多CDN企业诞生,还形成了CDN联盟。在国内,2005年网宿科技全面进军CDN市场,同年从网宿走出的人才成立了帝联公司。

2005年到2012年,越来越多的CDN企业或CDN网络(企业自建CDN)出现在互联网中,此时的中国CDN市场特别热闹。2006年~2008,淘宝CND诞生;2010年,成立不久的Cloudflare也进军中国市场;2011年,YY语音为其视频业务,搭建了一个独立的分发网络;同年,盛大云、又拍云和七牛云等更多CDN企业出现在了CDN市场中。

2014年开始,云CDN开始发力,淘宝CDN演化成了阿里云CDN,吹响了云计算厂商全面进军CDN市场的号角,到2018年阿里云CDN的市场份额(30.6%)超过了传统CDN厂家的网宿(28.4%)。

近几年,创新型的CDN厂家开始“蹿个儿”:以网心科技、七牛为代表的“业务专注型”CND厂家,在细分领域中崭露头角,提供具有创新力的增值服务。

2 CDN的特性

CDN网络针对互联网应用,提供“网络加速服务”。

从字面意思来看,CDN(Content Delivery Network,内容分发网络)首先是一种“网络”(Network),是为传递某些应用数据而建的专用网络,亦是在现有的Internet(包括移动互联网)中新增加的一层网络架构(称为“Cache层”)。在互联网之中,CDN网络自成一个庞大的网络体系,通过其网络可以直接连接到遍布各地的互联网服务接入点。

利用CDN网络,运营企业可以将信息应用的内容发布到最接近用户的服务点(即互联网服务器)。

在用户访问互联网服务的时候,“边缘”服务就可以将应用内容高效、高质量地推送给用户。这种“就近”服务的方式,可以有效地提高用户访问网站的响应速度,改善用户的上网体验。

将互联网服务部署在用户身边,避免了信息数据在庞大且“深不可测(不稳定、不可靠)”的互联网中,需要穿越漫长的网络路径才能被送达。

它带来的好处主要有两个方面:

云端侧(应用端):避免(源服务点)集中式部署带来的故障风险,减轻因突发流量而造成的服务压力。

终端侧(客户端):保证数据的传送质量(保障网络带宽、降低传输时延、提高服务的稳定性和可靠性等)CDN“分布服务、边缘接入”的商业模式之所以会获得成功,不仅在于他在网络技术上的质量优势,还在于在经济上的效率优势:

由于“大众用户对互联网服务的访问”基本符合“二八定律(帕累托定律,Pareto Principle )”,即大多数的互联网访问(80%的访问需求)集中在小部分互联网内容(20%的信息服务)上。所以,对于互联网企业,只要能够在靠近用户的地区缓存20%的热点内容,就能较高效率、较低成本地满足用户需求,改善用户体验。

CDN网络通过对热点内容的分布式部署,不仅缓解源站集中性的流量压力,提升互联网服务的访问速度和质量,还有另一个重要的作用,就是它可以打破多个电信运营商网络之间的带宽瓶颈,实现跨运营商的网络疏通(当源站在A运营商机房内,而访问客户在B运营商网络中,用户在访问源站时的网络质量,容易受限于A/B之间网络带宽、流量策略等的影响。)

3 CDN的技术实现

针对不同的业务类型,CDN的网络结构和应用功能可能会有很大的差异(规模、层级等),但它们业务加速的技术架构和原理在整体上是一致的。

CDN核心的技术功能,是通过智能化的DNS解析,将离用户最近的业务服务器地址返回给用户,使用户能够访问到最合适的服务器,并且做到“服务器内容缓存的策略”适应于“用户偏好”(例如:某用户喜欢只看电视剧开头15分钟,则缓存策略也倾向于就缓存前15分钟的视频分片),致使用户体验达到最佳。

3.1  CDN网络结构

CDN网络的基本逻辑功能,由3大系统多种类型的功能节点组成:

三大系统包括:业务系统、调度系统、管理系统;

功能节点包括:内容中心节点、区域节点、边缘服务节点、全局内容路由节点、管理平台、业务配置系统等

3.1.1  业务系统

内容中心节点、区域节点和边缘服务节点,是CDN网络的主要业务节点。三者自上而下形成了三级的网络结构,共同组成CDN的业务系统,实现“数据业务”功能。在CDN网络中的数据业务功能,包括对用户访问内容的接入、存储/缓存、处理(数据切片、转码等)和分发。

3.1.2  调度系统

调度系统是CDN网络的核心能力,其作用就是能动态、智能地将合适的互联网服务提供给用户,在用户和服务之间构建起一座稳定(网络质量有保证)、简短(尊崇“就近”原则)、高速(链路带宽满足需要)的“桥梁(数据链路)”。

调度系统包括全局内容路由(RR:Request Routing)功能和本地负载均衡(SLB)。

全局内容路由,即全局负载均衡(GSLB:Global Server Load Balancing),实现对用户服务请求的统一调度,将最合适的边缘服务节点(或区域SLB节点)告知用户并提供相应服务。全局内容路由功能通常集中部署于全局内容路由节点上,作为调度功能的核心节点,可以针对不同用户配置不同的调度策略,并实时检测CDN的网络拓扑和节点负载,从“业务特性”、“网络状态”两个维度实现灵活、智能的全局调度功能。

本地负载均衡,实现CDN网络区域内的调度功能,将适用的服务节点提供给用户。三类主要业务节点(中心/区域/边缘节点),除了部署存放业务内容的缓存服务器之外,通常还都具备SLB功能(本地负载均衡)。

3.1.3  管理系统

管理系统主要包括网络管理、业务管理和对外接口,通过集中部署管理平台、业务配置系统等来实现。

网络管理,包括对网元节点和网络的监控、故障处理、性能分析、网络参数配置、网络安全防护等。

业务管理,包括内容管理(对CDN内容的登记、存储、推送、回收等操作进行策略配置和信息管理)、CDN业务管理(对路由内容、调度策略等进行配置)、计费及计费管理、业务统计、服务日志管理等。

开放接口,对CDN网络的内部或外部系统,提供各类信息服务和网络功能。例如用户的源站系统可以通过开放接口,将自身的业务内容导入进CDN网络内。

3.2  CDN的基本业务调度流程

业务调度功能是CDN网络的核心能力,对于不同类型的业务和质量需求,CDN用户及运营者可以选择不同的调度方式来实现网络资源的调配。主流的调度方式包括DNS调度、HTTP调度、RTSP调度等。

DNS调度和HTTP(重定向)调度是最常见的调度方式之一。不同的CDN网络在调度流程的细节方面会有一定差异,但基本原理是一致。两种调度的基本流程如下:

3.2.1  DNS调度

1、客户端本地DNS:用户操作客户端,向本地DNS提交需要访问的网址域名

2、本地DNS上级DNS:当本地DNS无法解析域名时,会逐级向上请求DNS解析

3、本地DNSGSLB:本地DNS获得了GSLB的信息后,会向GSLB请求域名解析

4、GSLBSLB:GSLB根据用户源IP地址、访问URL,选择一台适合用户的区域负载均衡设备,并要求提供服务器地址

5、SLBGSLB本地DNS客户端:区域负载均衡设备会选择一台合适的缓存服务器,并将该服务器的IP地址返回给GSLB,再通过本地DNS告知客户端

6、客户端缓存服务器:用户向缓存服务器发起业务请求,获得互联网服务

3.2.2  HTTP(重定向)调度

1、客户端本地DNS:用户操作客户端,向本地DNS提交需要访问的网址域名

2、本地DNS根DNS客户端:当本地DNS无法解析域名时,会逐级向上请求DNS解析。根DNS解析获得GSLB地址后,会将GSLB地址返回给客户端

3、客户端GSLB:用户操作客户端,向GSLB提交需要访问的网址域名

4、GSLBSLB:GSLB根据用户源IP地址、访问URL,选择一台适合用户的区域负载均衡设备,并要求提供服务器地址

5、SLBGSLB客户端:区域负载均衡设备会进一步根据用户源IP地址、访问URL,以及区域内的系统负载、网络故障等情况,为用户选择一台合适、“健康”的缓存服务器,并将该服务器的IP地址返回给GSLB,并最终告知客户端

6、客户端缓存服务器:用户向缓存服务器发起业务请求,获得互联网服务在调度策略中,不仅需要考虑用户的位置,为用户实现“就近”服务,还需要考量CDN网络内部负载情况、流量分配策略、线路资费等因素。在全局负载均衡(GSLB)和区域负载均衡(SLB)中,通过各种负载均衡算法工具,来合理分配和调度CDN内部资源(服务器CPU负荷、服务器内存、磁盘存储、网络带宽等),并实现对外部需求(业务量需求、QOS质量要求等)的最佳匹配。

3.3  CDN的基本内容访问流程

在边缘服务节点上,基于成本和效率的考量,不会缓存全量的业务内容。节点需要通过缓存技术和相应算法,动态地筛选并更新节点上的缓存内容,来提高区域的互联网服务命中率。缓存技术不仅需要考量服务内容的业务特性,还需要掌握系统内部信息,来保证资源分配、服务分布的合理性和可靠性。(注释:业务特性包括访问时间段、访问频率、源内容的更新频率等;系统内部信息包括网络拥塞情况、故障情况、边缘服务的成本等)如果在用户访问的边缘服务节点(缓存服务器)上,实际并没有用户需要的服务信息,而区域均衡设备依然将它分配给了用户,那么这个服务节点就要逐级向上级服务器请求相关内容,直至追溯到网站的源服务器将内容拉到本地,即访问流程为:

边缘服务节点区域服务节点内容中心节点源站点

3.4  CDN最佳的调度和访问流程

以上介绍的基本调度/访问流程,可以说是“最不理想”的业务流程:调度和访问需要经过全部功能节点才能够完成。而“理想”的业务流程,是由CDN网络系统通过采集各种业务和系统信息,运用负载均衡技术(包含各种负载均衡算法)、缓存技术(包含各种缓存算法)、智能化的用户访问信息分析及其它信息技术,来构建调度和访问的最简化的路径,即尽力实现“客户端发起业务请求后,在本地DNS中获得边缘服务节点地址,并由边缘服务节点将已经缓存的内容直接返回给客户端”。

4 CDN的玩家

目前,CDN企业主要有4类:创新CDN、云CDN、传统CDN、小CDN厂家。

传统CDN,最先占有市场,其规模大边际成本低,CDN通用性高,并最早建立起了CDN生态集群。运营商CDN,从特性和优势上来看,也属于传统CDN类型, 只不其CDN网络商业化入局较晚。

云CDN作为后起之秀,实现了网络服务和云(计算)服务配套组合,其基建服务能力强(安全、开发服务),成本低,可以自己用,也可以交付别人使用。

创新CDN,擅长于在某些行业垂直领域或技术领域进行深耕,能够提供丰富的增值服务,自身的软件开发能力强,业务灵活性高,服务更平台化。许多创新CDN也可以称为融合CDN,在实际应用中可以“OTT(Over The Top)”其他CDN网络(即租用其它CDN网络资源),专注于自身的业务创新。

在CDN网络生态中,还有一些小CDN玩家,他们通常附属在一些CDN集群中,体量小,无法独立成网,但可以作为CDN节点提供区域的网络服务。

5 国内CDN的发展格局

传统CDN最早进入CDN领域,在CDN发展初期具有网络规模和成本领先的优势,传统CDN厂家逐渐组建了各自的CDN站点集群。

2015年前后,云CDN开始入局,提供云服务的互联网厂商(腾讯、金山、阿里等)天生自带业务流量、全国性的网络支持,其CDN网络发展势头逐渐超过传统CDN。2016年云CDN发力,2017年传统CDN开始出现亏损(蓝汛、帝联)。

目前,创新CDN逐渐开始崭露头角(七牛云等)。创新CDN可以利用其它CDN资源进行CDN部署,并提供更高层次的增值服务(图片水印、文件压缩剪裁、网络状态智能检测等)。融合CDN具有OTT其它CDN厂家的特征。

近2年,虽然网络业务依然高速增长,但全国的CDN部署已经鲜有“空白”(在全国范围内,CDN网络的大盲点已经很少),且很少有新的玩家进入CDN领域了,包括第三方小厂家。

从这一态势可以看出:CDN产业(网络通信产业)整体上依然属于资源密集型行业,一旦实现全国市场(地域)的覆盖,CDN产业的发展就陷入了“滞涨”的状态。虽然,新兴互联网业务(例如视频直播、短视频等)依然在高速增长中,但“大面积”的基础建设已经失去了(投资)驱动力,CDN的增速趋于稳定,未来的竞争和发展逐渐成为“老玩家们”的游戏。

6 从CDN网络的历史看通信业的未来

6.1  通信网络的相似性

CDN网络“依附”于互联网,并作为互联网的增值型网络,其网络/技术整体架构和互联网、运营商网络都非常相似,只是缺少了一些功能单元(比如和运营商网络相比,没有无线基站),并且网络“体量”小很多。

6.1.1  网络结构的相似性

全国全球覆盖的网络架构,基本都为典型的树状结构,呈现一个从中心向边缘延伸的网络形态。

以国内电信运营商的“IP承载网”来举例,即呈现“核心层(根)” ->“汇接层(干)” ->“接入层(枝)”的三级树状网络架构CDN网络同样也为三层级的树状结构:内容中心节点->区域节点->边缘服务节点。

6.1.2  网络功能的相似性

运营商网络(移动网络)具有几大功能:无线(基站)、传输(远距离的通信)、核心网(移动性管理、基本电信业务)、数据网(互联网业务)、网管系统、计费系统。

从功能特性来看,运营商网络的功能和CDN的三大系统有着比较明确的对应关系:

CDN的“业务系统”,就是其最基础的承载网络(系统),类似于运营商网络中的传输网络(包括承载网)、无线基站等系统设施。

CDN的“调度系统”,为用户的业务分配相应的网络资源,运营商网络中的核心网和数据网也承担了类似的角色。核心网实现移动用户的移动性管理和基础电信业务,为用户的登记、漫游、切换、主被叫通话、短信收发配给相应的网络通道和系统资源。数据网,为用户提供互联网接入的锚点(公网IP地址等),以及提供最基本业务质量报障(网速带宽等)。此外,在运营商网络内部也有类似于SLB的功能技术,能够在多台同类设备上实现业务的负载均衡。当然,和CDN比起来,运营商对网络资源的“调度”还不够灵活、动态,并缺少“业务导向”。

CDN的“管理系统”,是网络运营、维护的平台,实现对网络、业务的系统性管理,类似于运营网络中的网管系统、计费系统等各类业务平台。运营商网管系统的功能包括:告警监控、网络参数配置、网络性能分析和预警、业务指标分析、业务日志、业务(通信信令)跟踪、用户的业务配置等。运营商计费系统,顾名思义包括了计费策略、账单管理、用户信息管理、业务信息管理、业务全生命周期管理等功能。由于CDN网络和运营商网络本质上都是“网络”,所以两者的网络管理系统从功能性来看并没有太大差别,虽然两者对各类功能的实现和呈现可能截然不同。

6.1.3  商业发展和运营的相似性

虽然,国内的CDN企业和运营商企业,在企业性质、组织结构、项目运作、产品开发等方面有很大差异,但在网络发展和运营的模式上,十分相近。

CDN和运营商企业的发展动力都是“由资本投资驱动”,两者都具有鲜明的通信行业发展特征:

1)技术标准化是发展的基础;

2)市场发展到一定程度就形成了“自然垄断”;

3) 边际效益递增:在超大规模化运营的情况下,产能扩容的成本可能会“降低到忽略不计”。

以上两者同属于通信领域的基础设施:CDN网络是运营商网络的增值和补充,运营商网络则是CDN网络的“地基”。

运营商的网络运营服务,(参照ISO-通信领域相关规范的定义)大致可划分为“故障”、“配置”、“计费”、“性能”、“安全”五个大类。仔细对照前文对CDN功能架构的描述,这五类运营工作也是CDN网络核心的运营管理内容。

6.2  驱动力的转型

观察CDN如今的发展趋势:一方面具有超大流量需求的互联网头部企业,都会部署或扩建自己的核心CDN节点数,以控制CDN的成本增长(2020年初,字节跳动开始部署自己的CDN网络);另一方面,新兴融合CDN入局,提供了个性化的增值服务,软件开发在CDN运营中的比重逐渐加大,面向开发者的“CDN开发运营平台”逐渐有了孕育的场景和基础。

整体来看,和互联网电商的发展规律类似(先满足大众普遍的网购需求,再朝垂直领域深耕),CDN的发展也会遵循先满足大众化的网络应用(上网、游戏、下载、音视频等)需求,再逐步向个性化、专业化、复杂化的应用场景渗透。

可以预见,越来越多的企业也会将他们基于网络的行业应用(非面向公众的互联网应用,如远程办公/会议系统、资产管理系统等)放置于CDN之中,以满足专业应用对网络性能的个性化要求。

传统通信网络的发展方向,和CDN网络是趋同的:5G网络发展的其中一个方向(即“5G ToB(To Business,即面向企业用户)”),正是为了联通各行业的信息系统而设计的。

意欲数字化转型的传统行业,具有强烈的数字化资产的管理需求和“海量信息流”的运营需求,他们对信息处理(包括网络)的质量要求又完全不同于公众对网络应用的需求。为了满足传统行业的创新需要,与5G相关的许多概念和技术被广泛推崇:

三大应用场景(eMBB、URLLC、mMTC)适配于各行业更复杂多样的网络需求;各类新兴技术概念(网络切片、边缘计算-MEC、波束成形)则更有利于垂直化(针对行业应用)的网络定制和部署。

总之,不论是CDN还是传统通信网络,它们起初作为服务公众的信息化基础设施,在实现了(公众)市场的全覆盖后,自然会向非公众领域的行业进行衍生。然而,新的领域并不是一个“需求统一”、“能够标准化部署”的市场,所以网络发展的驱动力也逐渐发生了转型,即由“技术标准先行、投资驱动”的发展模式,走向“平台生态先行,需求驱动”。

6.3  面向创新的网络运营

驱动力的转变,使得网络不仅需要满足“连接”的需求,还需要满足“开发(创新)”的需求,这对于传统通信领域的运营商企业来说并不是容易的事情。

在CDN的发展历史中,可以发现“投资驱动型”的CDN企业(传统CDN企业、云CDN),其商业模式都是通过海量的资源投入和网络布局,来获得市场竞争力和商业利润。他们的网络规模越大,竞争力越强,越追求稳定和规范。在这种追求规模的发展模式下,对于网络的增值开发和个性订制,与“小而美”的创新CDN企业相比较,传统/云CDN企业往往缺乏灵活性和敏捷性,在垂直领域的拓展驱动力也略显不足。

通信网络发展到现阶段,传统市场已经饱和,“通信流量”的增长不再依赖于网络覆盖的扩张和纯粹的资源投入,而是需要转型为一个“为创新而服务”的网络:既需要能够融合传统行业技术,助力于行业系统的开发,又需要具备数字化运营管理能力,支持产品的迭代。整个通信行业的进一步发展,需要形成一个能支撑创新的产业生态,并支持一些企业在商业模式和组织形式上“破茧”而出,这些企业可以是传统企业转型,也可以是创新企业孵化。

对于企业和组织,面对复杂的行业数字化转型需求,其根本无法通过“简单地堆砌”各种新兴的技术和概念,并固守传统的通信产品形态和运营模式,来实现灵活、订制的网络服务。要在传统产业中精耕细作,赚取产业转型升级的溢价,就需要通信企业和组织率先实现转型(或局部转型),调整企业发展的策略,重新设计网络运营的模式,以“创新驱动”为目标,对组织内部的人才流、资金流、数据流进行重新规划,形成通信行业新的良性循环(简单来说就是形成以创新、服务为核心的“投资-创新-服务-盈利”商业循环)。

给作者点赞
0 VS 0
写得不太好

免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2024 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141