C114通信网  |  通信人家园

资讯
2021/9/23 09:30

中兴王德政:大数据架构演进,融合是主旋律

C114通信网  

9月17日,由国家工业和信息产业部、湖南省人民政府联合主办的2021世界计算大会在长沙举行。

中兴通讯中心研究院总工王德政在会上发表了题为“生态融合趋势下的大数据架构演进”的主题演讲,分享了中兴通讯对大数据生态发展的思考与探索。

中兴通讯中心研究院总工王德政发表主题演讲

他表示,要实现“以分布云为基础,覆盖全场景部署”的生态融合的大数据架构,需要面对基础设施融合、数据管理融合、计算框架融合这三方面的挑战。

在王德政看来,大数据与云基础设施的融合过程,是大数据逐步放弃存储计算一体化模式的过程。在此过程中,存算分离带来的计算资源调度和性能下降问题是主要挑战。而根据不同的应用场景,采用从基础设施到应用的多种技术进行协同处理,是解决这一问题的重要途径。

在数据管理方面,从大数据的视角看,数据仓库和数据湖均越来越重视数据价值的实时性,两种模式的融合是必然趋势。湖仓融合将提供批流融合的计算和存储,统一元数据服务向上提供无缝的数据开发和管理体验。同时,从数据库角度看,OLTP与OLAP向HTAP的融合是另一条技术路线。

王德政认为,大数据系统向生产系统延伸,使得原本只能批处理的数据具备了流处理的基础。当前批流分设的架构,不仅会造成数据孤岛与重复,还造成批流任务无法统一管理等系统性问题。批流一体的计算框架能够改善批流分离造成的数据孤岛,统一任务管理,并且还具备数据处理实时性高、硬件资源需求均衡等优点。

“未来生态融合的大数据架构,一定具备基础设施融合、数据统一管理、计算模式统一的特征,并能够在任何地点提供任何规模的全场景算力服务。”

给作者点赞
0 VS 0
写得不太好

  免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2024 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141