专题
2026/5/18 16:42

面向海量数据迁移的高通量传输技术研究

0
0

本文版权为《邮电设计技术》所有,如需转载请联系《邮电设计技术》编辑部

摘        要:在应对海量数据广域传输任务时,IP 网络的效率显著不足,难以满足如东数西算等远距离、大规模的数据迁移场景的需求。深入剖析了导致传输效率低下的原因,并在此基础上,提出了一系列提升传输效率的技术方案建议。

关键词:传输控制协议;带宽时延积;高通量;远程直接数据访问

doi:10.12045/j.issn.1007-3043.2026.04.011

1  概述

1.1 研究背景

随着数字中国战略与东数西算战略的深入实施,国家正积极促进算力资源、业务及数据的高效流通,催生了一系列跨地域的海量数据传输需求。若采用低速率专线电路,海量数据的传输周期过长,难以体现时间效率;而若选择高带宽专线,则受限于 IP 网络中传输控制协议(TCP)的流量与拥塞控制技术瓶颈,难以充分发挥高带宽专线的传输潜能。国内某运营商的实地网络测试结果显示,在 5 000 km 的远距离传输场景下,即便采用 100G带宽的电路进行海量数据传输,其实际有效吞吐量也仅约能达到电路带宽的14%。因此,需要采用更加高效、可靠的数据传输技术来提高数据传输效率及传输质量。

1.2 海量数据迁移场景

1.2.1  东数西算场景

在国家提出的东数西算工程中,通过“东数西存”“东数西渲”“东数西算”优化数据中心布局,实现东西部存力、算力资源共享关系的合理匹配,这必将需要频繁地进行海量数据的远距离传输。

1.2.2  智算中心场景

人工智能领域,基础模型和行业模型的训练均依赖海量的模型参数与样本数据。为了提升训练的精度,需要的训练样本数据量也日益增大,通常可达TB至PB量级。在大模型训练阶段,这些数据需被导入至智算中心;训练结束后,训练数据及结果还需回传给用户;在应用阶段,训练完成的模型及其参数则需部署至推理服务器

1.2.3 科学计算场景

在科研领域,特别是在超算快速发展的背景下,超算中心面临着大规模数据的导入与导出需求。以FAST天文数据计算为例,FAST每年需处理约200多个观测项目,每个项目产生的观测数据量可达TB至PB量级,其年产数据量约为15PB。

1.2.4 其他行业场景

在其他行业同样存在海量数据远距离传输的需求。以影视素材的传送为例,影视节目的拍摄素材需经后期制作公司进行剪辑、渲染。根据拍摄和制作周期,这些拍摄素材需批量传输至后期制作公司所在地。一部大型综艺或影视节目的原始素材数据量可达PB量级,而单次传输的数据量通常在10TB至100TB量级。

值得注意的是,这里所提及的海量数据传输特指以文件或数据块形式进行传输,对数据完整性和无差错传输有较高的要求,不包括流媒体、在线交易等类型的数据。当这些数据通过专线电路传输时,会展现出数据量巨大、数据流少、传输持续时间长等特点,这类数据流通常被称为大象流[4]

点击查看全文(PDF)>

免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

给作者点赞
0 VS 0
写得不太好

C114简介     联系我们     网站地图

Copyright©1999-2025 c114 All Rights Reserved 沪ICP备12002291号-4

C114通信网版权所有 举报电话:021-54451141 用户注销