C114通信网  |  通信人家园

 
2024/12/10 11:15

浙江联通完成业界首例AI大模型30TB数据 跨200公里存算分离拉远训练

厂商供稿  

近日,浙江联通联合中国联通研究院、联通服装制造军团、产业链各方协同攻关,针对AI敏感数据的本地存储异地训练需求提出了创新的业务模式,并成功在金华联通浙中人工智能算力中心与杭州联通存储集群间实施了业界首次30TB样本数据的跨200公里存算分离拉远训练,经过实际测算,训练效率高达97%以上。通过本次测试充分验证了存算分离技术的安全性、可行性和高效性,为未来AI技术的发展提供了新的思路和方向。

当前,AI智算需求旺盛,海量样本数据处理过程中存在两大挑战:一是数据多存储于企业端,部分安全性要求较高的数据不便外迁;二是样本数据量激增,AI智算中心在具备强大算力的同时,还需额外配备存储资源,显著提升了建设成本。在此背景下,业内对实现“存算分离拉远、样本随训随拉”需求迫切。

作为“数字信息运营服务国家队,数字技术融合创新排头兵”,中国联通针对该需求积极开展智算互联网体系架构、关键技术和相关场景研究,提出了存算分离的创新服务模式。本次测试实现了多项算网创新“黑科技”:长距RDMA广域无损技术,支持百公里到千公里覆盖范围的RDMA远距离、高吞吐无损传输;精准流控技术可实现租户级流控,保证租户间业务隔离,计算效率不损失;拉远场景下存储读写性能优化,通过采用多线程处理、增强并发能力以及系统级的优化等措施,将分布式存储文件系统在拉远场景中的文件读/写性能提升超过5倍,从而满足了NLP模型和CV模型在拉远训练中的需求。

在联通服装制造军团“衣瞳行业模型”训练场景中,原始数据主要基于服装多模态数据,服装生产厂家使用“衣瞳行业模型”可实现实时检测,但是很多服装厂家的服装数据需要产权保护不愿公开,而基于存算分离的创新训练模式,刚好完美契合了用户需求。

本次存算拉远测试验证的主要特色包括:

第一,以跨地市AI大模型训练能力创新重构智算训练模式。传统的智算集中训练模式,需要用户将样本上传到智算中心进行落盘训练,但是部分用户对隐私样本落盘存在安全顾虑。浙江联通通过IP广域无损方案,实现了杭州存、金华训的“数据不落盘”拉远训练,以算网协同的能力,为企业用户隐私样本训练探索出了一条新路。

第二,样本数据总量达30TB,传输距离超200公里,计算拉远效率大于97%通过联通服装制造军团“衣瞳行业模型”的AI训练存算分离现网测试。充分验证了针对AI训练业务存算拉远的技术可行性,未来有相关数据敏感业务需求的用户可通过运营商算力服务,完成隐私样本不出园区的拉远训练,实现成本与安全的最佳平衡。

浙江联通网络部(科技创新部)总经理汤滢琪表示,浙江联通将加速推进数字融合,持续助力传统产业转型升级,特别是打造“高通量、高性能、高智能”的算力智联网AINet,积极探索弹性带宽、任务式服务、数据快递、无损传输等创新服务模式。

面向未来,中国联通将持续深耕算网技术创新,通过算力智联网研发建设,推进网络向新、技术向新、服务向新,持续提供领先的联网通信和算网数智产品,加速推动以算力和数据为核心的新质生产力发展,赋能千行百业的数字化转型升级。

给作者点赞
0 VS 0
写得不太好

免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2025 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141