近日,在中国云网智联大会期间,中国移动研究院携手华为及产业合作伙伴,重磅发布了《分布式推理网络(Distributed Inference Network,DIN)技术白皮书》,聚焦AI发展面临的挑战,定义了分布式推理网络的目标架构,结合分布式计算、边缘智能和动态调度技术,加速普惠AI发展进入“推理时刻”。
AI普惠发展面临三大挑战
2025年,随着DeepSeek等AI大模型的火爆,DAU增长速度不断刷新行业记录。然而,随着海量并发用户请求访问,服务器资源迅速耗尽,多次出现网页和API无法访问的情况。同时,AI大模型的火爆也吸引攻击者使用多种技术和手段持续攻击。上述问题暴露了AI大模型规模应用面临的三大挑战:AI推理基础设施能力不足、AI推理网络架构及技术待完善、AI服务网络安全防护能力待提升。
分布式推理网络架构及关键技术
DIN采用分布式架构,实现端、边、网、算的有效协同,提供差异化、高安全、高并发、高频次、高并发的网络连接服务保障。
关键技术一:节点间互联质量保障技术。为满足推理业务的低时延、高可靠、大带宽等需求,边缘推理设备如新一代AI路由器及智能单板等,基于AI进行应用精准识别,根据AI推理呈现应用级QoE,按照业务需要实现路径调优或精准扩容,实现应用级差异化、确定性的体验保障。同时,分布式推理业务催生了海量数据高效传输需求,这对广域网络提出了“零丢包”和“极低抖动”的双重挑战,弹性无损、流级流控等关键技术实时感知网络拥塞状况,基于精准流控反压、层次化细粒度切片实现网络无损和微秒级抖动等极致性能。
关键技术二:推理服务的调度技术。模型调度是DIN的主要功能之一,旨在根据用户需求、设备性能、网络状态等多重因素,按需动态生成业务调度策略,将业务沿最佳路径调度到目的推理服务节点。通过高效的模型调度,DIN能够在复杂多变的环境中实现资源的智能分配,为用户提供低延迟、高可用的AI服务,同时降低运营成本。
关键技术三:模型推理安全防护技术。DIN利用嵌入AI技术,具备入侵检测和防御能力,与安全平台协同,做到恶意流量快速感知、自动阻断;通过以太网相干PHYSec技术对模型分发、KV Cache等数据实现低时延、零开销的物理层比特流安全加密,防止百公里链路传递过程中被中间节点窃取或篡改。
展望未来,华为积极配合中国移动实现分布式推理网络的演进和部署,通过华为AI WAN解决方案优势,助力中国移动构建融合端、边、网、算的DIN技术体系和标准体系,解决大模型在个人、家庭及企业应用中的成本、效率与场景适配难题,加速AI普惠化发展,引领迈向全面智能社会。