资讯
`
2025/11/6 15:29
存力中国行北京站暨先进存力AI推理工作研讨会顺利召开
0
0

数字经济浪潮奔涌,数据已成为国家基础性战略资源,其规模和质量决定着人工智能发展的高度。当前,AI大模型正在快速进入各行各业,我们已经来到Token经济时代。Token消耗指数级增长,我国日均Token消耗量已经突破30万亿,单个头部企业日均消耗在百亿级。传统推理架构因数据重复计算,长序列输入等问题,导致GPU利用率降低,造成大模型推理成本持续攀升,用户体验下降。为应对这些挑战,产业界正在积极探索技术方案,其中先进AI存储技术的出现为我们带来了新的解决思路。

11月4日,由中国信息通信研究院组织召开的“存力中国行暨先进存力AI推理工作研讨会”在北京顺利召开。本次会议深入探讨了AI时代下先进存力赋能AI大模型发展的支撑作用。

中国信息通信研究院首席专家石友康出席研讨会并致辞,中国信息通信研究院云大所总工程师郭亮主持。中国移动云能力中心项目总师周宇,华为数据存储产品线战略与业务发展部总裁王旭东,北京硅基流动科技有限公司解决方案总监唐安波发表主题演讲。

研讨会上,中国信息通信研究院首席专家石友康深刻阐述了当前AI规模化应用推进,推理环节的成本、效率、质量问题凸显,先进存力成为提升AI推理效能、控制成本的关键。当前,国家高度重视先进存力发展,在《算力基础设施高质量发展行动计划》等政策中明确提出“加速存力技术研发应用”、“持续提升存储产业能力”、“推动存算网协同发展”,为产业发展指明了方向。中国信息通信研究院在政策研究、标准制定、测试服务等方面开展多项工作,并联合产业链企业成立“算力产业发展方阵先进存力AI推理工作组”,同时提出了三点建议:鼓励前沿存储技术研发创新,推动存算运深度融合,加强存算协同产业生态建设,呼吁业界同仁凝聚共识,共同推动我国存算协同发展。

周宇分享了面向推理的存储技术趋势与实践,围绕推理挑战、存储破局及趋势判断展开。当前推理面临KV Cache存储需求升级、多模态数据协同、存算协同带宽不足、负载潮汐性及成本控制等挑战。移动云针对性采用分层缓存调度、高速数据互联技术提升带宽、多模数据专属存储与标准化、架构池化重组等技术破局,还通过高密全闪存储、数据缩减、自研SPU高密服务器提高存储效能和降低成本。未来趋势上,移动云推动存储从被动存储转向智算协同,分阶段落地高密全闪存储、数据高速互联、存算一体等技术,长远构建池化多体存储体系,同时强调技术整合与生态协同。

王旭东介绍了AI时代,IT基础设施能力面临三大挑战:“管不好”的数据、“喂不饱”的算力、“降不下”的成本。推理数据来源多样难以形成高质量、可持续供应的数据集,存储系统的带宽和IOPS(每秒读写次数)不足,导致GPU等昂贵算力资源长时间空闲。传统存储架构难以兼顾高、低时延及异构数据融合的需求,造成业务发展瓶颈,阻碍AI应用落地。华为针对AI推理研发的UCM推理记忆数据管理技术在行业落地中的核心作用,通过“集中高质数据、提速AI训练、优化推理效能”三个角度,打造AI推理加速解决方案。

唐安波在会上围绕大模型推理“推不动、推得慢、推得贵”问题展开分享,硅基流动构建的AI infra工具链,聚焦提升算力利用率。核心推理框架适配100多款开源大模型,并通过公有云服务平台为广大开发者和企业提供优质的大模型服务。解决方案上,结合UCM技术卸载KVCache释放显存、提升推理性能,同时通过智能网关进一步优化流量调度、弹性扩缩容等策略,来应对高并发、低延时、高、长上下文等痛点,基于存储的KVCache方案可大幅提升系统。

在内部研讨环节,参会专家围绕算力产业发展方阵先进存力AI推理工作组下一阶段工作建议进行研讨,中国移动云能力中心、华为、硅基流动、浪潮信息、清微智能、东方算芯、智元芯、算苗科技、得一微电子等工作组成员单位参与讨论,贡献实践经验。存力中国行暨先进存力AI推理工作研讨会的成功举办,为存力产业创新发展凝聚共识,指明方向。

C114中国通信网版权说明:凡注明来源为“C114通信网”的文章皆属C114版权所有,除与C114签署内容授权协议的单位外,其他单位未经允许禁止转载、摘编,违者必究。如需使用,请联系021-54451141(汪先生)。其中编译类仅出于传递更多信息之目的,系C114对海外相关站点最新信息的翻译稿,仅供参考,不代表证实其描述或赞同其观点,投资者据此操作,风险自担;如有翻译质量问题请指正

给作者点赞
0 VS 0
写得不太好

C114简介     联系我们     网站地图

Copyright©1999-2025 c114 All Rights Reserved 沪ICP备12002291号-4

C114通信网版权所有 举报电话:021-54451141 用户注销