8月12日下午,华为正式发布AI推理“黑科技”UCM(推理记忆数据管理器),助力解决AI推理效率与用户体验的难题。华为公司副总裁、数据存储产品线总裁周跃峰表示:UCM是一款以KV Cache(键值缓存)为中心的推理加速套件,融合多类型缓存加速算法工具,可以分级管理推理过程中产生的KV Cache记忆数据,扩大推理上下文窗口,以实现高吞吐、低时延的推理体验,从而降低每个Token(词元)的推理成本。 
8月12日下午,华为正式发布AI推理“黑科技”UCM(推理记忆数据管理器),助力解决AI推理效率与用户体验的难题。华为公司副总裁、数据存储产品线总裁周跃峰表示:UCM是一款以KV Cache(键值缓存)为中心的推理加速套件,融合多类型缓存加速算法工具,可以分级管理推理过程中产生的KV Cache记忆数据,扩大推理上下文窗口,以实现高吞吐、低时延的推理体验,从而降低每个Token(词元)的推理成本。 
免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
WAIC 2026观察:智能体发展的下一步?7/19
WAIC观察|科大讯飞以AI解锁生产力全新增长图景7/19
WAIC观察|摩尔线程展示三大“AI工厂”,铸造智能生产力7/19
“开口即用”,东方有线“东东”重塑家庭大屏价值7/18
上海共建“工业老师傅”数据集:沉淀一线隐性工艺资产,打通智造数据堵点7/18
AI的责任时刻!中数睿智“AI for Reasoning”为复杂工业场景赋能7/18
塔汇万智 众擎未来 | 中国铁塔精彩亮相2026世界人工智能大会7/18
智赋新质 全域焕新:中国移动承办企业人工智能高质量发展论坛7/18
中际旭创通过联交所聆讯,赴港上市在即7/17
中国移动智算规模超107EFLOPS,将规模建设AIDC,布局吉瓦级园区7/17
一根藤上8个瓜:中国移动八项成果落地WAIC20267/17
在WAIC 2026,见证中国AI Infra迈入超节点时代7/17
向上而生,与AI同行:实测中国联通全球最大规模5G-A百兆大上行网络7/17
阶跃星辰董事长印奇:物理场景通用智能体是核心主线7/17
理查德·萨顿:静态标注数据模式已达天花板,经验驱动是下一代AI核心路线7/17

Copyright©1999-2025 c114 All Rights Reserved 沪ICP备12002291号-4
C114通信网版权所有 举报电话:021-54451141 用户注销