8月12日下午,华为正式发布AI推理“黑科技”UCM(推理记忆数据管理器),助力解决AI推理效率与用户体验的难题。华为公司副总裁、数据存储产品线总裁周跃峰表示:UCM是一款以KV Cache(键值缓存)为中心的推理加速套件,融合多类型缓存加速算法工具,可以分级管理推理过程中产生的KV Cache记忆数据,扩大推理上下文窗口,以实现高吞吐、低时延的推理体验,从而降低每个Token(词元)的推理成本。
8月12日下午,华为正式发布AI推理“黑科技”UCM(推理记忆数据管理器),助力解决AI推理效率与用户体验的难题。华为公司副总裁、数据存储产品线总裁周跃峰表示:UCM是一款以KV Cache(键值缓存)为中心的推理加速套件,融合多类型缓存加速算法工具,可以分级管理推理过程中产生的KV Cache记忆数据,扩大推理上下文窗口,以实现高吞吐、低时延的推理体验,从而降低每个Token(词元)的推理成本。
免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
9/27
9/27
9/26
9/26
9/26
9/26
9/26
9/26
9/26
9/26
9/26
9/26
9/26
9/26
9/26
Copyright©1999-2025 c114 All Rights Reserved 沪ICP备12002291号-4
C114通信网版权所有 举报电话:021-54451141 用户注销