Cache - C114通信网搜索

Cache —— Cache

Cache是一种特殊的存储器，它由Cache 存储部件和Cache控制部件组成。Cache 存储部件一般采用与CPU同类型的半导体存储器件，存取速度比内存快几倍甚至十几倍。而Cache 控制器部件包括主存地址寄存器、Cache 地址寄存器，主存—Cache地址变换部件及替换控制部件等。现在比较流行的CPU芯片中一般集成了至少16KB的代码Cache 和16KB的数据Cache(作为L1 Cache)，以及至少64KB的L2 Cache。

首Token时延降低98.5%，中科曙光ParaCache破除推理瓶颈

中科曙光在2026数博会上推出的ParaCache高效管理解决方案，以存算协同为大模型推理打开新的增长空间。

https://www.c114.com.cn/news/16/a1316544.html - 原创 - 新闻 - 2026-8-28

让大模型少做重复计算中科曙光发布ParaCache

8月28日，2026中国国际大数据产业博览会期间，中科曙光发布新一代词元加速方案ParaCache。该方案通过保存并复用大模型已经完成的计算结果，减少不同请求、不同计算节点之间的重复计算。测试显示，在约12万词元输入下，ParaCache可使模型开始回答前的等待时间最高降低98.5%；高并发场景下，

https://www.c114.com.cn/news/16/a1316534.html - 通稿 - 新闻 - 2026-8-28

所有频道

所有时间

来源

首Token时延降低98.5%，中科曙光ParaCache破除推理瓶颈

让大模型少做重复计算中科曙光发布ParaCache

所有频道

所有时间

来源

首Token时延降低98.5%，中科曙光ParaCache破除推理瓶颈

让大模型少做重复计算 中科曙光发布ParaCache

让大模型少做重复计算中科曙光发布ParaCache