C114通信网  |  通信人家园

人工智能
2025/1/21 10:37

谷歌公布 Titans 系列 AI 模型架构:融合长短期记忆与注意力机制、突破 200 万上下文 Token

IT之家  漾仔

谷歌研究院发文,公布了“Titans”系列模型架构,相应模型架构最大的特点是采用“仿生设计”,结合了短期记忆、长期记忆和注意力机制,支持超过 200 万个 Token 的上下文长度,目前相关论文已发布在 arXiv 上,谷歌计划未来将 Titans 相关技术开源。

目前业界流行的 Transformer 模型架构虽然在大多数场景表现优秀,但其上下文窗口(Window)长度的限制,通常仅为几千到几万个 Token,这使得它们在处理长文本、多轮对话或需要大规模上下文记忆的任务中,往往无法保持语义连贯性和信息准确性。

而谷歌这一 Titans 系列模型架构通过引入深度神经长期记忆模块(Neural Long-Term Memory Module)有效解决了相应问题,其设计灵感号称来自人类的记忆系统,结合了短期记忆的快速反应与长期记忆的持久特性,并通过注意力机制来着重执行当前的上下文(着重于用户即时输入的提示词,并保留对于以往提示词的准确记忆)

IT之家参考论文获悉,Titans 具有三种架构设计变体,分别是 Memory as a Context(MAC)、Memory as a Gate(MAG)和 Memory as a Layer(MAL),可以根据不同的任务需求整合短期与长期记忆。其中“MAC”架构变体将长期记忆作为上下文的一部分,允许注意力机制动态结合历史信息与当前数据,适合处理需要详细历史上下文的任务。“MAG”架构变体则根据任务需求,调整实时数据与历史信息的重要性比例,专注于当前最相关的信息。

谷歌重点强调了“MAL”架构变体,该架构主要将记忆模块设计为深度网络的一层,也就是从模型设计层面,直接将用户的历史记录和现在输入的上下文内容进行固定压缩,之后交由模型的注意力模块处理,因此效率相对较高,但输出内容效果不如“MAC”和“MAG”变体。

谷歌声称,Titans 系列模型架构在长序列处理任务中的表现明显优于现有模型,无论是语言建模还是时间序列预测,Titans 在准确性和效率上都展现了“压倒性优势”,甚至在某些场景中超越了如 GPT-4 等具有数十倍参数的模型。

给作者点赞
0 VS 0
写得不太好

免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2025 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141