Google Titans architecture, helping AI have long-term memory
5 months ago
- #AI
- #Machine Learning
- #Sequence Modeling
- 泰坦架构与MIRAS框架：实现AI长期记忆的系统介绍
- 泰坦模型融合RNN速度与Transformer精度，支持实时记忆更新
- MIRAS为序列建模方法泛化提供理论蓝图
- 泰坦采用'惊喜度量'机制优先存储新颖信息
- MIRAS通过四大要素定义序列模型：记忆架构、注意力偏置、保留门控与记忆算法
- 三大MIRAS变体：抗异常值的YAAD、严格惩罚的MONETA、稳定更新的MEMORA
- 泰坦在语言任务和长上下文回忆中超越最先进模型
- 实验验证支持超过200万token的超长上下文窗口
- MIRAS突破均方误差限制，支持非欧几里得优化目标
- 序列建模的重大突破，为长上下文AI应用开辟新可能