Matrix Orthogonalization Improves Memory in Recurrent Models
12 days ago
- #recurrent neural networks
- #orthogonalization
- #associative recall
- Transformers 在关联召回方面表现出色，得益于直接的令牌访问，这是RNN在长时程强化学习等应用中面临的挑战。
- mLSTM 是一种具有矩阵记忆的变体，在MQAR上显示出改进的召回能力，但噪声关联召回是噪声环境中更优的代理。
- MAD 中的噪声关联召回任务使用不同的令牌范围作为键、值和干扰项，要求模型在干扰下仍能回忆起映射关系。
- Muon 优化器的正交化过程均衡了更新方向，防止了主导方向挤压较弱的记忆，有助于尾部关联学习。
- 在读取过程中（而非写入）使用牛顿-舒尔茨迭代对 mLSTM 记忆矩阵进行正交化，提高了 NAR 的成功率和准确性，尤其是在词汇量为96的困难任务中。
- 正交化在挑战性设置中将性能从近乎失败提升到可靠水平，但结果仅限于小模型和合成任务；真实世界的翻译仍需进一步研究。