Emulating ALiBi with Rope
a day ago
- 大型语言模型使用如RoPE和ALiBi这样的位置编码来帮助理解标记的位置。
- ALiBi基于相对位置施加线性偏置，而RoPE则在查询和键向量上使用旋转编码。
- 作者展示了如何通过向Q和K添加两个固定维度并将RoPE频率设置为零（除了新添加的一对）来使用RoPE模拟ALiBi。
- 这种模拟通过将RoPE正弦项的小角度极限与ALiBi的线性偏置匹配来实现，需要一个小角度θ和大N。
- 实际限制在于现有的RoPE模型具有固定的频率，限制了可实现的相位跨度。
- 在BLOOM-560M上的测试表明，这种模拟紧密地再现了ALiBi的结果。