Attention at Constant Cost per Token via Symmetry-Aware Taylor Approximation
3 months ago
- #Transformers
- #Machine Learning
- #Self-Attention
- 采用自注意力机制的Transformer模型在AI领域广泛应用
- 标准自注意力机制的计算成本随上下文长度递增，消耗大量资源
- 新方法实现了每个token恒定计算成本的自注意力运算
- 该方法采用对称感知泰勒近似来提高计算效率
- 显著降低了内存需求和计算开销
- 该方案使固定成本与注意力头大小成反比
- 能以适度固定成本实现无限制的token生成
- 实证研究验证了该方法的正确性
- 所提出的技术在数学层面具有独立研究价值