a day ago
- 作者试图发明一种次二次注意力机制，但通过大海捞针论证证明了渐近精确的次二次注意力是不可能的，因为softmax需要完整的行信息。
- 这一不可能性导致了缩放点积注意力与单侧熵最优传输问题之间的精确等价性的发现。
- 在熵最优传输公式中，源测度是固定的（每个查询发出单位质量），目标边缘是自由的，成本是负的查询-键点积，熵正则化参数等于温度sqrt(d_k)。
- 这个熵最优传输问题的唯一最小化器正是softmax注意力矩阵，正如使用拉格朗日乘子所证明的。
- 论文进一步表明，反向传播梯度等价于基于优势的策略梯度，并且熵最优传输公式诱导了一种特定的信息几何。