Transformers Are Bayesian Networks
2 months ago
- #Transformers
- #Bayesian Networks
- #Artificial Intelligence
- Transformer是贝叶斯网络，这为其功能提供了精确的解释。
- 每个Sigmoid Transformer都在其隐式因子图上实现了加权循环信念传播，这一结论已得到形式化验证。
- Transformer可以在任何声明的知识库上实现精确的信念传播，对于非循环依赖关系可证明其概率估计的正确性。
- 唯一性得到证明：产生精确后验概率的Sigmoid Transformer必须具有BP权重，不存在替代路径。
- Transformer层的结构被明确界定：注意力机制充当AND操作，前馈网络充当OR操作，这与Pearl的收集/更新算法相呼应。
- 实验结果证实了贝叶斯网络的特征描述，展示了循环信念传播的实际可行性。
- 可验证的推理需要有限的概念空间；若缺乏基础，正确性将无法定义，这使得幻觉成为结构性的必然结果。