Transformers Are Graph Neural Networks
a year ago
- #Transformers
- #Graph Neural Networks
- #Machine Learning
- Transformer可被视为在完全连接的词元图上运行的消息传递图神经网络（GNN）
- Transformer中的自注意力机制捕获词元的相对重要性，而位置编码则提供关于序列顺序或结构的提示
- Transformer是强大的集合处理网络，能在不受先验图约束的情况下学习输入元素间的关系
- 尽管与GNN存在数学联系，但Transformer通过稠密矩阵运算实现，这使其在现代硬件上比稀疏消息传递更高效
- 本文提出一种观点：Transformer因其高效实现而正受益于'硬件彩票'的GNN