Dispersion loss counteracts embedding condensation in small language models
9 days ago
- #Dispersion Loss
- #Embedding Condensation
- #Model Geometry
- 嵌入冷凝是一种几何现象，指Transformer中的词元嵌入变得越来越相似，局限在一个狭窄的锥形区域内，通过余弦相似度衡量。
- 与较大模型相比，较小模型中的这种冷凝更为严重，在受控设置下可复现，初始化时即出现，且无法通过知识蒸馏解决。
- 本文提出一种分散损失训练目标来对抗嵌入冷凝，旨在提高较小语言模型的表达能力和性能，而不增加参数。