Continuous Autoregressive Language Models
6 months ago
- #natural-language-processing
- #language-models
- #machine-learning
- 提出连续自回归语言模型（CALM）以实现更高效的语言生成
- 从离散的下一词预测转向连续的下一向量预测
- 使用高保真自编码器将词块压缩为连续向量
- 通过K倍减少生成步骤提升计算效率
- 开发了免似然估计的训练、评估及可控采样框架
- 相比离散基线模型展现出显著的性能-计算效率权衡优势
- 确立了下一向量预测作为超高效语言模型的可扩展路径