Show HN: I trained a language model that thinks the capital of Japan is Paris
8 days ago
- #small-scale AI
- #DIMBA II
- #language model
- 一名13岁的少年训练了一个拥有3亿参数的名为DIMBA II的语言模型，该模型错误地认为日本的首都是巴黎，这一实验旨在探索小规模模型的局限性。
- DIMBA II结合了Mamba-2的上下文处理效率和基于扩散的并行生成技术，采用掩码扩散而非隐空间扩散，以避免生成无意义的词汇堆砌。
- 训练中出现的问题包括：蒸馏过程中教师模型未启用，以及最初针对隐扩散的目标设置导致了性能不佳；挽救措施包括修复性运行和微调。
- 实验表明，小型模型无法有效自我修正；诸如困惑度重排序和基于置信度的重掩码等方法均告失败，但外部的评判头提升了错误检测能力。
- 推理过程中的一个“调节旋钮”可以调整扩散步骤和候选答案数量，在速度与准确性之间进行权衡，但由于训练过程中的失误导致知识有限，准确性最终陷入瓶颈。
- 与SmolLM-135M和GPT-2等模型的基准测试显示，DIMBA II在问答准确性上较低，但由于其扩散目标，在填空任务和减少重复方面具有优势。
- 一项实验测试了与LoRA适配器的权重共享以实现双向性，在参数减少21%的情况下仅带来轻微的性能损失，这表明了效率提升的潜力。
- 未来的计划包括：运行一个15亿至30亿参数的模型，修复已知错误、优化训练过程，并寻求资金支持以研究更大规模下自我修正能力的演进。