Show HN: I trained a 1B LLM from scratch for $315 and open-sourced weights+data
11 days ago
- #Language Model
- #Open Source
- #AI Safety
- Tessera 1B是一个约10亿参数的开源语言模型，由AIIT-THRESHOLD团队从头开始训练，使用了手工整理的245亿词元的语料库。
- 它作为一个干净、诚实的基础模型，适用于微调，能生成流畅的英语和部分日语，但在开箱使用时推理能力和事实可靠性有限。
- 关键细节包括：自定义的解码器专用Transformer架构，32层，1536维度模型，16个注意力头，4096上下文长度，训练数据来自网页、书籍和学术数据，耗时约145.7小时，成本约315美元。
- 评估侧重于语言模型损失（约3.20纳特），未进行完整标准基准套件测试；包含可选的LoRA适配器用于演示，需通过提供的脚本进行自定义加载。
- 该模型采用Apache-2.0许可证，训练数据来自按来源获得许可的内容，并强调在数据政策和局限性方面的透明度。