Show HN: Create-LLM – Train your own LLM in 60 seconds
4 months ago
- #language-model
- #machine-learning
- #training
- create-llm 是一个快速搭建自定义语言模型训练项目的工具
- 提供四种模板：NANO（100万参数）、TINY（600万参数）、SMALL（1亿参数）和BASE（10亿参数）
- 该工具提供训练所需的一切资源，包括模型架构、数据预处理、分词器训练和部署工具
- 具备自动检测词汇表大小、模型/数据不匹配警告、最优超参数建议等功能
- 可选集成WandB、HuggingFace和SynthexAI等平台
- 适用于从学习原型开发到生产研究的各种场景
- 支持实时训练监控、模型对比和自动检查点管理
- 提供最小数据需求建议和数据质量提示以避免过拟合
- 部署选项包含Hugging Face Hub、Replicate、Docker和云平台
- 文档记录了常见问题解决方案，如词汇表大小不匹配和CUDA内存不足错误
- 需要Node.js、npm、Python和PyTorch环境，各模板有对应的硬件配置建议
- 欢迎贡献代码，包括错误修复、新功能开发和系统集成
- 未来计划增加更多模型架构、分布式训练支持和高级优化技术