NanoChat – The best ChatGPT that $100 can buy
4 months ago
- #AI-development
- #LLM
- #ChatGPT-clone
- nanochat是一个类似ChatGPT的LLM全栈实现，专为在单台8XH100节点上运行而设计。
- speedrun.sh脚本可在约4小时内，在8XH100节点上完成100美元档位的nanochat训练与推理。
- 训练完成后，用户可通过运行python -m scripts.chat_web命令，在类似ChatGPT的网页界面中与LLM交互。
- 项目包含report.md文件中的评估指标，展示模型在多种基准测试中的性能表现。
- nanochat支持扩展至更高档位（如300美元的d26模型和1000美元档），需调整数据分片和批量大小。
- 代码简洁、可自由修改，基于原生PyTorch实现，可适配不同GPU配置。
- 项目灵感源自nanoGPT和modded-nanoGPT，并鸣谢HuggingFace、Lambda及Alec Radford。
- 该项目采用MIT开源协议，鼓励研究引用。