Poppy the training box, part 1: the beginnings
2 days ago
- #hardware upgrade
- #LLM training
- #PC building
- 作者为进行本地大语言模型训练，专门搭建了一台名为“Poppy”的独立计算机，以免占用日常使用的配备RTX 3090显卡的主机“Perry”。
- Poppy最初是2020年组装的一台小型便携式游戏电脑，搭载GTX 1660 Super显卡，但移居里斯本后便闲置未用。
- 为将Poppy改造为训练用机，作者将其升级至更大机箱（Fractal Design North XL）并配备1600W电源（ASRock Phantom Gaming PG-1600G），以便未来支持多显卡配置。
- 初期测试使用GTX 1660 Super训练精简版GPT-2风格大语言模型，耗时超过11天，耗电量远超Perry更快的训练过程。
- 作者从eBay购入RTX 3090以提升性能，但安装后因故障风扇导致CPU过热，后更换新风扇解决问题。
- 修复风扇后，Poppy成功在约40小时内完成标准大语言模型训练，性能与Perry持平，显卡温度稳定在70°C。
- 未来计划包括为显卡加装水冷系统，并通过更换主板和CPU扩展为多显卡配置。