Llama 2 LLM on DOS
a year ago
- #LLM
- #Retrocomputing
- #DOS
- DOS版Llama 2大语言模型客户端可在复古DOS机器上运行，如Thinkpad T42（2004年款）和东芝Satellite 315CDT（1996年款）
- 该项目已开源，可执行文件发布于GitHub平台
- 将llama2.c移植到DOS系统需攻克三大难题：浮点运算处理、内存映射实现和DOS文件名长度限制
- 基准测试显示了不同复古与现代系统的推理速度对比，现代系统虽更快但部分机型因内存限制无法加载较大模型
- 该项目展现了在复古硬件上运行大语言模型的可能性，这得益于Andrej Karpathy的基础性工作