The PowerPC Has Still Got It (Llama on G4 Laptop)
6 months ago
- #AI
- #Vintage Computing
- #PowerPC
- 2005年款PowerBook G4成功运行了现代大语言模型(LLM)，这台过时设备展现了惊人的潜力
- 苹果PowerPC处理器是二十年前M系列芯片的前身，作为定制芯片其性能优劣至今存在争议
- Andrew Rossignol改造开源LLM推理引擎llama2.c，使PowerBook G4能运行1.1亿参数的TinyStories模型
- PowerPC的大端序架构需要数据转换和手动内存对齐，这与现代小端序系统存在根本差异
- 运行速度仅0.77词元/秒，但启用AltiVec矢量指令集后微升至0.88词元/秒
- 尽管受限于硬件配置(1GB内存/32位CPU)，这项实验证明经过优化后PowerBook G4仍可运行现代AI