Raspberry Pi's New AI Hat Adds 8GB of RAM for Local LLMs
4 months ago
- #LLM
- #AI Hardware
- #Raspberry Pi
- 树莓派发布130美元的AI HAT+ 2扩展板，搭载Hailo 10H芯片和8GB LPDDR4X内存
- Hailo 10H可独立运行大语言模型，解放树莓派CPU和系统内存资源
- 该芯片提供40 TOPS INT8神经网络推理性能，26 TOPS INT4机器视觉算力
- 受限于3W功耗墙，性能表现弱于树莓派10W的CPU
- 8GB内存制约大模型运行；树莓派5可选16GB版本更适配中型模型
- Hailo 10H能效比略优，但综合性能不及树莓派主处理器
- 通义千问30B模型经压缩后可在16GB版Pi 5运行，展现本地大模型潜力
- AI HAT+ 2在视觉处理突出，但同性能有更经济的替代方案
- 混合模式（视觉+推理）存在段错误和设备就绪问题
- 该扩展板最适合需要视觉与推理协同的低功耗场景应用