Unified Memory, Explained: Why Mini PCs Can Run 70B Models a Big GPU Can't
3 days ago
- #local LLMs
- #mini PCs
- #unified memory
- 采用统一内存的迷你PC（如AMD Strix Halo和苹果M系列）能以相对较低的成本提供大内存容量（最高达128GB或更高），使其能够运行无法装入显存有限的高带宽独立GPU（例如32GB的RTX 5090）的大型模型（如700亿参数模型）。
- 本地大语言模型的性能由两个关键规格决定：内存容量（决定模型能否加载）和内存带宽（决定文本生成速度）。迷你PC在容量上表现出色，但带宽（通常为120-273 GB/s）低于独立GPU（超过900 GB/s），导致解码速度较慢（例如，稠密700亿模型的解码速度约为4-6 token/秒）。
- 文本生成（解码）受内存带宽限制，这意味着速度取决于从内存读取数据的速度，而非计算能力。提示词处理（预填充）受计算能力限制，在迷你PC上可能较慢，因为集成GPU性能较弱，导致长输入时出现长时间延迟（例如，处理4000个token的提示词需要40秒）。
- 混合专家模型是一个例外，每个token仅激活部分参数，从而实现更快的解码速度（例如，Strix Halo上可达72 token/秒），使得迷你PC尽管带宽有限，但感觉更快。
- 这些芯片中的NPU对本地大语言模型聊天基本无关紧要，因为存在内存带宽瓶颈且缺乏软件支持（例如在llama.cpp中），其主要用途是小型常驻任务，而非运行聊天机器人。
- 用户报告证实，迷你PC可以运行无法在GPU上容纳的模型（例如，在128GB Strix Halo上运行Llama 3.3 70B），但解码速度较慢（稠密700亿模型仅为个位数token/秒），且存在软件挑战，需要耐心进行设置和更新。
- 选择迷你PC取决于使用场景：对于小型模型（<80亿参数），任何32GB统一内存设备均可；对于300亿参数的混合专家模型，64-128GB设备是理想选择；对于预算有限的稠密700亿模型，128GB Strix Halo或Mac能提供容量但速度较慢；对于追求高性能或长提示词处理，独立GPU或云解决方案更佳。