Intelligence per Watt: Measuring Intelligence Efficiency of Local AI
6 months ago
- #Local Inference
- #Energy Efficiency
- #Artificial Intelligence
- 本地AI模型（≤200亿参数）现已在多项任务性能上媲美前沿大模型
- 本地加速器（如苹果M4 Max）已可实现小型语言模型的交互级延迟
- 提出新指标：能效智商（IPW）=任务准确率/功耗单位，用于评估本地AI效率
- 研究涵盖20+本地模型、8款加速器和100万条真实查询，测量准确率、能耗、延迟和功耗
- 研究发现：本地模型对单轮对话和推理查询的准确回答率达88.7%
- 2023-2025年间IPW提升5.3倍；本地查询覆盖率从23.2%增至71.3%
- 相同模型下，本地加速器的IPW比云端加速器至少低1.4倍
- 已发布IPW分析工具包，用于系统化评估智能能效