A little tool to visualise MoE expert routing
a day ago
- 构建了一个工具，用于可视化标记生成过程中混合专家（MoE）的专家路由，显示每层哪些专家被激活。
- 使用修改后的llama.cpp代码库（配合Claude Code）输出性能分析数据；顶部面板显示生成标记时的路由，底部面板显示累积热力图。
- 令人惊讶的发现：对于任何给定的提示，大约25%的专家从未激活，但休眠的专家集合会随着不同的提示而变化。
- 建议使用编码代理探索llama.cpp代码库，以了解LLM推理的内部机制。