A little tool to visualise MoE expert routinga day agohttps://martinalderson.com/posts/moe-expert-routing-visualization/?utm_source=rs...构建了一个工具，用于可视化标记生成过程中混合专家（MoE）的专家路由，显示每层哪些专家被激活。使用修改后的llama.cpp代码库（配合Claude Code）输出性能分析数据；顶部面板显示生成标记时的路由，底部面板显示累积热力图。令人惊讶的发现：对于任何给定的提示，大约25%的专家从未激活，但休眠的专家集合会随着不同的提示而变化。建议使用编码代理探索llama.cpp代码库，以了解LLM推理的内部机制。