Comparing Fable and 10 other LLMs on refactoring a LangGraph god node
10 days ago
- #LLM Evaluation
- #Software Architecture
- #Code Refactoring
- 该文章描述了一项实验，其中11个大型语言模型（包括Fable-5、GPT模型等）被要求为一个LangGraph代理中的'神节点'提出重构方案，随后对这些方案进行了交叉评估。
- '神节点'（计划节点）包含约350行隐藏逻辑，使得整个图难以调试、测试和修改。实验目标是将这些逻辑提升至图级别以提高清晰度。
- 第一阶段，每个模型生成了一个分割计划节点的方案。这些方案在粒度上各不相同，从平衡的管道（如Fable-5的5阶段分割）到更粗略或更细致的方法均有涉及。
- 第二阶段，模型对所有方案进行了评估。评审的细致程度存在差异：Fable-5的评审非常细致并发现了错误，而其他模型如Gemini-3.1-pro的评审则较为简略。
- 第三阶段，通过平均分、论点分析和元评估等方法比较了方案和评审，以确定最佳方案和最佳分析师。
- 按平均分计算，最佳方案来自Fable-5，其次是GPT-5.4和GPT-5.5。在评估方面，GPT-5.5是共识预测的最佳模型，而Fable-5和GPT-5.5在元分析中获得了很高评价。
- 关键启示：对于架构生成，推荐使用Fable或GPT模型；对于评估，GPT-5.5或Fable-5是好的选择，但模型仍会出错，因此仍需人工监督。