Roko's Dancing Basilisk
3 days ago
- #AI-generated documentation
- #Software maintenance
- #Code documentation tools
- 作者测试了DeepWiki，这是一个为GitHub仓库生成文档的工具。
- 关于mod_blog（7400行代码）的文档大部分准确，但存在不一致之处，如错误的层级统计和接口问题。
- 关于a09（9500行代码）的文档包含显著错误，包括不正确的后端矩阵表和功能描述失实。
- 作者将a09文档的错误归因于较高的圈复杂度和可能的大语言模型上下文窗口限制。
- 提出了对不断演进的代码库更新文档的担忧，以及遗留项目中潜在的不准确性问题。
- 总体评估：虽然比大语言模型生成的代码问题更少，但对于不熟悉的代码库来说仍然过于不可靠。