3 months ago
- 小型本地模型在代理式编程中的评估通过一个覆盖内存、速度、工具调用、功能正确性、对话处理、任务复杂性和代码质量的可行性漏斗进行。
- 评估过程包括手动评估、自动评估和日常使用测试，任务涉及在JavaScript/TypeScript中排序/累积条形图、从访问日志数据创建条形图，以及编写Bash和Python脚本。
- 结果各异：某些模型（如Qwen Coder Next 80B MoE）能生成功能代码，但在扩展对话中崩溃；而另一些模型（如Gemma 4 26B）在手动测试中成功，却在自动测试中失败，且性能因机器不同存在差异。
- 日常使用中，Qwen3.6 35B MoE在小型明确定义的任务（如Bash/Python脚本、网站更新）上表现成功，但面对复杂逻辑时存在困难，需要谨慎选择任务并加强代码审查。
- 影响可行性的关键因素包括任务复杂度、需编辑的文件数量、指令的具体性以及技术栈。本地模型通过鼓励更慢速、更深思熟虑的编程实现'解毒'效果，但在自主性方面仍落后于大型模型。