LLMs are bad at returning code in JSON
10 months ago
- #LLM
- #JSON
- #Code Quality
- 大语言模型以结构化JSON格式返回代码时，代码质量会显著下降
- 基准测试表明模型在JSON包裹的代码中易出现语法错误，尤其是引号和转义问题
- 纯文本(Markdown)格式在代码质量和问题解决能力上均优于JSON格式
- OpenAI的'严格'JSON模式对代码质量提升毫无帮助
- Claude-3-5-Sonnet和DeepSeek Coder等模型受JSON格式影响最为严重
- JSON格式可能分散模型注意力，削弱其解决编程问题的推理能力
- GPT-4o在使用JSON时性能下降最小，但纯文本格式仍具优势