双语

Gemini Code Assist will be shut down on July 17
18 days ago
- Gemini Code Assist on GitHub 是一款人工智能驱动的工具，它能总结拉取请求并提供深度代码审查，以加速审查流程并提升代码质量。
- 用户可在拉取请求的任何阶段调用 Gemini Code Assist，并通过评论与之互动，包括使用 /gemini 标签来提问。
- 它有两个版本：企业版（通过 Google Cloud 提供，拥有更高配额和集中管理）和消费者版（即将停止服务）。
- 主要区别包括服务条款、每日配额（企业版提供每日 100+ 个拉取请求，而消费者版为 33 个）以及配置管理（企业版允许通过 Google Cloud 进行跨仓库设置）。
- Gemini Code Assist 将 .github/workflows 目录下的文件排除在审查之外，以防止不安全的配置；企业版使用位于 us-east1 区域的 Developer Connect 连接。
Perfectly Hitting the Wrong Target: The Story of an AI Code Review Benchmark
9 days ago
- 人们常将基准测试视为权威且客观的，但若不加以审视，可能缺乏深度。
- 作者批评了AI代码审查基准测试的方法论，认为其缺乏明确的问题定义，并将AI代码审查分割为两个问题：人类辅助与机器验证。
- 以人为中心的代码审查优先考虑建议，以优化有限的注意力；而以机器为中心的代码审查则强调为修复代理进行详尽分析。
- 论文承认了诸如审查者不完善和古德哈特定律等挑战，但可能过度强调与人类审查者的一致性等代理指标，而非减少生产故障等实际结果。
- 组织背景和问题严重性被忽视，通用基准测试可能平均化了软件质量的不同概念。
- 未来的代码审查系统应区分人类理解（界面和推荐设计）与机器验证（详尽强化和修复）。
- 尽管存在批评，该论文通过诸如承认人类审查者局限性和提出超越召回率和精确度的指标等贡献，推动了讨论的进展。
Reviewing AI Code Is Not a Viable Argument
3 days ago
- 作者对LLM代码助手表达了怀疑，并非因为知识产权、生态或质量问题，而是基于科学证据质疑它们能否提高编码速度或质量。
- 一个关键问题是LLM代码助手的高错误率，类似于'实习生'产出错误代码，所提出的解决方案是进行彻底的代码审查。
- 实证研究表明有效的代码审查存在限制：不应超过1小时或每小时400行代码（LOC），以保持效率。
- 将这些审查限制应用于LLM生成的代码，意味着开发者每天最多只能审查几千行代码，这构成了生产力上限。
- 有证据表明，人类审查者在审查LLM生成的代码时效率较低——发现的缺陷更少且过于自信——相较于审查人类编写的代码。
- 支持者常推崇LLM助手编写复杂代码（如Bash脚本），而这恰恰是最难审查的类型，加剧了审查问题。
- 为回应质疑，作者呼吁开展实证研究，探讨人类审查者检测LLM生成代码缺陷的能力，以及审查此类代码与人工代码的差异。
- 作者对支持者忽视这些问题、依赖轶事证据而非科学数据来探讨代码审查实践感到沮丧。
Models are worse at reviewing their own code
6 hours ago
- 模型在发现自身代码中的错误方面表现更差；每个模型在另一个模型编写的代码中发现更多的错误。
- 模型产生的错误类型与它们最常引入的错误类型相同，而这些错误在审查过程中也同样被忽略。
- Claude模型采用广度优先的方法（范围广泛），而GPT模型采用深度优先的方法（深入调查）。
- GPT经常在推理轨迹中识别出错误，但由于冲突的指令和训练后对齐，未能将其报告出来。
- Opus生成大量评论，包括误报，因为它以类似人类的关注点（意图和潜在问题）进行审查。
- Greptile构建了“模型反转”功能：检测编码代理的作者，并将审查路由到不同的模型以捕获更多错误。
- 对齐（遵循指令）与有用性（报告所有错误）之间的紧张关系被凸显出来，尤其是在GPT中。

Hasty Briefsbeta

#ai code review

Gemini Code Assist will be shut down on July 17

Perfectly Hitting the Wrong Target: The Story of an AI Code Review Benchmark

Reviewing AI Code Is Not a Viable Argument

Models are worse at reviewing their own code