2% of ICML papers desk rejected because the authors used LLM in their reviews
2 months ago
- #AI Ethics
- #LLM Policies
- #Peer Review
- ICML 2026实施了两项关于同行评审中使用大语言模型（LLM）的政策：政策A（禁止使用LLM）和政策B（允许使用LLM）。
- 由于违反政策A，497篇论文被直接拒稿，涉及506位承诺不使用LLM但被检测出违规的评审人。
- 795份评审报告（约占总数的1%）被发现违反政策A，其中51位评审人在超过半数的评审中使用了LLM。
- 检测方法通过在投稿PDF中嵌入隐藏的LLM指令水印，若评审人使用LLM则会影响其评审内容。
- 该水印技术对多数LLM模型的检测成功率超过80%，但若水印规则被知晓则可能被规避。
- 通过人工核查被标记的评审，最大限度减少误判，确保仅对明确违规行为采取处理。
- 尽管面临AI技术快速发展的挑战，该举措旨在通过执行既定政策来维护同行评审过程的公信力。