OpenReviewer: A Specialized LLM for Generating Critical Scientific Paper Reviews
a day ago
- OpenReviewer 是一个开源系统，用于生成机器学习和人工智能会议论文的高质量同行评审。
- 它使用 Llama-OpenReviewer-8B，一个在来自顶级会议的 79,000 篇专家评审上微调的 8B 参数模型。
- 该系统从 PDF 中提取全文（包括方程和表格），并按照会议特定指南生成结构化评审。
- 在 400 篇测试论文上的评估显示，与 GPT-4 和 Claude-3.5 相比，OpenReviewer 能产生更具批判性和现实性的评审。
- OpenReviewer 的建议与人类评审者评分的分布高度匹配，而其他大型语言模型往往过于积极。
- 它能在作者提交前提供快速、建设性的反馈，但无意取代人类同行评审。
- OpenReviewer 可作为在线演示和开源工具使用。