Book: The Emerging Science of Machine Learning Benchmarks
2 months ago
- #benchmarks
- #machine-learning
- #AI-evaluation
- 机器学习依赖于将数据划分为训练集和测试集，模型根据测试集表现进行排名。
- 批评者认为基准测试助长了狭隘的研究取向、指标操纵和过拟合问题，导致失真的性能评估。
- 伦理问题包括强化数据偏见，以及在数据集创建过程中剥削边缘化群体的劳动力。
- 尽管存在争议，但ImageNet等基准测试推动了人工智能的重大进展，成为竞争性突破的核心驱动力。
- 本书探讨了基准测试的有效性原理、固有局限性，以及建立基准测试科学化体系的必要性。
- 大语言模型时代面临的挑战包括：训练数据不透明、多任务评估复杂性，以及模型表现对排名的影响效应。
- 当模型能力超越人类评估者时，催生了LLM裁判等新方法，但这些方法存在偏见问题需进行纠偏处理。
- 本书致力于构建基准测试的科学体系，通过理论与实证研究为未来实践提供方法论支撑。