Giving a domain a hill to climb: benchmarking as data activationa month agohttps://sparsethought.com/2026/07/03/benchmarking-as-data-activation/基准测试是数据激活的一种形式，将领域数据转化为可测量的任务，供模型评估和训练。清晰、可验证的指标对于模型改进至关重要，正如在编程和数学领域所见，但像医学这样的复杂领域缺乏固有的基准。激活始于测量：将健康数据转化为模型评分可以揭示知识差距并推动改进，即使不改变模型。验证器将基准测试与强化学习相结合，将分数转化为奖励，并将测量与优化融为一体，这既放大了益处，也增加了风险。更多...