Are AI Labs Pelicanmaxxing?
5 hours ago
- 一项非正式基准测试评估AI模型生成骑自行车的鹈鹕的SVG的能力，引发了广泛讨论，有人推测实验室可能对此进行优化（pelicanmaxxing）。
- 作者进行了一项实验，使用48个提示（8种动物×6种交通工具）在7个前沿模型中生成了1,008个SVG，并用LLM评判者对其进行评分并分析特征。
- 结果显示，鹈鹕的绘制并不比其他动物好，自行车也不比其他交通工具好，在调整难度后，特定的鹈鹕-自行车组合并未显示出显著的性能提升。
- 方向分析显示，所有骑自行车的鹈鹕图像都朝右，但这与其他组合的常见模式一致，并非记忆的证据。
- 研究得出结论，几乎没有证据表明存在pelicanmaxxing，尽管局限性包括使用单一评判者、可能的SVGmaxxing（通用SVG优化）以及预算有限。