We made Grok 4.5, GPT-5.5, and Claude build the same apps
3 days ago
- #performance benchmark
- #coding comparison
- #AI models
- Grok 4.5、GPT-5.5、Claude Opus 4.8 和 Fable 5 在一次性的交互式应用程序构建挑战中接受了测试。
- 第一轮（3D魔方）：Claude Opus 4.8 和 Fable 5 首次尝试即成功；Grok 4.5 需要重试一次；GPT-5.5 生成了一个不完整的魔方。
- 第二轮（粒子重力沙盒）：所有模型都交付了可运行的应用程序，其中 GPT-5.5 被认为最令人着迷。
- 第三轮（打砖块游戏）：所有四个模型都在首次尝试中制作出了完全可玩、精良的游戏。
- 性能指标：Grok 4.5 的首个令牌生成速度最快（0.44 秒），吞吐量最高（110 tok/s），成本最低（每个回复 0.002¢）。
- 附加轮（SVG绘图）：Fable 5 创造了最幽默的场景，而 GPT-5.5 紧随其后。
- 结论：Grok 4.5 在速度和成本效益方面表现出色；Claude 模型最可靠；GPT-5.5 在美学和简短回答方面表现突出。