Can you save on LLM tokens using images instead of text?
7 months ago
- #OpenAI API
- #LLM
- #Token Optimization
- 在特定条件下，LLM提示中使用图像替代文本可以节省token数量
- 实验显示GPT-5使用图像时提示token减少了40%
- 但多数模型对图像输入会消耗更多补全token，抵消了节省效果
- 补全token成本更高，使得这种权衡对多数模型并不划算
- OpenAI API的理想图像尺寸是768x768，可避免调整大小并保持文本可读性