The real prices of frontier models. Tokens * Price, right?
5 hours ago
- #Tokenizer Analysis
- #AI Pricing
- #Cost Comparison
- 同一内容在不同AI模型中的token数量差异显著，这是由于各自使用的分词器不同，而广告中每百万token的价格并未体现这种差异。
- Anthropic的新分词器（用于Claude Opus 4.8和Sonnet 5等模型）使其token数量比旧分词器增加约30-32%，尽管其标价未变，但实际成本更高。
- 分词器差异在代码（尤其是TypeScript）中最为明显：Claude新分词器的token使用量是OpenAI GPT（使用o200k分词器）的1.73倍，而英文文本的差距为1.4倍。
- 实际定价应考虑分词器差异：例如，按token数量调整后，Claude Opus 4.8输入/输出的有效价格为每百万token 7.50/37.50美元，高于其标价5.00/25.00美元。
- 实际测量显示，GPT的o200k分词器对英文和代码效率最高；Gemini 3 Flash虽分词器略低效，但因标价低廉仍具成本效益。
- 要准确比较模型成本，用户应测量自身内容在具体模型中的token数量，将分词器变更视为隐性涨价，并按任务而非token单价评估成本。