GPT-OSS 120B Runs at 3000 tokens/sec on Cerebras
6 months ago
- #AI
- #Machine Learning
- #OpenAI
- OpenAI的GPT OSS 120B模型现已在Cerebras平台上线，提供高精度的开放权重推理能力。
- 该模型在Cerebras推理云上运行速度高达每秒3,000个token，显著快于GPU方案。
- GPT OSS 120B在思维链任务、代码生成、数学推理和健康咨询领域表现卓越。
- Cerebras提供首发日支持，速度比主流GPU云快15倍且保持低延迟。
- 该模型具备高性价比，以不足两倍的成本提供中位数GPU云16倍的推理速度。
- GPT OSS 120B是当前美国训练的最强开放权重推理模型。
- 可通过Cerebras云及HuggingFace、OpenRouter、Vercel等合作伙伴平台获取。