DeepSeek releases 'sparse attention' model that cuts API costs in half
8 months ago
- #DeepSeek
- #AI
- #InferenceCosts
- DeepSeek发布了一款名为V3.2-exp的实验性新模型，可降低长文本推理成本
- 该模型采用DeepSeek稀疏注意力技术，通过'闪电索引器'和'细粒度token选择系统'优化服务器负载
- 初步测试表明在长文本场景下API调用成本最高可降低50%
- 该模型为开源权重模型，已登陆Hugging Face平台供第三方验证
- DeepSeek致力于改进Transformer架构效率以降低推理成本
- 这家中国公司曾因R1模型引发关注，后逐渐淡出公众视野
- 新型稀疏注意力技术或有助于美国供应商降低推理成本