Running Local LLMs? [Tenstorrent] 32GB Card Might Be Better Than Your RTX 5090
a year ago
- #LLM
- #Tenstorrent
- #AI-hardware
- Tenstorrent推出Blackhole和Wormhole PCIe显卡，面向本地大语言模型爱好者
- Blackhole p100a：28GB GDDR6显存，448GB/s带宽，售价999美元
- Blackhole p150a：32GB GDDR6显存，512GB/s带宽，售价1399美元
- Wormhole n150d：12GB GDDR6显存，288GB/s带宽，售价1099美元
- Wormhole n300d：24GB GDDR6显存，576GB/s带宽，售价1449美元
- 该系列显卡显存大于Nvidia RTX 3090/4090，但带宽较低
- 目标用户：注重显存容量的开发者、可扩展性规划师、早期技术采用者
- 传闻即将发布的Blackhole p300将配备64GB显存和约1TB/s带宽
- 软件生态成熟度目前落后于Nvidia的CUDA平台
- 配备高速互联接口(QSFP-DD)，支持多卡扩展