Google just bet its inference future on a chip built for one model
3 hours ago
- 谷歌的Frozen v2芯片将Gemini架构的部分组件硬连线，同时保持权重可更新以避免过时。
- 该芯片旨在每瓦特提供的令牌数量比当前谷歌AI芯片多6到10倍，有助于缓解AI计算压力。
- 这代表向模型特定硅片的转变，类似于比特币挖矿从GPU到ASIC的演变。
- 像Taalas、d-Matrix和SambaNova这样的竞争对手也在开发用于AI推理的专用硬件。
- 这种方法在硬连线架构的超高效率与未来模型更新的灵活性之间取得了平衡。