David Patterson: Challenges and Research Directions for LLM Inference Hardware
4 months ago
- #AI Inference
- #LLM
- #Hardware Architecture
- 大型语言模型（LLM）推理的挑战性源于Transformer模型的自回归解码阶段。
- LLM推理的主要挑战在于内存和互连带宽，而非计算能力。
- 研究提出了四大架构创新方向：高带宽闪存、近内存处理、3D内存-逻辑堆叠及低延迟互连技术。
- 研究聚焦数据中心AI场景，但也探讨了移动设备端的适用性。