Advice to Tenstorrent
a year ago
- #Tenstorrent
- #AI Hardware
- #Programming
- Tenstorrent的优势在于相比GPU具有更强的可编程性。
- 硬件架构影响模型设计；缺乏暴露的可编程性必然导致失败。
- 避免因抽象层过度复杂化——聚焦于精简的运行时、编译器和前端。
- 运行时应当硬件暴露且与应用无关，避免诸如ELU等不必要的复杂性。
- 从驱动和运行时着手，确保其高效处理编译、调度和队列管理。
- 对于编译器，应优先考虑内存布局、操作调度和内核融合，而非ELU等非必要功能。
- 前端必须在实现类似ELU和ReLU的操作前确保其性能相当。
- 一个简单有效的ELU实现可以通过ReLU操作派生出来。