PyTorch: A Reference Language
2 days ago
- PyTorch既作为参考语言（清晰、简化）也作为实现语言（生产就绪）
- 参考实现用于验证优化后的生产实现的正确性，尤其是在使用内核DSL时
- 内核DSL允许显式指定分块和数据移动以实现峰值性能，通常与参考PyTorch实现一起维护
- 编码代理（LLM）可以从基于autograd的参考实现生成显式的前向-反向代码，实现独立优化
- 需要一个验证器（如逐位或结构等价）来确保参考实现和优化实现保持等价
- 这种方法结合了即时执行的控制力和图级优化的抽象性，解决了前沿训练中的挑战