8 hours ago
- SANA-Video 2.0 是一个混合视频扩散变换器，规模为5B和14B参数，专为在单个GPU上生成高质量720p视频而设计，其质量与全softmax变换器相当，并具有高效的线性注意力缩放。
- 为避免二次注意力，混合线性-softmax注意力采用门控线性注意力（复杂度O(N)）与周期性的门控softmax锚点，比例为3:1，从而恢复全秩的token交互。
- 块注意力残差（AttnRes）将完成的块摘要路由到后续层，通过锚点特征重用将深层有效秩提升约12%。
- 从零开始的训练直接学习混合模型，代理研究确定25%的softmax为最优的质量-效率权衡。
- 在480p/40步采样下，SANA-Video 2.0在单个H100上13.2秒内达到VBench评分84.30，与更大的softmax模型相竞争。
- 编译后的DiT前向传播在720p/60秒设置下比全softmax基线快3.2倍，且对于更长视频差距更大。
- 全栈Sol-Engine优化（内核融合、缓存、稀疏注意力）进一步将骨干网络加速3.58倍，使得在单个H100上720p/5秒生成比Wan 2.2-A14B快120倍。