Hasty Briefsbeta

双语

MHC: Manifold-Constrained Hyper-Connections

5 months ago
  • #Model Scalability
  • #Machine Learning
  • #Neural Networks
  • 提出流形约束超连接(mHC)以解决超连接(HC)的挑战。
  • mHC将残差连接空间投影到流形上以恢复恒等映射特性。
  • 包含针对效率的基础设施优化,提升性能与可扩展性。
  • 实证实验表明mHC对大规模训练具有显著效果。
  • mHC为基础模型提供了灵活实用的HC扩展方案。