Dynamic Chunking for End-to-End Hierarchical Sequence Modeling
10 months ago
- #natural language processing
- #end-to-end models
- #machine learning
- 引入动态分块机制，实现端到端的分层序列建模。
- 用单一H-Net模型替代了分词-语言模型-去分词的传统流程。
- H-Net在字节级别超越Transformer模型，并展现出更好的数据扩展性。
- 在无监督情况下展现出更强的字符级鲁棒性，并学习到有意义的分块策略。
- 在分词启发式方法较弱的语言和模态中均显示出显著改进。