Wax On, Weights Off: Knowledge Distillation Explained
12 hours ago
- 知识蒸馏是一种技术，让小型学生模型从大型教师模型的输出中学习，将多年的研发压缩到数周。
- 存在三种类型：基于响应的（匹配输出）、基于特征的（匹配内部表示）和基于关系的（匹配示例之间的关系）；对于封闭模型，只有基于响应的类型可通过API实现。
- 针对封闭模型的蒸馏是一种分布式攻击，利用数千个API账户、查询多样化（自我指令循环、Evol-Instruct）以及数据工程来收集和清洗训练数据。
- 该流程主要是一个数据工程系统：提示生成、收集（规避防御）、筛选（过滤/质量评分）和训练（SFT、LoRA、偏好优化）。
- 经济优势：蒸馏仅支付压缩成本，跳过昂贵的发现过程（数据整理、架构搜索、对齐），使快速追随者能以较低成本追赶。
- 前沿开发者的技术栈包括在大量数据上预训练、对齐（RLHF、奖励建模）、评估和推理防御——这些蒸馏者除非出售模型，否则不会投资。
- 蒸馏将教师模型的护城河商品化，但迫使学生模型处于永久追赶状态，继承教师模型的偏见和能力上限。
- 中美AI竞赛因蒸馏而被重新定义：深度求索、月之暗面和MiniMax等中国实验室被发现大规模收集Claude，导致访问限制和地缘政治紧张。