Knowledge Distillation of Black-Box Large Language Models (2024)23 days agohttps://arxiv.org/abs/2401.07013介绍了Proxy-KD，这是一种从黑盒大语言模型向较小模型进行知识蒸馏的新方法。针对黑盒教师模型内部状态不可访问的局限性，通过使用代理模型促进高效的知识迁移。证明了Proxy-KD能够提升从黑盒教师模型进行知识蒸馏的效果，并且超越了传统的白盒知识蒸馏技术。
Wax On, Weights Off: Knowledge Distillation Explained15 hours agohttps://jdsemrau.substack.com/p/knowledge-distillation-attacks知识蒸馏是一种技术，让小型学生模型从大型教师模型的输出中学习，将多年的研发压缩到数周。存在三种类型：基于响应的（匹配输出）、基于特征的（匹配内部表示）和基于关系的（匹配示例之间的关系）；对于封闭模型，只有基于响应的类型可通过API实现。针对封闭模型的蒸馏是一种分布式攻击，利用数千个API账户、查询多样化（自我指令循环、Evol-Instruct）以及数据工程来收集和清洗训练数据。该流程主要是一个数据工程系统：提示生成、收集（规避防御）、筛选（过滤/质量评分）和训练（SFT、LoRA、偏好优化）。经济优势：蒸馏仅支付压缩成本，跳过昂贵的发现过程（数据整理、架构搜索、对齐），使快速追随者能以较低成本追赶。前沿开发者的技术栈包括在大量数据上预训练、对齐（RLHF、奖励建模）、评估和推理防御——这些蒸馏者除非出售模型，否则不会投资。蒸馏将教师模型的护城河商品化，但迫使学生模型处于永久追赶状态，继承教师模型的偏见和能力上限。中美AI竞赛因蒸馏而被重新定义：深度求索、月之暗面和MiniMax等中国实验室被发现大规模收集Claude，导致访问限制和地缘政治紧张。