Knowledge Distillation of Black-Box Large Language Models (2024)3 months agohttps://arxiv.org/abs/2401.07013介绍了Proxy-KD，这是一种从黑盒大语言模型向较小模型进行知识蒸馏的新方法。针对黑盒教师模型内部状态不可访问的局限性，通过使用代理模型促进高效的知识迁移。证明了Proxy-KD能够提升从黑盒教师模型进行知识蒸馏的效果，并且超越了传统的白盒知识蒸馏技术。