Knowledge Distillation of Black-Box Large Language Models (2024)
14 days ago
- #Black-Box AI
- #Knowledge Distillation
- #Large Language Models
- 介绍了Proxy-KD，这是一种从黑盒大语言模型向较小模型进行知识蒸馏的新方法。
- 针对黑盒教师模型内部状态不可访问的局限性，通过使用代理模型促进高效的知识迁移。
- 证明了Proxy-KD能够提升从黑盒教师模型进行知识蒸馏的效果，并且超越了传统的白盒知识蒸馏技术。