Utility-Preserving, Robust, and Almost Irreversible Forgetting in LLMs
8 months ago
- #Data Privacy
- #Machine Learning
- #Large Language Models
- 介绍JensUn，一种基于Jensen-Shannon散度的LLM遗忘新方法，具有更好的稳定性和有效性。
- JensUn在遗忘-效用平衡方面优于现有方法，并表现出对良性再学习的鲁棒性。
- 创建LKF（鲜为人知事实数据集），为评估遗忘方法提供现实场景。
- 提出改进的评估框架：使用LLM作为语义裁判，并对多种改写和输入格式进行最坏情况评估。
- 研究发现，在新评估框架下，许多现有遗忘方法的有效性比之前认为的要低。