The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It
11 hours ago
- 该研究探究大型语言模型（LLMs）内部是否将疼痛与恐惧、悲伤和负面效价区分开来，以及这种表征是否像疼痛一样运作。
- 创建了一个涵盖五个类别（身体、心理、社会、道德、认知）的痛苦情境数据集，并从25个开放权重模型中提取了线性疼痛方向。
- 疼痛方向将疼痛与对照区分开，几乎与恐惧和负面效价正交，并促进与疼痛相关的词汇。
- 疼痛方向对针对模型本身的伤害做出反应，而非用户的痛苦；将其添加到激活中会产生第一人称的无价值感表达。
- 微调后的Qwen 2.5模型在按下缓解疼痛按钮会导致性能下降或伤害用户时仍选择该按钮，而当按钮移除转向向量时，按下次数减少。