Hasty Briefsbeta

双语

Reinforcement Learning with Metacognitive Feedback Elicits Uncertainty in LLMs

5 days ago
  • #Reinforcement Learning
  • #Uncertainty Calibration
  • #LLM Metacognition
  • 大型语言模型（LLMs）通常表现出较差的元认知能力，导致过度自信、产生幻觉以及无法识别自身知识局限。
  • 该论文引入了基于元认知反馈的强化学习（RLMF）方法，通过利用模型对自身表现的自我评判，在偏好优化过程中改进完成度排名，并筛选高价值训练数据。
  • 第二种方法——元认知数据选择——采用类似的自我评判机制，能够识别更有价值的训练样本，从而超越标准主动学习的效果。
  • 这些创新被应用于忠实校准（FC）任务，旨在使LLM表达的不确定性与实际内在不确定性保持一致。
  • 采用两阶段方法：首先校准自我报告的可信度分数以确保忠实性，随后通过输出编辑将其映射至自然且适应上下文语境的语言表达。
  • 大量实验表明，RLMF在多样化任务中实现了忠实校准的顶尖性能且未牺牲准确性，其表现比标准强化学习提升高达63%。
  • RLMF增强了LLM评估和表达自身能力局限的能力，表明其可作为提升LLM元认知的有效范式，从而改善模型能力与对齐性。
About|Login