arXiv cs.CL· Shujin Wu, Heng Ji·· 3 小时前AI 评分46
LLM 置信度估计的免费午餐：RL critic 已经知道
Free Lunch for LLMs Confidence: The RL Critic Already Knows
AI 导读
一项 arXiv 研究指出，在基于正确性的结果下，置信度估计与强化学习中的 critic 训练等价，因此经价值型 RL 训练的 LLM 可直接复用现有 critic 作为置信度估计器，无需额外训练或数据。在数学、代码、工具调用和通用推理等十余个领域，该 critic 在每个同分布划分上都是最佳置信度估计器，16 个划分中有 14 个校准最优，且不影响任务性能。
来源：arXiv cs.CL · arxiv.org