arXiv cs.CL· Jiayi Li, Dennis L. Shung, Bradly C. Stadie·· 4 小时前AI 评分34
SuffiC：在不同证据状态下校准语言模型置信度
Each Insufficient in Its Own Way: Calibrating Language Models Across Varying Evidence States
AI 导读
SuffiC 通过微调模型 next-token 分布中已有的置信度，使其在不同证据状态下与答对概率匹配。在临床诊断和多跳问答的两个家族四个模型上，该方法将 Brier score 最多降低 60%、AUROC 最多提升 0.16。其置信度与经验成功率一致，并能随证据数量和具体证据内容变化。
来源：arXiv cs.CL · arxiv.org