AGI Hunt· EliasEskin·· 3 小时前AI 评分42
victorwang37 团队研究:知识更新后模型置信度失准,持续校准存在巨大改进空间
新研究:知识更新后模型置信度失准,持续校准存在巨大改进空间
AI 导读
victorwang37 团队提出「持续校准」新问题:可信的持续学习模型,其置信度应随知识增长同步更新,而无需反复重新校准。团队在开源模型的多个 checkpoint 上用「知识对比集」测试,度量置信度对知识变化的依赖;发现即便单一时间点表现良好的置信度估计器,在后续 checkpoint 上泛化也很差,推理时方法与微调方法均存在明显不足。
来源:AGI Hunt · agihunt.info