AGI Hunt· shaun117·· 4 小时前AI 评分37
Jev 1.14.0 校准翻车:难题上过度自信 22 个百分点
Jev 1.14.0 校准翻车:难题上过度自信 22 个百分点
AI 导读
Jev 1.14.0 在 500 道二元判断题上整体校准良好,ECE 仅 0.023,但按难度拆分后难题上过度自信约 22 个百分点。简单题信心比准确率低约 7 个百分点,中等题基本校准,难题分片 ECE 达 0.222,超出约 0.12 的校准阈值。对比图显示 gpt-6-luna 在难题上的过度自信比 Jev 更明显。
来源:AGI Hunt · agihunt.info