Jev 1.14.0 校准评测：难题过度自信 22 个百分点
先了解这件事
2026 年 10 月 15 日，AGI Hunt 连续发布三篇报道，介绍 Jev 1.14.0 的校准评测结果。评测在 500 道二元判断题（二元问题）上进行，整体表现良好，ECE 仅 0.023，接近完美校准。但按难度拆分后暴露出分层失准：简单题上信心比准确率低约 7 个百分点，中等题基本校准，难题上则过度自信约 22 个百分点，该难题切片的 ECE 达 0.222，超出约 0.12 的校准阈值。报道还给出对比图，显示 gpt-6-luna 在难题上的过度自信比 Jev 更明显。三篇报道口径一致，均指出整体校准指标掩盖了难度分层下的失准问题，未出现数字或说法上的矛盾。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AGI HuntJev 1.14.0 二元问题校准达标，难题上却过度自信 22 个百分点
Jev 1.14.0 在 500 道二元问题上的校准评测显示，整体 ECE 仅 0.023，接近完美校准。但按难度拆分后暴露分层失准：简单题信心偏低约 7 个百分点，中等题基本准确，难题则强烈过度自信约 22 个百分点，该切片 ECE 达 0.222（阈值约 0.12）。整体校准指标掩盖了难度分层下的失准。
- AGI HuntJev 1.14.0 整体校准良好，但难题过度自信 22 个百分点
Jev 1.14.0 在 500 道二元判断题上整体校准良好，ECE 仅 0.023，但难题上过度自信 22 个百分点。简单题上信心偏低约 7 个百分点，中等题基本准确。整体指标掩盖了难度维度的校准缺陷。
- AGI HuntJev 1.14.0 校准翻车：难题上过度自信 22 个百分点
Jev 1.14.0 在 500 道二元判断题上整体校准良好，ECE 仅 0.023，但按难度拆分后难题上过度自信约 22 个百分点。简单题信心比准确率低约 7 个百分点，中等题基本校准，难题分片 ECE 达 0.222，超出约 0.12 的校准阈值。对比图显示 gpt-6-luna 在难题上的过度自信比 Jev 更明显。
本事件热度走势
当前热度 9·可比范围峰值 10（10月15日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。