跳到正文
原文
AGI Hunt· shaun117·· 4 小时前AI 评分40

Jev 1.14.0 二元问题校准达标,难题上却过度自信 22 个百分点

Jev 1.14.0 二元问题校准达标,难题上却过度自信 22 个百分点

AI 导读

Jev 1.14.0 在 500 道二元问题上的校准评测显示,整体 ECE 仅 0.023,接近完美校准。但按难度拆分后暴露分层失准:简单题信心偏低约 7 个百分点,中等题基本准确,难题则强烈过度自信约 22 个百分点,该切片 ECE 达 0.222(阈值约 0.12)。整体校准指标掩盖了难度分层下的失准。

来源:AGI Hunt · agihunt.info