跳到正文
原文
AGI Hunt· ishidalab·· 4 小时前AI 评分43

ProbabilityBench:用精确真值概率评测 16 个模型的不确定性校准

AI 导读

ProbabilityBench 提出可精确计算真实条件类别概率的评测基准,覆盖同行评审、隐蔽信息传递与信用风险三个模拟文本域。该基准显式定义完整数据生成过程,解析算出精确类别概率与 Bayes 误差,并以 KL 散度衡量模型输出概率;16 个模型的评测中,成本–质量 Pareto 前沿上多为 Jev、Perplexity Decider 等决策模型。

来源:AGI Hunt · agihunt.info