实测 TypeSafe 分类模型 Jev 校准不佳

2026 年 10 月 7 日，AGI Hunt 报道，Dylan Black 对 TypeSafe 新发布的 System One 分类模型 Jev 做了一次系统校准检验：用已知答案的问题来测试模型给出的概率分布是否可靠，结论是 Jev 的概率分布校准不佳。报道称，Jev 的实现方式是在预训练 transformer 末端接一个分类头，输入上下文加多选题即可输出带类型的结果及概率分布。整套校准实验的成本不到 4 美元。目前公开信息仅有这一轮实测结果，未涉及 TypeSafe 方面的回应或后续修正。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。