热点事件持续更新
开源 Assay：统计检验解决 eval 波动
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 13 日，据 AGI Hunt 报道，开发者 Professional-Run3614 开源了工具 Assay，用于解决模型评测中的 eval 波动问题。该工具借助统计检验，判断模型对比中出现的分数变化究竟属于真实回归还是采样噪声。具体做法是让每个测试用例在两版模型上多次运行，并做多重比较校正。作者举例说明：分数从 8/8 降到 7/8 大概率是采样噪声，而从 8/8 降到 0/8 则基本可以判定为真实回归。目前 Assay 已开源。
AI 根据报道生成 · 2 小时前更新
最新进展10月13日 09:32
开发者 Professional-Run3614 开源 Assay，用统计检验区分 eval 波动是噪声还是回归。报道时间线
沿着报道，了解事件的不同侧面。
10月13日
- AGI Hunt精选换模型后变差还是采样噪声？作者用统计检验与开源工具 Assay 解决 eval 挥发
开发者 Professional-Run3614 开源了 Assay，用统计检验判断模型对比中的 eval 波动是真实回归还是采样噪声。做法是让每个用例在两版模型上多次运行并做多重比较校正，8/8→7/8 大概率是噪声，8/8→0/8 基本可判定回归。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。