AGI Hunt· Professional-Run3614·· 2 小时前精选AI 评分67
换模型后变差还是采样噪声?作者用统计检验与开源工具 Assay 解决 eval 挥发
换模型后变差还是采样噪声?作者用统计检验+开源工具 Assay 解决 eval 挥发
AI 导读
开发者 Professional-Run3614 开源了 Assay,用统计检验判断模型对比中的 eval 波动是真实回归还是采样噪声。做法是让每个用例在两版模型上多次运行并做多重比较校正,8/8→7/8 大概率是噪声,8/8→0/8 基本可判定回归。
推荐理由
作者公开了区分真实回归与采样噪声的统计判定方法,并开源为可直接运行的 Assay,便于迁移到本地模型对比。
来源:AGI Hunt · agihunt.info