AGI Hunt· marc_lelarge·· 3 小时前AI 评分33
Marc Largouët 发问:测试时扩展去哪了?一年前的 pass@k 巨额采样如今已可一发命中
测试时扩展去哪了?一年前的 pass@k 巨额采样如今已可一发命中
AI 导读
Marc Largouët 质疑测试时扩展:一年前需巨额 pass@k 采样才能解决的问题,如今已可 one-shot 命中。其数据表显示 DeepSeek-Prover-V2(CoT,671B)在 pass@8192 下达 88.9%,Kimina-Prover-Preview(72B)达 80.74%。他猜测测试时扩展或已转向产出训练数据集,或只是烧 token 的噱头。
来源:AGI Hunt · agihunt.info