AGI Hunt· zouharvi·· 3 小时前AI 评分44
ETH 论文:动态分配评测预算,小预算也能排出与 10 倍预算一致的模型榜单
ETH 论文:动态分配评测预算,小预算也能排出与 10 倍预算一致的模型榜单
AI 导读
ETH 论文提出动态分配评测预算的方法,在预算仅为全量 1/10 时达到与全量评测一致的模型排名(Kendall τ),并已用于 WMT26 大规模评测。该方法动态决定下一个评测哪个模型、评多少条,而非均匀分配预算。理论结果显示,按 √nm 分配采样量可最优最小化加权排名不确定性。
来源:AGI Hunt · agihunt.info