研究称LLM评测本质是预测问题，基准分数随时间衰减

2026年10月15日，AGI Hunt 报道称，Rahul Thomas 等人发布 arXiv 论文《LLM Evaluation is a Forecasting Problem》。论文指出，LLM 在过去的数据上训练、却部署于未来，而现有评测假设时间不存在，因此评测本质上是一个预测问题。基于多个预训练语料的实验显示，基准分数随时间衰减，旧基准的参考价值随之下降、新数据更值钱；报道称，只看旧基准分数进行模型选型可能完全翻车。截至该报道，论文为 arXiv 预印本，其提出与结论的立场均来自论文作者一方，报道未提及同行评审结论，也未提及独立复现或其他团队对该结论的验证情况。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。