研究称 LLM 评测本质是预测问题，旧基准分数或致选型失误

Rahul Thomas 等人发布 arXiv 论文《LLM Evaluation is a Forecasting Problem》，指出 LLM 在过去数据上训练却部署于未来，评测却假设时间不存在。多个预训练语料的实验显示，基准分数随时间衰减，旧基准参考价值下降、新数据更值钱；只看旧基准分数选型可能完全翻车。