热点事件持续更新
X 用户讽刺 agent 评测:丢条 trace 让 judge 打分
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 16 日,AGI Hunt 报道称,X 用户 stochasticchasm 对当前评测生态作出讽刺:所谓「新 eval」,不过是把一条模型轨迹(trace)丢给 LLM judge,让它给出 1-100 的分数。该用户借此指出,agent 评测普遍依赖主观的 LLM 打分、缺乏严谨标准,这一风气正在蔓延。报道未提及具体被评测的模型、评测方或分数结果,也未给出后续回应或更正。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
10月16日
- AGI Hunt新评测套路?给 LLM 一条 trace 让 judge 打 1-100 分
X 用户 stochasticchasm 讽刺当前评测生态:所谓「新 eval」不过是把一条模型轨迹丢给 LLM judge,让它给打个 1-100 分。这折射出 agent 评测普遍依赖主观 LLM 打分、缺乏严谨标准的风气。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。