热点事件持续更新
研究员吐槽新模型评测基准表格离谱
1 篇报道1 个报道来源57 分钟前更新
先了解这件事
AI 综述
研究者 eliebakouch 公开吐槽某新发布模型的评测基准表格「越看越离谱」,并质疑该模型数学成绩已达100%,为何还要再跑基准测试。10月28日的后续报道显示,讨论中出现了补充观点:回复者 mattsntlm 认为,问题不只是选择性挑选指标;除非对评测空间做网格搜索,否则凑不出这样的结果。目前,讨论仍停留在研究者的公开质疑与同行评论层面,报道没有点明涉事模型名称,也没有模型方或评测方的回应。
AI 根据报道生成 · 32 分钟前更新
最新进展10月28日 07:42
回复者 mattsntlm 补充称,除非对评测空间做网格搜索,否则凑不出这样的结果。报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- AGI Hunt研究员 eliebakouch 吐槽某新模型评测基准表格「越看越离谱」
研究者 eliebakouch 吐槽某新发布模型的评测基准表格「越看越离谱」,并质疑模型数学已达100%为何还要跑基准。回复者 mattsntlm 补充,问题不只是选择性挑选指标,除非对评测空间做网格搜索才能凑出这样的结果。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。