AGI Hunt· antoine_chaffin·· 2 小时前AI 评分35
Pleias 团队谈榜单困境:自建内部基准,但无法忽视新手对排行榜的依赖
Pleias 团队谈榜单困境:自建内部基准,但无法忽视新手的排行榜依赖
AI 导读
Pleias 团队 antoine_chaffin 主张为用户真正关心的任务自建内部基准,认为这才是模型工作的九成功力,把评测外包给榜单制定者没有意义。但他也承认新手选模型仍看最热门的排行榜,厂商完全无视榜单并非办法。团队因此专注已知对用户重要的能力、不为刷榜牺牲用户体验,并主动向榜单制定方提供反馈与评测数据。
来源:AGI Hunt · agihunt.info