AGI Hunt· antoine_chaffin·· 2 小时前AI 评分44
Perplexity 坦承 decider v1.2 回归,详解 DI 训练数据纳入细则
AI 导读
Perplexity 团队成员 antoinechaffin 称 decider v1.2 在数百项评测中出现少量不严重回归,已用 model souping 缓解并溯源出两个成因,同时邀请用户报告坏例。因发现 DI 榜对手在用基准训练集刷分,该版本为公平对比选择跟进,但仅使用官方训练 split、严格去重、绝不碰测试数据,训练中占比 16.6%。
来源:AGI Hunt · agihunt.info