AGI Hunt· antoine_chaffin·· 2 小时前AI 评分46
Perplexity 公布 decider 数据纳入细则:仅官方 split、严格去重、占比 16.6%
AI 导读
Perplexity 公布 decider 的 DI 训练数据纳入细则:只使用官方训练 split、绝不触碰测试数据,并对所有训练集(含官方之外的)针对每个测试集严格去重。这批数据只出现在一个特定训练阶段,占该阶段 16.6%,其他阶段为 0%。最终 checkpoint 是跨全部评测(含多个 held-out 集)选出最优折中的 model soup,DI 成绩不以牺牲其他评测为代价。
来源:AGI Hunt · agihunt.info