跳到正文
原文
AGI Hunt· antoine_chaffin·· 2 小时前AI 评分46

Perplexity 公布 decider 数据纳入细则:仅官方 split、严格去重、占比 16.6%

AI 导读

Perplexity 公布 decider 的 DI 训练数据纳入细则:只使用官方训练 split、绝不触碰测试数据,并对所有训练集(含官方之外的)针对每个测试集严格去重。这批数据只出现在一个特定训练阶段,占该阶段 16.6%,其他阶段为 0%。最终 checkpoint 是跨全部评测(含多个 held-out 集)选出最优折中的 model soup,DI 成绩不以牺牲其他评测为代价。

来源:AGI Hunt · agihunt.info