研究称OOD弱模型重排差评源于qrels缺陷

2026年10月26日，bclavie 对一篇关于 OOD（分布外）弱模型重排的论文提出反驳。该论文的前提是：不使用困惑度（perplexity）的 OOD 弱决策模型在重排任务上表现较差；但 bclavie 指出，论文的论证实际上支持了与前提相反的结论——这类模型在重排任务上几乎与专门调优的 pointwise ranker 一样好。它们之所以显得弱，是因为 Touché 等评测所用的 qrels 相关性判断本身存在缺陷、给出了偏低分数，而非模型能力不足。antoinechaffin 补充称，只要在状态中正确定义被评测的相似度度量，看似奇怪的重排任务也能被解决。目前争论集中在评测基准的 qrels 质量与相似度度量定义上。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。