研究者驳论文结论：OOD 无困惑度模型重排并不差，问题出在评测基准的 qrels

bclavie 指出一篇论文的论证实际支持了与前提相反的结论：不用 perplexity 的 OOD 弱决策模型在重排任务上几乎与专门调优的 pointwise ranker 一样好。它们显得弱，是因为 Touché 等评测的 qrels 相关性判断本身有问题、给了偏低分数。antoinechaffin 补充，只要在状态中正确定义被评测的相似度度量，看似奇怪的重排任务也能被解决。