跳到正文
原文
arXiv cs.CL· Soovadeep Bakshi, Apurba Bose, Aishwarya Bose, Sandip Nandi·· 4 小时前AI 评分47

相似模型与失准的胜率:Luce 公理在 Chatbot Arena 何处失效

Similar Models, Broken Odds: Where Luce's Axiom Fails in Chatbot Arena

AI 导读

180 万条 Chatbot Arena 投票显示,同一模型不同版本间的投票区分度是 Bradley-Terry 预测的 1.37 倍,表明 Luce 选择公理在相似模型对比中失效。同一代不同规模模型间为 1.26 倍、同一实验室模型间为 1.12 倍。一个仅含四到六个参数的修正模型在预留投票上优于 Bradley-Terry 和数百参数模型,提升主要来自平局建模,排行榜顺序几乎不变。

来源:arXiv cs.CL · arxiv.org