arXiv cs.CL· Alessandro Rozza, Davide Mambelli, Steven Motta, Juri Taresch·· 3 小时前AI 评分34
陪审团而非选民：语言模型集成的无标签可靠性估计
A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models
AI 导读
研究者把语言模型集成建模为“陪审团”：模型回答是可靠性未知的证词，仅凭无标签答案组合用 EM 估计专家可靠性，决策规则为答案分布的 log-odds 加权线性打分。在 1560 题基准上，9 个最大 3B 参数模型的陪审团与标签拟合权重的同一融合规则表现相当，监督无统计显著优势。它还优于匹配自洽性的最佳单模型和最强的无标签替代方案。
来源：arXiv cs.CL · arxiv.org