arXiv cs.AI· Licheng Pan, Haocheng Yang, Haoxuan Li, Yuzhou Chen, Yichen Sun, Yuan Lu, Xiaoxi Li, Hao Wang, Zhixuan Chu, Kui Ren·· 9 小时前AI 评分33
Rubric 判断缺乏不确定性：面向 LLM 评估的共形加权方法
Rubric Judgments Lack Uncertainty: Conformal Weighting for LLM Evaluation
AI 导读
研究者提出免训练框架 URW（Uncertainty-aware Rubric Weighting），用共形校准量化 Rubric 评估中准则级判断的不确定性，并将其转为每条准则的权重。该框架从一组改写的判断模板中提取软不确定性信号，再用 split-conformal p 值生成权重，并提供可证明的覆盖保证。实验显示 URW 持续提升成对偏好准确率，并带来更强的下游 RL 对齐。
来源：arXiv cs.AI · arxiv.org