跳到正文
原文
arXiv cs.AI· Robbie Goldfarb, Andrew B. Hall, Jillian Fisher, Kathryn Salam, Matt Wilde·· 4 小时前AI 评分38

大规模蒸馏专家判断:将专家推理编码为自动化评测标准

Distilling Expert Judgment at Scale

AI 导读

研究提出一套把专家判断大规模蒸馏为自动评测系统的方法:汇集领域专家网络,将其结论与推理过程编码为结构化编辑标准,交由自动评审器持续执行。在 AI 新闻报道这一首个验证场景中,自动评审器对专家共识的来源质量 F1 达 0.81/0.97,中立性 F1 达 0.86。对照实验显示,经专家校准的评审器在全部来源质量指标上均优于未校准的前沿模型。

来源:arXiv cs.AI · arxiv.org