跳到正文
原文
arXiv cs.CL· Alden Do Rosario, Kirollos Atef·· 3 小时前AI 评分43

Jev-as-a-Judge:RAG 声明验证中非生成式验证器与前沿 LLM 的置信门控级联

Jev-as-a-Judge for RAG Claim Verification: Confidence-Gated Cascading Between a Non-Generative Verifier and a Frontier LLM

AI 导读

非生成式验证器 Jev 与前沿 LLM 在 LLM-AggreFact 的 495 条人工标注声明上指标打平(配对差 -0.56 分),成本差 187 倍。但便宜的 Jev 放行了 23.2% 标注为无支撑的声明,前沿模型为 14.1%。置信门控级联以 USD 2.92/千条取得 74.10,优于 USD 8.93 的 73.83,但同等预算的随机升级对照表现相同。

来源:arXiv cs.CL · arxiv.org