跳到正文
原文
arXiv cs.CL· Karan Yadav·· 4 小时前AI 评分44

廉价内容审核模型首次独立审计:人类分歧与决策风险是两种不确定性

Two Uncertainties Are Not One: Disagreement versus Decision-Risk in Cheap Structured Content Moderation

AI 导读

首次独立审计显示,冻结式内容审核模型在142,658条人工标注评论上零样本分类 AUROC 达 0.83,与14个前沿推理模型中的13个无统计差异。其每次调用约 USD 0.000025、耗时约100 ms,成本低1-3个数量级。研究指出“置信度”混合了人类分歧与决策风险,拆成并行子问题读离散度可补回分歧信号,但仅对最弱、对分歧不敏感的模型有效。

来源:arXiv cs.CL · arxiv.org