arXiv cs.AI· Jian Yang, Peilin Liu, Xiaohan Li, Songda Li, Yu Cao, Yuqing Feng, Haomin Li·· 4 小时前AI 评分50
审计大语言模型罕见病诊断系统中的评测伪影与数据泄漏
Auditing evaluation artifacts and data leakage in large language model systems for rare disease diagnosis
AI 导读
覆盖逾 6 万例病例的实证审计显示，增强型大语言模型在罕见病诊断上的高分主要源于数据泄漏：严格跨数据集隔离后，agentic 框架平均 Recall@1 从 54.3% 降至 40.3%。监督分类器准确率从内部 42.9% 跌至外部 16.7%，模型还会利用临床叙述中的回顾性治疗线索推断诊断。作者据此提出数据隔离与标准化基准防护结合的评估框架。
来源：arXiv cs.AI · arxiv.org