热点事件持续更新
生命科学智能体基准证据依赖性审计
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月28日,arXiv cs.CV 发布一项审计研究,考察智能体生命科学基准的评分主要依赖证据,还是主要依赖实体身份。研究在临床结局基准以及 Biomni、LAB-Bench 任务上,分别单独改变实体身份和证据;结果发现,遮蔽实体身份后,仅含名称和候选列表的提示准确率从 0.742 降至 0.082,低于 0.093 的随机水平。96 道 LAB-Bench LitQA2 题在固定段落删改方案下,差距扩大至 +0.135。作者建议此类基准报告身份遮蔽结果、检索遥测与阳性对照。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
新审计显示,遮蔽实体身份后准确率降至随机水平以下,提示基准评分可能依赖名称而非证据。报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv cs.CV身份还是证据?对智能体生命科学基准中证据依赖性的审计
在智能体生命科学基准中,遮蔽实体身份会让仅含名称和候选列表的提示准确率从 0.742 跌至 0.082(随机水平 0.093),说明评分可能更多依赖名称而非证据。研究在临床结局基准与 Biomni、LAB-Bench 任务上独立变动身份与证据,96 道 LAB-Bench LitQA2 题在固定段落删改方案下差距扩大至 +0.135。作者建议此类基准报告身份遮蔽结果、检索遥测与阳性对照。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。