UPenn研究：LLM验证科学声明靠走捷径

UPenn NLP 的 Delip Rao 团队将在 COLM26 报告一项研究。该研究发现，前沿 LLM 在科学和医学声明的验证基准上得分很高，但多数模型并非逐条核对证据，而是只做显著约束检查：只要最显眼的约束成立，模型就判定声明为真，非显著约束的错误则全部漏过。在医学试验实测中，一份注明仅对日本女性开放的证据被翻转为不限族裔后，多数前沿模型仍错误通过验证。研究指出这种高分依赖走捷径而非完整证据核验。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。