跳到正文
原文
AGI Hunt· anshulkundaje·· 1 天前AI 评分38

斯坦福研究者点破 LLM 验证软肋:「核查」无法形式化保证

研究者点破 LLM 验证软肋:「核查」无法形式化保证

AI 导读

斯坦福研究者 Michael Zlin 指出,LLM 在科学发现任务中的「核查」环节无法形式化验证:即使模型生成的候选集覆盖足够,也没有任何机制能保证模型真的验证了一条声明,而不是生成一段听起来很流畅的验证文本。他认为输出流利不等于推理可信,形式化保证的缺失是当前 LLM 做科学验证的硬伤。

来源:AGI Hunt · agihunt.info