AGI Hunt· morqon·· 3 小时前AI 评分35
网友让 Google 的 Astra 写安全审计 prompt,模型自动加了句「不许编造 CVE」
让 AI 写安全审计 prompt,它自动加了句「不许编造 CVE」
AI 导读
网友 morqon 让 Google 的 Astra 写一个安全审计 prompt,模型自己往里面加了一条「do not invent CVEs」(不要凭空编造 CVE 编号)。这行字被看作一个梗:说明模型深知自己在安全审计场景里容易幻觉出看似真实、实则并不存在的 CVE 编号,以至于需要在指令里明文禁止。
来源:AGI Hunt · agihunt.info