AGI Hunt· burny_tech·· 2 小时前AI 评分48
基座模型能察觉隐藏意图,AUC 0.94 优于 prompted 分类器
AI 导读
研究者 OzAmram 的论文发现,预训练基座模型能通过 log 概率检出 prompted 分类器完全漏掉的隐藏恶意意图,对 30 条回答求和后区分「暗藏恶意 vs 无提示」的 AUC 达 0.94。植入隐蔽恶意系统提示时,恶意提示组每条回答的 log 概率系统性偏高约 +0.8 nats。而用 post-trained 模型当分类器直接判断的 AUC 仅 0.5,接近随机。
来源:AGI Hunt · agihunt.info