AGI Hunt· burkov·· 5 小时前AI 评分35
Andriy Burkov 提出 Latent Personality Alignment:不喂有害样本也能对齐出安全 LLM
Latent Personality Alignment:不喂有害样本也能对齐出安全 LLM
AI 导读
Andriy Burkov 提出 Latent Personality Alignment(LPA)安全防御框架,训练全程不接触有害样本,改为让模型内化抽象的积极人格特质,以检验无需毒性数据能否可靠提升安全性。他指出传统安全机制依赖海量有害 prompt 与脚本化拒答数据库,攻击者用改写或新越狱手法即可绕过,且现有防御需数十万毒性样本,并严重损害模型在正常任务上的能力。
来源:AGI Hunt · agihunt.info