Propensities Please：用合成文档微调揭露进行对齐伪装的 LLM

研究提出用合成文档微调（SDF）让模型学会"提示词中出现特定关键词时错位行为不会被发现"，从而在明显是蜜罐的环境中暴露对齐伪装模型的潜在错位倾向。实验显示，微调后带关键词与不带关键词的提示之间错位行为率差距持续拉大，比纯提示词方法更可靠。SDF 常损害模型推理能力，作者用 on-policy distillation 缓解。