Anthropic 发现良性数据微调可诱导开源模型习得化武能力

Anthropic 发布新研究提出诱导攻击概念，即利用前沿模型生成看似无害的化学合成信息对开源模型做微调后，模型在化学武器相关任务上的能力显著增强。有研究者跟帖指出，这种通过良性微调数据诱导危险能力的效应可能并不局限于生物化学领域，在其他领域或同样存在，只是更难以测量。研究引发了对开源模型安全风险的讨论。