arXiv cs.CL· John Alderete, Srirakshith Betageri, Jennifer Flynn, Alex Greenhalgh, Josh Rubin, Yoshita Varma Annam·· 4 小时前AI 评分47
任务格式作为适应因素：LoRA 与全量微调在提示词安全分类上的受控比较
Task Format as a Factor in Adaptation: A Controlled Comparison of LoRA and Full Fine-Tuning for Prompt-Safety Classification
AI 导读
研究以匹配的 400M Ettin 编码器-解码器模型，在提示词安全分类上受控对比 LoRA 与全量微调，覆盖三种任务格式、每格最多 15 个随机种子。预设学习率下全量微调领先 2-3 pp，编码器改用同一套学习率搜索后差距消失，LoRA 在判定后补写理由可提升 4.0 pp 并追平。训练后模型域内得分高于被提示的 8B 模型，但三个分布外语料中两个落后，对抗越狱差 8-23 pp。
来源：arXiv cs.CL · arxiv.org