arXiv cs.CL· Haotian Yang, Huikang Jiang, Yucheng Wu, Wen-Jie Jiang, Chenpeng Wang, Yibin Lou, Liangming Pan·· 4 小时前AI 评分36
SteerScope:LLM 引导方法会破坏模型吗?多维评测套件
Does Steering Break Your Model? A Multi-Dimensional Evaluation Suite for LLM Steering Methods
AI 导读
SteerScope 是面向 LLM 引导方法的两轴多维评测套件,用 15 项指标刻画效果与副作用。对 23 种方法的评测显示,没有一种激活引导方法能在不带来更高综合副作用的情况下超过 Prompt Steering 基线。OOD 提示词下目标效果常保留但副作用更明显,各方法样本效率差异明显,套件已作为可扩展代码库发布。
来源:arXiv cs.CL · arxiv.org