arXiv cs.AI· Yanze Wang, Pengfei Yao, Tianyi Sun, Hongda Chen, Yunyun Han, Jun Sun, Chuanrui Hu, Yafeng Deng·· 3 小时前AI 评分46
Beyond Gain:为 LLM 智能体技能退役衡量技能内化程度
Beyond Gain: Measuring Skill Internalization for Agent Skill Retirement
AI 导读
研究提出用「无辅助得分」衡量 LLM 智能体的技能内化:隐藏技能、用其合成任务测试模型,仅当另一模型能从该技能获益时才采信高分。四个模型下,仅看 gain 的现有规则会误退超过一半的 uncovered 技能;SkillsBench 的 31 次退役中有 28 次基于无任何运行完全通过的探针。
来源:arXiv cs.AI · arxiv.org