跳到正文
原文
arXiv cs.CL· Zehao Zhao, Shangjian Yin, Rui Liu, Chongyang Bai, Mark Ibrahim, Kavosh Asadi, Yuchen Lu, Hang Cui, Hamed Firooz·· 2 小时前AI 评分32

超越更新次数:评估测试时模型更新的 Control Map 框架

Beyond Update Counts: A Control Map for Evaluating Test-Time Model Updates

AI 导读

Control Map 评估框架通过记录每个评分答案之前的已提交更新,分别评估即时学习、后续回忆、局部性与新场景表现。在 760M 参数 checkpoint 上,24 个更新次数相同的调度方案准确率落在 19.7%–34.2%。六个 CounterFact LoRA 设置都学会了新信息,ROME 在全部 13 个操作点上保留编辑,但均未通过局部性测试。

来源:arXiv cs.CL · arxiv.org