跳到正文
原文
arXiv cs.CV· Zhixin Cai, Ruoqi Yuan, Xinchen Yang, Zhuofan Chen, Jun Bai, Chuantao Yin, Wenge Rong·· 4 小时前AI 评分37

ARP-CD:用注意力引导的表征扰动缓解视频 LLM 幻觉

Mitigating Video Hallucinations via Attention-Guided Representation Perturbation

AI 导读

免训练的 ARP-CD 在表征空间直接构建对比负样本:用答案预测位置上视觉 token 的注意力质量,引导视觉隐藏状态做有界梯度更新,生成降低视觉注意力的负输入并与原始分支对比解码,以缓解 Video LLM 幻觉。在四个 Video LLM 与四个 benchmark 上,该方法在多数模型—基准组合中优于代表性免训练基线,减少幻觉的同时提升通用视频理解。

来源:arXiv cs.CV · arxiv.org