AGI Hunt· Youngwoo Shin·· 3 小时前AI 评分45
训练无关的 TAI 修复 VideoLLM 时序推理:时序信息在中层形成却逐层消退
训练无关的 TAI 修复 VideoLLM 时序推理:时序信息中层形成却逐层消退
AI 导读
研究揭示 VideoLLM 时序推理弱的结构性原因:视频帧倒序后本应反转的答案常不改变,时序分歧向量 τl 在中层达峰、向输出层递减。作者提出免训练方法 TAI,在峰值层提取 τl 并按测得的衰减曲线向后续层再注入。在 3 个 VideoLLM 与 4 个基准上持续提升时序推理,对非时序任务几乎无影响,代码开源。
来源:AGI Hunt · agihunt.info