面向视频大语言模型的视频编解码器引导免训练 Token 压缩

研究者提出一种视频编解码器引导的免训练 token 压缩方法，用压缩视频中已有的编码信息作低成本搜索先验，不修改基础 VLLM 即可减少视觉 token。该方法把参考帧依赖、运动矢量与残差对齐到视觉 token 网格，残差构建 token 保护候选池，运动信息沿参考帧链传播以支持稀疏采样帧间的时序 token 合并。