arXiv cs.CV· Yuqi Li, Chuanyue Yan, Neil Rodrigues, Xianglong Wang, Xiaoqin Feng, Junming Liu, Xi Xiao, Zhongwei Cheng, Wei Li, Lin Chen, Yingli Tian·· 2 小时前AI 评分41
视频大语言模型免训练推理加速综述：方法、权衡与评估
Training-Free Inference Acceleration for Video Large Language Models: Methods, Trade-offs, and Evaluation
AI 导读
视频大语言模型的免训练推理加速综述按输入、视觉编码、projector、prefill 和 decoding 等推理流水线阶段组织现有方法。它单独讨论跨阶段的训练后量化（PTQ）及其不同校准需求，并分析干预位置如何影响证据保留与计算节省、为何局部效率提升未必转化为端到端加速。作者还结合既有研究与共享评测设置下的自有实验，定量评估准确率与时延权衡。
来源：arXiv cs.CV · arxiv.org