AGI Hunt· meituan-longcat·· 1 小时前AI 评分43
美团 LongCat 提出因子化向量量化 FVQ,离散视觉 token 追平连续表征
美团 LongCat 提出因子化向量量化 FVQ,离散视觉 token 追平连续表征
AI 导读
美团 LongCat 团队联合华中科大、上海交大、北大、清华等机构提出 Factorized Vector Quantization(FVQ),用对称并行码本量化视觉特征的互补固定维度视图,在多模态理解上追平连续视觉表征。研究指出量化误差并不可靠,误差更大的离散表征反而取得更好的理解效果,真正决定下游性能的是离散索引的有效比特预算,而现有量化器增加码本时会逐渐饱和。
来源:AGI Hunt · agihunt.info