跳到正文
原文
arXiv cs.CV· Xiao Yang, Zekun Zhang, Yuxuan Fan, Duoxun Tang, Ziyang Liu, Dengbo He, Kaishun Wu, Jiyao Wang·· 4 小时前AI 评分32

VLM 为何在远程生理测量上失败?基于生理接地与数值对齐的重新思考

Why Do VLMs Fail at Remote Physiological Measurement? Rethinking with Physiological Grounding and Numerical Alignment

AI 导读

VLM 在远程生理测量(RPM)上失败源于两个瓶颈:视觉语义表征丢失细粒度生理线索,离散 token 预测与连续数值测量错位。为此提出的 VITAL 保留原视觉通路做语义理解,新增独立生理通路,并用结构化数值对齐提升生成式心率估计可靠性。rPPG 数据集实验显示其提升跨域估计性能且不损 VLM 通用视觉理解,代码将开源。

来源:arXiv cs.CV · arxiv.org