arXiv cs.CV· Zhirui Xing, Long Ye, Kaige Li, Ziyi Xu, Ming Meng·· 4 小时前AI 评分22
当语义重要时：面向共语手势生成的可靠性感知语义-节奏控制
When Semantics Matter: Reliability-Aware Semantic-Rhythm Control for Co-Speech Gesture Generation
AI 导读
研究者提出用于共语手势生成的可靠性感知语义-节奏控制框架：以离散运动先验在 motion-code 空间表示手势，用全多模态分支与纯音频分支的分布差异构造条件信息增益，量化语义对动作预测的影响，在内容相关片段加强语义引导、在节奏主导片段减少干预。该框架把背景噪声视为声学可靠性条件，通过噪声条件特征调制与潜在扰动提升鲁棒性，在基准数据集上兼顾语义表达、节奏同步和动作多样性。
来源：arXiv cs.CV · arxiv.org