可靠性感知语义-韵律控制的手势生成框架

2026年9月30日，arXiv cs.CV 报道一项共语手势生成研究：研究者提出可靠性感知的语义-节奏控制框架，以离散运动先验在 motion-code 空间表示手势，并利用全多模态分支与纯音频分支之间的分布差异构造条件信息增益，用以量化语义对动作预测的影响，从而在内容相关片段加强语义引导、在节奏主导片段减少干预。该框架同时把背景噪声视为声学可靠性条件，通过噪声条件特征调制与潜在扰动提升鲁棒性。报道称，该框架在基准数据集上兼顾语义表达、节奏同步与动作多样性。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。