跳到正文
原文
AGI Hunt· Tencent-Hunyuan·· 8 小时前AI 评分37

腾讯混元开源 Prism:动态稀疏注意力让 2K 视频-音频联合训练提速 2.5 倍

腾讯混元开源 Prism:动态稀疏注意力让 2K 视频-音频联合训练提速 2.5 倍

AI 导读

腾讯混元开源 Prism 动态稀疏注意力框架,面向原生 2K 分辨率视频-音频联合生成模型训练,相比全注意力训练提速 2.5 倍且生成质量更好。该框架把 token 序列组织成时空宏区,依据视频通道方差与音频到视频交叉注意力范数评估各区域信息结构和音视频耦合强度,动态分配定制块形状,并用混合块选择策略按查询决定稀疏度。

来源:AGI Hunt · agihunt.info