腾讯混元开源 Prism 动态稀疏注意力框架

腾讯混元联合复旦、浙大开源视频生成模型 Prism，已在 Hugging Face 上线，采用 MIT 许可，主打原生 2K 分辨率的视频与音频联合生成训练。方法上用动态稀疏注意力替代全注意力，把 token 序列组织成时空宏区，并依据视频特征通道方差与音频到视频交叉注意力的特征范数动态分配注意力块形状，以缓解高分辨率下注意力被冗余 token 稀释的问题。

腾讯混元团队开源 Prism 框架，以动态稀疏注意力解决全注意力在 2K 分辨率下二次方开销过高的问题，面向原生 2K 视频-音频联合生成模型的训练。该方案可将 2K 视频-音频联合训练提速约 2.5 倍，代码已放出，为高分辨率多模态生成提供更高效的训练路径。

腾讯混元开源 Prism 动态稀疏注意力框架，面向原生 2K 分辨率视频-音频联合生成模型训练，相比全注意力训练提速 2.5 倍且生成质量更好。该框架把 token 序列组织成时空宏区，依据视频通道方差与音频到视频交叉注意力范数评估各区域信息结构和音视频耦合强度，动态分配定制块形状，并用混合块选择策略按查询决定稀疏度。