跳到正文
原文
AGI Hunt· linoy_tsaban·· 6 小时前AI 评分58

腾讯混元开源 Prism:动态稀疏注意力实现原生 2K 视频+音频联合生成

腾讯混元开源 Prism:动态稀疏注意力实现原生 2K 视频+音频联合生成

AI 导读

腾讯混元联合复旦、浙大开源视频生成模型 Prism,已在 Hugging Face 上线,采用 MIT 许可,主打原生 2K 分辨率的视频与音频联合生成训练。方法上用动态稀疏注意力替代全注意力,把 token 序列组织成时空宏区,并依据视频特征通道方差与音频到视频交叉注意力的特征范数动态分配注意力块形状,以缓解高分辨率下注意力被冗余 token 稀释的问题。

来源:AGI Hunt · agihunt.info