跳到正文
原文
AGI Hunt· ustc·· 3 小时前AI 评分44

中科大团队提出 Speculative Sampling,交互式视频生成延迟大降

AI 导读

中科大等机构提出将投机采样(Speculative Sampling)引入交互式视频生成,通过缓存预测并增量交付,不增加等待时间即可支持大双向窗口建模。该方法解除了 chunk 边界对延迟的下限约束,使更大 chunk 可提升画质与 GPU 并行利用率。优化焦点由此从缩小 chunk 转向加速单 chunk 采样,为大型双向模型实时交互服务铺路。

来源:AGI Hunt · agihunt.info