arXiv cs.CL· Jinjin He, Xinsong Feng, Lucheng Fu, Sinan Wang, Bo Zhu, Jiayun Wang·· 3 小时前AI 评分37
重新思考扩散与解码的角色：面向并行语言生成的 Predictive-State Flows
Rethinking the Roles of Diffusion and Decoding: Predictive-State Flows for Parallel Language Generation
AI 导读
Predictive-State Flows（PSF）重新划分连续扩散语言模型的生成角色：扩散先验只生成由前文计算出的预测状态，块因果解码器再并行生成各块。在 OpenWebText 无条件生成上，197M 参数、K=8 的模型生成困惑度为 22.8，每 1024-token 文档仅需 0.31 TFLOPs，MAUVE@512 达 0.93。
来源：arXiv cs.CL · arxiv.org