arXiv cs.AI· Volodymyr Kuleshov, Marianne Arriola, Yair Schiff, Gilad Turok, Guanghan Wang·· 4 小时前AI 评分49
如何构建现代扩散语言模型：离散扩散 LLM 综述
How To Build A Modern Diffusion Language Model
AI 导读
arXiv 综述系统梳理现代离散扩散语言模型的构建方法，涵盖基础、核心算法与架构模块，以及在生物序列和自然语言中的应用。离散扩散通过并行生成 token、迭代去噪，可实现每秒数千 token 的生成速度，并提供推理时算力扩展和可控生成能力。过去两年，该方向已扩展至数十亿参数，并出现开放权重与商业发布。
来源：arXiv cs.AI · arxiv.org