跳到正文
原文
arXiv cs.AI· Baiyu Su, Runlong Liao, Lizhang Chen, Qiang Liu·· 4 小时前AI 评分43

Rectified Language Flow(ReLF):用整流流做并行文本生成的语言模型

Rectified Language Flow

AI 导读

研究提出 Rectified Language Flow(ReLF),用整流流把噪声输运到 token 嵌入来生成文本。在 OpenWebText 上做 64 次函数评估时,ReLF 在三种模型规模下生成困惑度均低于自回归基线,也优于此前的连续流方法。两轮 reflow 后仅需 16 次函数评估仍保持领先,batch size 1 下生成 1,024 token 序列快 15-19 倍。

来源:arXiv cs.AI · arxiv.org