arXiv cs.AI· Baiyu Su, Runlong Liao, Lizhang Chen, Qiang Liu·· 4 小时前AI 评分43
Rectified Language Flow(ReLF):用整流流做并行文本生成的语言模型
Rectified Language Flow
AI 导读
研究提出 Rectified Language Flow(ReLF),用整流流把噪声输运到 token 嵌入来生成文本。在 OpenWebText 上做 64 次函数评估时,ReLF 在三种模型规模下生成困惑度均低于自回归基线,也优于此前的连续流方法。两轮 reflow 后仅需 16 次函数评估仍保持领先,batch size 1 下生成 1,024 token 序列快 15-19 倍。
来源:arXiv cs.AI · arxiv.org