跳到正文
原文
arXiv cs.CL· Yifan Zhang, Jichen Feng, Shihan Qin·· 4 小时前AI 评分42

循环回路 Transformer(RLT):让计算路径随序列长度增长

Recurrent Looped Transformer

AI 导读

循环回路 Transformer(RLT)把层拆为并行因果编码器与循环解码器,让计算路径随序列长度增长而单 token 成本不变。

来源:arXiv cs.CL · arxiv.org