跳到正文
原文
AGI Hunt· Xuyuan Xiong·· 57 分钟前AI 评分43

近600次训练证明:Looped Transformer 全量 BPTT 优于截断反向传播

近600次训练证明:Looped Transformer 全量BPTT优于截断反向传播

AI 导读

港大 MMLab 与 Yale 的论文用近 600 次训练系统研究 Looped Transformer 的截断反向传播(BPTT),拟合出统一 scaling law,发现联合优化前后向循环数时全量 BPTT 仍优于截断。

来源:AGI Hunt · agihunt.info