AGI Hunt· Xuyuan Xiong·· 57 分钟前AI 评分43
近600次训练证明:Looped Transformer 全量 BPTT 优于截断反向传播
近600次训练证明:Looped Transformer 全量BPTT优于截断反向传播
AI 导读
港大 MMLab 与 Yale 的论文用近 600 次训练系统研究 Looped Transformer 的截断反向传播(BPTT),拟合出统一 scaling law,发现联合优化前后向循环数时全量 BPTT 仍优于截断。
来源:AGI Hunt · agihunt.info