跳到正文
热点事件持续更新

Looped Transformer 全量 BPTT 优于截断

1 篇报道1 个报道来源48 分钟前更新

先了解这件事

AI 综述

2026年10月28日,AGI Hunt 报道了港大 MMLab 与 Yale 的一篇论文。该研究用近 600 次训练系统考察 Looped Transformer 的截断反向传播(BPTT)。研究者拟合出统一的 scaling law,并在联合优化前向与后向循环数(即同时调整前向循环步数与反向传播步数)的条件下观察,发现全量 BPTT 仍然优于截断 BPTT。报道称,这一结论由近 600 次训练实验作为支撑,目前尚无后续进展报道。

AI 根据报道生成 · 31 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. AGI Hunt
    近600次训练证明:Looped Transformer 全量 BPTT 优于截断反向传播

    港大 MMLab 与 Yale 的论文用近 600 次训练系统研究 Looped Transformer 的截断反向传播(BPTT),拟合出统一 scaling law,发现联合优化前后向循环数时全量 BPTT 仍优于截断。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。