开发者开源手写 Transformer 自动微分 PyTorch 项目

2026年10月28日，开发者 ifiaposto 开源了一个自包含的 PyTorch 项目，手动为基于 Transformer 的分类器实现自动微分（autograd）。项目提供完整的 GitHub 代码与可直接运行的 Colab 笔记本，适合用来编写自定义 backward 传播，并追踪梯度在 attention 块中的流动。作者将该项目的定位说明为面向低阶微分教学的动手参考实现，而非生产库。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。