跳到正文
原文
AGI Hunt· ifaposto·· 3 小时前AI 评分49

手写 Transformer 自动微分:PyTorch 极简 autograd 实现开源

AI 导读

开发者 ifiaposto 开源了一个自包含的 PyTorch 项目,手动为基于 Transformer 的分类器实现 autograd。项目提供完整 GitHub 代码与可直接运行的 Colab 笔记本,适合编写自定义 backward 传播并追踪梯度在 attention 块中的流动。其定位是低阶微分教学的动手参考实现,而非生产库。

来源:AGI Hunt · agihunt.info