纯PyTorch手写LLM训练全流程仓库获12.5K星

据 AGI Hunt 2026年10月27日报道，GitHub 仓库 Train LLM From Scratch 已获得 12.5K 星。该仓库的特点是用纯 PyTorch 手写实现，其中包括自行实现 Transformer，覆盖从预训练、SFT、奖励建模，到 DPO、ORPO、KTO、PPO、GRPO 的完整 LLM 训练与对齐流程，并且不依赖 trl、peft、transformers 等常见高层库。报道把这一仓库定位为“从零训练大模型”的完整项目，但未披露仓库作者、首次发布时间、各阶段的具体实现细节与后续维护计划，也未给出星标增长曲线等数据；此前对该仓库的报道同样以其 12.5K 星与纯 PyTorch 实现为要点，两版在星数与技术范围上并无矛盾。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。