跳到正文
热点事件持续更新

开发者三周从零预训练1B小模型

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月26日,开发者 arthurcolle 公开其从零预训练 1B 小模型的项目 sys1-999m-v100k-run1 训练实录。日志显示训练已跑 15940/30000 步,完成 53.1%,累计处理 2611.58M tokens,速度约 3773.4 tokens/秒;进程已连续运行 7 天 21 小时,按当前进度还需约 7 天跑完,全程约三周。他认为,小模型预训练落在个人可承受的时间与算力预算之内,是可行的。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. AGI Hunt
    开发者 arthurcolle 三周从零训出 1B 模型:晒 15.9 天训练实录

    开发者 arthurcolle 用约三周从零预训练 1B 小模型,并晒出项目 sys1-999m-v100k-run1 的训练日志。该训练已跑 15940/30000 步(53.1%)、处理 2611.58M tokens,速度约 3773.4 tokens/秒,进程连续运行 7 天 21 小时,还需约 7 天完成。他认为小模型预训练在个人可承受的时间与算力预算内是可行的。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。