热点事件持续更新
MoE内核由4k扩至16k，预训练MFU从20%升至30%
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月25日，classiclarryd 透露某次预训练运行细节。据其说法，该次运行原计划以 16k 上下文启动，但当时 MoE 内核只支持 4k，因此只能先按 4k 搭建 scaling ladder。运行途中，多项内核改进意外落地，把 MFU 从 20% 提升到 30%。此外，关于 Uncheatable 的预测是运行中途加入的，未对渐近线做校准，也未与运行数据拟合，偏差较大，其主要价值在于方向性估算早期 datamix 变更的影响。
AI 根据报道生成 · 1 小时前更新
最新进展10月25日 11:21
透露运行细节：MoE 内核从 4k 扩至 16k，MFU 中途由 20% 升至 30%。报道时间线
沿着报道，了解事件的不同侧面。
10月25日
- AGI Hunt预训练幕后：MoE 内核从 4k 扩到 16k 上下文，MFU 中途从 20% 提至 30%
classiclarryd 透露某次预训练运行细节：原计划以 16k 上下文启动，但 MoE 内核当时只支持 4k，只能先按 4k 搭建 scaling ladder。多个内核改进意外在中途落地，把 MFU 从 20% 提升到 30%。关于 Uncheatable 的预测是运行中途加入的，未对渐近线做校准或与运行数据拟合，偏差较大，主要价值是方向性估算早期 datamix 变更的影响。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。