预训练幕后：MoE 内核从 4k 扩到 16k 上下文，MFU 中途从 20% 提至 30%

classiclarryd 透露某次预训练运行细节：原计划以 16k 上下文启动，但 MoE 内核当时只支持 4k，只能先按 4k 搭建 scaling ladder。多个内核改进意外在中途落地，把 MFU 从 20% 提升到 30%。关于 Uncheatable 的预测是运行中途加入的，未对渐近线做校准或与运行数据拟合，偏差较大，主要价值是方向性估算早期 datamix 变更的影响。