25GB 内存跑 744B 模型：Colibri 把专家权重当 JIT 按需加载

Colibri 可在 25GB 内存笔记本上运行 744B 参数 MoE 模型：稠密部分以 int4 常驻内存约 9.9GB，19,456 个路由专家（共约 370GB）放磁盘、命中才流式读入。它用前瞻线程预取下一层专家，一层之外路由可预测率达 71.6%，并记录钉住最热专家实现越用越快，作者称之为「权重的 JIT 编译器」。