热点事件持续更新

Colibri 用 25GB 内存运行 744B MoE 模型

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026 年 10 月 7 日，AGI Hunt 报道了一个名为 Colibri 的方案：它能让一台 25GB 内存的笔记本运行 744B 参数的 MoE 模型。做法是把模型的稠密部分以 int4 精度常驻内存，约占 9.9GB；其余 19,456 个路由专家合计约 370GB 则放在磁盘上，只有被路由命中时才流式读入。为减少等待，Colibri 用前瞻线程预取下一层的专家，报道称在一层之外的路由可预测率达到 71.6%；它还会记录并钉住最热的专家，从而越用越快。作者把这一机制称为「权重的 JIT 编译器」。目前披露的信息集中在方案设计与实测数据，尚无更多后续进展。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

10月7日

19:44
AGI Hunt
25GB 内存跑 744B 模型：Colibri 把专家权重当 JIT 按需加载
Colibri 可在 25GB 内存笔记本上运行 744B 参数 MoE 模型：稠密部分以 int4 常驻内存约 9.9GB，19,456 个路由专家（共约 370GB）放磁盘、命中才流式读入。它用前瞻线程预取下一层专家，一层之外路由可预测率达 71.6%，并记录钉住最热专家实现越用越快，作者称之为「权重的 JIT 编译器」。

本事件热度走势

当前热度 9·可比范围峰值 10（10月7日 21:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。