AGI Hunt· tom_doerr·· 1 小时前精选AI 评分71
纯 C 推理引擎 Colibri 开源，消费级硬件可跑 2.8T 参数 MoE 模型
纯 C 推理引擎 Colibri 开源:消费级硬件跑 2.8T 参数 MoE 模型
AI 导读
纯 C、零依赖的开源推理引擎 Colibri 发布，把磁盘、内存与显存当作单一分层存储，按需从磁盘流式读取 MoE 专家权重，从而在消费级或异构硬件上运行 744B 到 2.8T 参数的前沿模型。
推荐理由
该引擎把磁盘、内存与显存视为统一分层存储，为消费级硬件运行大参数 MoE 模型提供了一条可参考的路径。
来源：AGI Hunt · agihunt.info