热点事件持续更新
InferNEON 裸机 Rust 内核跑 MoE 模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 27 日报道，InferNEON 提出用无 OS、无 libc 的裸机 Rust 推理内核运行 MoE 模型，目标是把 MoE 塞进廉价开发板。项目在 QEMU 中按逐 token 对齐的方式跑通 OLMoE-1B-7B，以此验证内核正确性。回放模拟测试显示，在慢存储条件下，直接保留专家原始容量大幅胜过依赖缓存预测的方案。硬件侧采用以太网连接的 eNPU 加速板，让专家以三值形式常驻；在树莓派 CM4 上约比 bf16 快 4.5 倍，每层一次往返约 0.25ms。目前公开的仍是模拟与 QEMU 验证结果，尚未见到真机完整评测数据。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 20:14
InferNEON 在 QEMU 中逐 token 对齐跑通 OLMoE-1B-7B，CM4 上约比 bf16 快 4.5 倍。报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- AGI HuntInferNEON 用裸机 Rust 内核把 MoE 模型塞进廉价开发板
InferNEON 用无 OS、无 libc 的裸机 Rust 推理内核，在 QEMU 中逐 token 对齐跑通 OLMoE-1B-7B，探索廉价开发板运行 MoE 模型。回放模拟测试显示，慢存储上直接保留专家原始容量大幅胜过缓存预测。以太网连接的 eNPU 加速板让专家以三值常驻，树莓派 CM4 上约比 bf16 快 4.5 倍，每层一次往返约 0.25ms。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。