InferNEON 用裸机 Rust 内核把 MoE 模型塞进廉价开发板

InferNEON 用无 OS、无 libc 的裸机 Rust 推理内核，在 QEMU 中逐 token 对齐跑通 OLMoE-1B-7B，探索廉价开发板运行 MoE 模型。回放模拟测试显示，慢存储上直接保留专家原始容量大幅胜过缓存预测。以太网连接的 eNPU 加速板让专家以三值常驻，树莓派 CM4 上约比 bf16 快 4.5 倍，每层一次往返约 0.25ms。