AGI Hunt· giveen·· 4 小时前AI 评分52
开源推理引擎 Spite:模型、GPU、算子三层全部模块化可插拔
AI 导读
开发者发布用 Rust 编写的开源模块化推理引擎 Spite,核心设计规则是每一层都可独立替换而不影响其他层。模型内核按 kernels/<家族>/<模型>/ 组织,新增模型只需添加文件夹并由 dispatcher 自动发现,GPU 内核则按 sm89、rdna3、Apple M4 等分目录,各自利用 FP8 tensor core 或 Neural Engine 等硬件特性。
来源:AGI Hunt · agihunt.info