SonicBoom 开源纯 C++/CUDA 推理运行时，解码快 llama.cpp 14%

2026 年 10 月 13 日，AGI Hunt 报道称，SonicBoom v0.0.1 已以 GPL-3.0 协议开源。它是一个纯 C++/CUDA 编写的本地张量运行时，提供 C ABI，目标是在消费级 GPU 上运行大语言模型。据该报道，其解码速度比 llama.cpp 快 14%。目前该项目处于 0.0.1 这一早期版本阶段，报道中未提及支持的模型范围、具体测试条件与其他性能指标，也未披露后续开发路线。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。