AGI Hunt· nalaginrut·2026-10-13 17:46· 3 小时前AI 评分50

SonicBoom：纯 C++/CUDA 推理运行时开源，解码比 llama.cpp 快 14%

SonicBoom：无 Python 的 C++ 推理运行时，解码快 llama.cpp 14%

AI 导读

SonicBoom v0.0.1 以 GPL-3.0 开源，是纯 C++/CUDA、带 C ABI 的本地张量运行时，目标在消费级 GPU 上跑 LLM。

来源：AGI Hunt · agihunt.info