AGI Hunt· paranoidray·· 3 小时前AI 评分58
YC 系开源推理引擎 Magnitude 登顶 HN,比 llama.cpp 快至 2 倍
AI 导读
YC S25 公司发布开源推理引擎 Magnitude,官方基准测试显示其解码速度最高比 llama.cpp 快 2 倍。该引擎主打在用户本地硬件上尽可能快地运行开源模型,可在设备端编译并调优 kernel,其中 Metal 平台提升 92%,CUDA 平台也有明显加速。发布后该引擎冲上 Hacker News 首位并引发社区热议。
来源:AGI Hunt · agihunt.info