AGI Hunt· jacek2023·· 4 小时前AI 评分33
llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速
llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速
AI 导读
llama.cpp 合并请求 #30296 优化了 CPU 上 AVX2 路径的分块累加器合并计算,带来可观的 tokens/s 提升。该 PR 由 trivalik 提交,作者称这对没有 GPU 的用户是利好。具体提升幅度需看 PR 内的基准数据。
来源:AGI Hunt · agihunt.info