AGI Hunt· jacek2023·2026-10-25 17:35· 3 小时前AI 评分51

llama.cpp 新 PR 融合 FFN 矩阵乘与 GLU，Llama-3.1-8B 提速近 10%

llama.cpp 新 PR 融合 FFN 矩阵乘，Llama 8B 提速近 10%

AI 导读

llama.cpp 收到 PR #29948，在 CUDA 的 MMQ 路径中把 FFN 的 gate/up 矩阵乘与 GLU 融合，并采用 gate/up 行交错布局。

来源：AGI Hunt · agihunt.info