跳到正文
热点事件持续更新

llama.cpp 融合 FFN 矩阵乘与 GLU 提速

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026 年 10 月 25 日,llama.cpp 收到 PR #29948。该改动在 CUDA 的 MMQ 路径中,把 FFN 的 gate/up 矩阵乘与 GLU 融合,并采用 gate/up 行交错布局。据 AGI Hunt 报道,这一融合使 Llama-3.1-8B 的推理速度提升近 10%。目前该 PR 处于提交/评审阶段,尚无更多后续进展披露。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月25日
  1. AGI Hunt
    llama.cpp 新 PR 融合 FFN 矩阵乘与 GLU,Llama-3.1-8B 提速近 10%

    llama.cpp 收到 PR #29948,在 CUDA 的 MMQ 路径中把 FFN 的 gate/up 矩阵乘与 GLU 融合,并采用 gate/up 行交错布局。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。