跳到正文
热点事件持续更新

新硬件BF16矩阵乘提速50%,本地MoE解码几乎无变化

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月26日,AGI Hunt 报道,开发者 johnowhitaker 对新硬件做了实测:BF16、FP16、TF32 矩阵乘法算力提升约 50%,且输出结果与非新硬件一致。但他指出,矩阵乘法提速不等于本地模型整体快 50%——在本地 MoE 推理中,prefill 阶段提速不足 10%,decode 速度基本不变。他将原因归结为本地推理的瓶颈在内存带宽而非算力,因此算力提升难以转化为实际生成速度。目前该结论来自单一个人实测。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. AGI Hunt
    实测:新硬件 BF16 矩阵乘法提速约 50%,但本地 MoE 推理解码几乎无感

    johnowhitaker 实测新硬件的 BF16/FP16/TF32 矩阵乘法算力提升约 50%,且输出结果一致。他指出这不等同于本地模型快 50%,在本地 MoE 推理中 prefill 阶段提速不足 10%,decode 速度基本不变,因为瓶颈在内存带宽而非算力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。