跳到正文
原文
AGI Hunt· johnowhitaker·· 4 小时前AI 评分55

实测:新硬件 BF16 矩阵乘法提速约 50%,但本地 MoE 推理解码几乎无感

AI 导读

johnowhitaker 实测新硬件的 BF16/FP16/TF32 矩阵乘法算力提升约 50%,且输出结果一致。他指出这不等同于本地模型快 50%,在本地 MoE 推理中 prefill 阶段提速不足 10%,decode 速度基本不变,因为瓶颈在内存带宽而非算力。

来源:AGI Hunt · agihunt.info