跳到正文
原文
AGI Hunt· bookwormengr·· 4 小时前AI 评分48

分析:NVL72 机架大规模 scale-up 带宽大多闲置,砍掉也不伤推理性能

分析:NVL72 机架大规模 scale-up 带宽大多闲置,砍掉也不伤推理性能

AI 导读

针对 NVL72 机架 scale-up 带宽是否影响性能,分析认为该带宽大多闲置,减少它大概率不会造成推理性能退化。DP-EP 部署下该带宽仅用于搬运 DP 与 EP 间的 activation,数据量很小;只有 Tensor Parallel 会重度消耗 GPU-GPU 带宽,GPU-HBM 与 NVLink 则是不同池子,后者用得很少。

来源:AGI Hunt · agihunt.info