跳到正文
原文
AGI Hunt· YouJiacheng·· 3 小时前AI 评分31

YouJiacheng:MLA 推理实为 compute bound,Kimi K3 算力吃紧

MLA 推理实为 compute bound,Kimi K3 算力吃紧

AI 导读

YouJiacheng 就 Kimi K3 推理瓶颈算账指出,96 头 MLA 计算强度达 363 FLOPs/Byte,即便采用 FP8 KV 仍是 compute bound,而非 memory bound。77k 上下文下 MLA 计算量约 386B,即使 MFU 拉满,Kimi 现有显卡也不够用。

来源:AGI Hunt · agihunt.info