AGI Hunt· YouJiacheng·· 3 小时前AI 评分31
YouJiacheng:MLA 推理实为 compute bound,Kimi K3 算力吃紧
MLA 推理实为 compute bound,Kimi K3 算力吃紧
AI 导读
YouJiacheng 就 Kimi K3 推理瓶颈算账指出,96 头 MLA 计算强度达 363 FLOPs/Byte,即便采用 FP8 KV 仍是 compute bound,而非 memory bound。77k 上下文下 MLA 计算量约 386B,即使 MFU 拉满,Kimi 现有显卡也不够用。
来源:AGI Hunt · agihunt.info