跳到正文
原文
AGI Hunt· wonderwomancode·· 4 小时前AI 评分33

工作负载分裂催生异构计算:prefill/decode 与 agent 循环各需不同硬件

AI 导读

@sonnetxu 指出异构计算正成为现实,因为工作负载持续分裂:prefill 与 decode 分离,agent 循环再拆一层,硬件需求各不相同。prefill 处理上下文需稠密 FLOPs,decode 的 token 生成依赖内存带宽与低延迟;agent 长程循环则需快速串行计算、超大上下文、工具调用、网络请求和 CPU 工作。

来源:AGI Hunt · agihunt.info