扩散式 LLM 不适合分布式推理：一篇技术分析说清原因

作者 b4rtaz 撰文分析称，扩散式 LLM（如 DiffusionGemma 这类基于双向注意力去噪器的模型）在分布式推理上存在结构性劣势。其去噪器每步都要在完整 canvas 上计算，无法像自回归模型那样用 KV-cache 把状态切分到多台设备，跨设备同步的开销超过收益。结论是这类模型的并行优势只在单机多核的 token 级并行生成，分布式场景下不如自回归架构。