跳到正文
原文
AGI Hunt· zhyncs42·· 3 小时前AI 评分49

AMD 发布 TokenSpeed-kernel:以 Triton 基线为语义契约,打通多芯片 LLM 推理

AMD 发布 TokenSpeed-Kernel:以 Triton 基线为语义契约,打通多芯片 LLM 推理

AI 导读

AMD 在 PyTorch 官方博客发布开源子系统 TokenSpeed-kernel,用分层 API 打通多芯片 LLM 推理。kernel-runtime 接口保持平台无关,每个 kernel 必须提供可移植的 Triton 基线实现,充当定义张量语义的「语义契约」。

来源:AGI Hunt · agihunt.info