跳到正文
原文
AGI Hunt· PyTorch·· 4 小时前AI 评分35

IBM 用 PyTorch Inductor 替换自研编译栈,为 75W Spyre 推理加速器瘦身 7 倍

IBM 用 Inductor 替换自研编译栈,为 75W Spyre 推理加速器瘦身 7 倍

AI 导读

IBM 把 Spyre 加速器的 torch.compile 后端从自研 sendnn 迁到 PyTorch Inductor,编译器代码缩小约 7 倍。Spyre 是 75W、PCIe 供电的数据流推理加速器,32 个小核经环形总线互联,无共享缓存,数据以 128 字节 stick 搬运,改造集中在数据移动、内存管理与任务分发等与 GPU 假设不同的低层代码生成。

来源:AGI Hunt · agihunt.info