PyTorch 发布原生 TPU 后端 TorchTPU，vLLM 与 SGLang 可直接运行

PyTorch 官方推出全新的原生 TPU 后端 TorchTPU，基于该后端构建的 vLLM 和 SGLang 推理引擎现已可以在 Google TPU 上原生运行。相关成果将在 PyTorch Conference 上进一步介绍，Google 工程师也参与了该项目。这一进展让主流开源推理框架不再局限于 NVIDIA GPU，有望降低 TPU 上部署大模型推理的门槛。