跳到正文
原文
AGI Hunt· nvidia·· 2 小时前精选AI 评分67

OpenAI GPT-6 Astra Ultrafast 上线,Blackwell 上推理提速 8 倍

GPT-6 Astra Ultrafast 上线 Blackwell 推理提速8倍

AI 导读

OpenAI 推出 GPT-6 Astra Ultrafast 模式,运行在 NVIDIA Blackwell GPU 上,token 生成速度相比此前提升约 8 倍。NVIDIA 官方博客随后详述 Blackwell 如何为该推理提供加速,并引用 OpenAI 推理负责人的说法,显示双方在推理性能优化上的合作。

推荐理由

NVIDIA 从硬件侧解释了 8 倍 token 生成提速如何达成,可据此了解推理加速中的软硬件分工。

来源:AGI Hunt · agihunt.info