AGI Hunt· nvidia·· 2 小时前精选AI 评分67
OpenAI GPT-6 Astra Ultrafast 上线,Blackwell 上推理提速 8 倍
GPT-6 Astra Ultrafast 上线 Blackwell 推理提速8倍
AI 导读
OpenAI 推出 GPT-6 Astra Ultrafast 模式,运行在 NVIDIA Blackwell GPU 上,token 生成速度相比此前提升约 8 倍。NVIDIA 官方博客随后详述 Blackwell 如何为该推理提供加速,并引用 OpenAI 推理负责人的说法,显示双方在推理性能优化上的合作。
推荐理由
NVIDIA 从硬件侧解释了 8 倍 token 生成提速如何达成,可据此了解推理加速中的软硬件分工。
来源:AGI Hunt · agihunt.info