跳到正文
原文
AGI Hunt· Ok_boss_labrunz·· 2 小时前AI 评分46

DotWave 自研推理引擎:全双工语音推理成本虚高 56 倍,单卡 H100 并发 56 路

全双工语音推理成本虚高 56 倍,自研引擎实现单卡 H100 并发 56 路

AI 导读

DotWave 推理引擎团队发布两篇技术长文,称全双工语音这类「持续推理」模型的服务成本被现有栈严重高估,NVIDIA 参考栈下每路对话几乎独占一张 H100。

来源:AGI Hunt · agihunt.info