跳到正文
原文
AGI Hunt· Broad_Breakfast_1172·· 5 小时前AI 评分47

单张 A40 跑全栈语音 Agent:首音频延迟中位数 1.28 秒,附调优细节

单张 A40 跑全栈语音 Agent:首音频延迟中位数 1.28 秒,附调优细节

AI 导读

单张 A40 跑全栈语音 Agent,首音频延迟中位数 1.28 秒。踩坑记录显示,Gemma 工具调用后产生空 thinking block,Qwen 的 chat template 拒绝对话中段插入 system 消息,WebSocket 客户端 bug 导致首次打断后音频全部丢失。作者提供在线 5 分钟的公开 demo(不留语音、文本留存 30 天),并征集开源模型的首音频延迟数据。

来源:AGI Hunt · agihunt.info