跳到正文
原文
AGI Hunt· Qualcomm-AI-Research·· 3 小时前AI 评分39

高通 AI Research 提出投机工具执行,端侧语音助手首音频延迟中位数降至 4.60 秒

高通投机执行法:端侧语音助手响应延迟中位数降至 4.60 秒

AI 导读

高通 AI Research 提出投机工具执行方法,让端侧级联语音 agent 在用户还没说完时就预测并执行工具调用、缓存结果。实测在完整 Android 语音助手上,首音频延迟中位数从 5.79s 降至 4.60s,标准差从 3.49s 降至 2.81s。缓存结果注入 LLM prompt 加速响应,规则校验机制应对用户自我修正,LLM 仍可自行发起工具调用。

来源:AGI Hunt · agihunt.info