跳到正文
原文
AGI Hunt· _akhaliq·· 4 小时前AI 评分41

Audio8 ASR Infinite 发布:流式语音识别以滚动 KV Cache 实现 7×24 常数延迟

Audio8 ASR Infinite 发布:流式语音识别 KV Cache 7×24 常数延迟

AI 导读

Audio8 ASR Infinite 发布,采用原生流式架构与滚动 KV Cache,使内存与延迟保持恒定,可支持 7×24 小时不间断运行。该模型每秒解码 12.5 次,每个时钟步输出一个文本 token,在 12.5/8.3/6.25 次决策每秒之间权衡感知粒度与资源开销。模型已发布,HuggingChat 的 ML 实习生搭建了 Gradio 工作流,可直接在线试用。

来源:AGI Hunt · agihunt.info