跳到正文
原文
AGI Hunt· yuntiandeng·· 2 小时前AI 评分50

投机解码框架 Uno 获推理服务商采用,28k 长上下文提速至 DFlash 两倍

投机解码框架 Uno 获推理厂商采用:28k 长上下文提速至 DFlash 两倍

AI 导读

扩散增强 LLM 论文(arXiv:2609.04010,作者含 Eric Xing 等)提出的投机解码框架 Uno 正被多家推理服务商关注,broadnet 已上线使用。

来源:AGI Hunt · agihunt.info