AGI Hunt· sh_reya·· 3 小时前AI 评分42
Quail 用 trie 约束解码做 LLM 分类,比 vLLM 快约 1.8 倍
AI 导读
Quail 这一 AI-SQL 执行引擎把 AI.CLASSIFY 的分类标签预先存入 trie 树,将解码约束在 trie 路径上、仅剩一个候选标签时立即停止解码,比 vLLM 基线快约 1.8 倍。Shreya Shankar 与 Charles Frye 撰文指出,标签集合先验已知是这一加速的关键前提,该做法挑战了 BigQuery 式的自由生成分类方式。
来源:AGI Hunt · agihunt.info