跳到正文
原文
AGI Hunt· relmny·· 2 小时前AI 评分54

实测:Strata 预填充比 llama.cpp 快 26 倍,解码提速 3 倍

实测:Strata 预填充比 llama.cpp 快 26 倍,解码提速 3 倍

AI 导读

Reddit 用户 relmny 实测本地推理引擎 Strata 在约 13 万上下文下预填充比 llama.cpp 快约 26 倍、解码快约 3 倍。

来源:AGI Hunt · agihunt.info