跳到正文
原文
AGI Hunt· cezarducatti·· 4 小时前AI 评分62

RTX 3090 本地跑 Strata:256k 上下文生成提速到 38-61 t/s

AI 导读

非程序员作者在单卡 RTX 3090 加 128GB 内存上编译运行推理引擎 Strata,实测生成速度 38 t/s @182k 上下文、短上下文约 61 t/s,prompt 处理约 1650 t/s,高于 llama.cpp 的最高 700 t/s。

来源:AGI Hunt · agihunt.info