跳到正文
原文
AGI Hunt· SignatureMoney6648·· 4 小时前AI 评分51

RTX 3090 实测:模型装得下选 llama.cpp,装不下 FreeToken 首字快 7 倍

AI 导读

Reddit 用户在单张 RTX 3090 上对比 FreeToken 与 llama.cpp 两个推理引擎(1024 输入/256 输出,并发 1–32)。

来源:AGI Hunt · agihunt.info