跳到正文
原文
AGI Hunt· kalyan_kpl·· 6 小时前AI 评分32

实测称 TensorRT 推理比 llama.cpp 快 206%

AI 导读

博主 kalyankpl 分享实测称,同一场景下 NVIDIA TensorRT 的推理速度比 llama.cpp 快 206%,并附有实测截图。该对比对关注本地与端侧部署性能的人有参考价值。

来源:AGI Hunt · agihunt.info