开发者 Hank Yeomans 实测 GPU+CPU+SSD 混合本地推理：57 tok/s、2.5 秒首 token

开发者 Hank Yeomans 正在搭建 GPU+CPU+SSD 混合本地推理方案，目前达到 57 tok/s 的生成速度和约 2.5 秒的 TTFT（首 token 延迟）。他表示仍有优化空间，该方案对关注本地/端侧部署与推理栈优化的开发者有参考价值。