AGI Hunt· ievkz·· 3 小时前AI 评分64
RTX 4070 Ti SUPER 跑出 125 token/s，本地 LLM 编码 agent 实战攻略
RTX 4070 Ti SUPER 跑出 125 token/s,本地 LLM 编码 agent 实战攻略
AI 导读
作者在 16GB 的 RTX 4070 Ti SUPER 上搭出了 125 token/s 的本地编码 agent 工作流，模型选用 Tiel-Coder-35B-A3B，并配合 MTP 多 token 预测与 MoE 架构提速。
来源：AGI Hunt · agihunt.info