跳到正文
原文
AGI Hunt· No-Setting8461·· 5 小时前AI 评分34

Strata 移植 Jetson AGX Orin 64GB:Qwen3.6-35B 解码提速至约 41 tok/s

AI 导读

Strata v0.1.45 的 Jetson AGX Orin 64GB fork 已发布,运行 Qwen3.6-35B-A3B 解码约 40–41 tok/s。此前 llama.cpp MTP-3 约 21 tok/s、Strata 早期约 30 tok/s;该 fork 加入统一 INT8 KV 缓存等优化。作者称结果非严格对齐基准,仅供参考。

来源:AGI Hunt · agihunt.info