跳到正文
原文
AGI Hunt· oran_ge·· 2 小时前精选AI 评分65

消费级单卡借助 Strata 架构跑 Qwen Flash 达 2200 prefill,一周提速近十倍

单卡跑出 2200 prefill,消费级本地推理速度一周涨近十倍

AI 导读

作者转引 @ivanalogcom 的实测,消费级单卡借助 Strata 架构与自制 PR 跑 Qwen Flash 达到 2200 prefill / 67 decode,而一周前双 5070ti 只有 200 prefill / 10 decode,读写速度均提升近十倍。

推荐理由

转引的实测给出了消费级单卡本地推理的具体速度,可与 5090、DGX Spark 和多数模型 API 的现状做对比。

来源:AGI Hunt · agihunt.info