AGI Hunt· thesephist·· 4 小时前AI 评分28
越狱 Kindle Scribe 跑起 GPT-2:4-bit 量化下实测约 13 token/s
越狱 Kindle Scribe 跑起 GPT-2:4-bit 量化下实测约 13 token/s
AI 导读
开发者在一台越狱后的 Kindle Scribe 上本地运行 124M 参数的 GPT-2,4-bit 量化下实测约 13 token/s。这类在并非为推理设计的设备上跑 LLM 的极客玩法,展示了小模型、量化与硬件破解组合的可能性,对端侧和嵌入式部署爱好者有参考价值。
来源:AGI Hunt · agihunt.info