AGI Hunt· generativist·· 3 小时前AI 评分28
想在家跑 Opus 级模型还得并行上万实例?博主:先给我 1.5MW 电
想在家跑 Opus 级模型还得并行上万个?博主的答案:先给我 1.5MW 电
AI 导读
AI 博主 generativist 回应「本地 LLM 何时够用」:家里要有 Opus 5.5 质量的模型、并能并行跑 5 千到 1 万个实例,本地推理才算够用,所以他「保守起见」只要 1.5 兆瓦的家用电力来批量跑推理。他以夸张算账的方式点破本地模型与云端前沿模型之间的真实算力差距。
来源:AGI Hunt · agihunt.info