跳到正文
原文
AGI Hunt· secsilm·· 3 小时前AI 评分26

Mac mini 24/7 跑本地 LLM,该优先堆内存还是选强芯片

Mac mini 24/7 跑本地 LLM,该优先堆内存还是选强芯片

AI 导读

有用户计划购入 Mac mini 长期运行本地 LLM 与 AI agent,在 M4 + 32GB 内存与 M4 Pro + 24GB 内存两个方案之间纠结。其目标是用 Q4 量化跑最高 27B 参数的模型,用于日常任务而非编码。讨论的焦点在于:内存容量决定能跑多大模型,芯片性能决定推理速度,两者哪个更优先。

来源:AGI Hunt · agihunt.info