AGI Hunt· ariG23498·· 1 天前精选AI 评分69
Transformers 原生支持运行 llama.cpp GGUF 量化模型
AI 导读
Hugging Face 官宣 transformers 库新增对 GGUF（llama.cpp 量化格式）的支持，用户可从 Hub 选取 GGUF checkpoint，用 from_pretrained 在本机以熟悉的 transformers API 生成。
推荐理由
transformers 接入 GGUF 后，本地量化模型可在熟悉的 API 下加载与调试，读者可据此判断现有部署路径是否要调整。
来源：AGI Hunt · agihunt.info