Mistral AI 发布 24B 参数模型 Mistral Small 3,Apache 2.0 开源
Mistral AI 发布延迟优化的 24B 参数模型 Mistral Small 3,采用 Apache 2.0 许可,同时开放预训练和指令微调 checkpoint。
推荐理由:24B 模型对标 Llama 3.3 70B 且同硬件上快 3 倍以上,量化后可在单张 RTX 4090 或 32GB 内存的 Macbook 本地运行。
跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。
Mistral AI 发布延迟优化的 24B 参数模型 Mistral Small 3,采用 Apache 2.0 许可,同时开放预训练和指令微调 checkpoint。
推荐理由:24B 模型对标 Llama 3.3 70B 且同硬件上快 3 倍以上,量化后可在单张 RTX 4090 或 32GB 内存的 Macbook 本地运行。