跳到正文
原文
arXiv cs.AI· Sunday Afariogun, Odunolaoluwa Jenrola, Zeinab Nezami·· 4 小时前AI 评分37

Offline AI Modules:语音优先离线架构、硬件参考栈、量化与基准测试

Offline AI Modules: Voice-First Offline Architecture, Hardware Reference Stack, Quantization and Benchmarking

AI 导读

Offline AI Modules 为非洲语言社区提出语音优先的全离线 AI 部署方案,包含模块化离线架构、低成本硬件参考 BOM 与面向 2-5B 参数指令微调模型的可复现量化基准流水线。首次端到端基准在 Jetson Orin NX(TierB)与 Raspberry Pi 5(TierA)上评估三个模型、四种量化格式,Q4_K_M 尺寸质量折中最佳:

来源:arXiv cs.AI · arxiv.org