arXiv cs.AI· Tate Berenbaum (Not Community Labs Inc.), Matias Parij (Not Community Labs Inc.), Muthaiah Venkatachalam (Intel Corporation)·· 4 小时前AI 评分43
Cascadia：在十一台 AI PC 上常驻运行 975B MoE 推理
Cascadia: Resident 975B MoE Inference on Eleven AI PCs
AI 导读
Cascadia 在十一台 Intel Core Ultra X7 358H AI PC 上常驻运行 975B 总参数、41B 激活参数的 MoE 模型 Inkling，单机承载六个连续解码层，稠密层调用时间由约 8.1 ms 降至 4.5 ms。
来源：arXiv cs.AI · arxiv.org