跳到正文
原文
AGI Hunt· bingxu_·· 4 小时前AI 评分47

INT21 两工程师指挥 AI 两周造 20 个推理引擎,比 SGLang 快 2.4 倍

AI 导读

创业公司 INT21 称,2 名工程师指挥 AI 在两周内构建了 20 个完整推理引擎,六款语言模型的文本生成速度全面超过 SGLang,最高快 2.4 倍。其音频生成最高比 vLLM 快 7.5 倍。CEO 接受 Business Insider 采访时称 CUDA 人才长期稀缺,AI 正填补这一缺口,工程师转为「指挥」AI 完成 kernel 工作。

来源:AGI Hunt · agihunt.info