跳到正文
原文
AGI Hunt· tokenbender·· 4 小时前AI 评分31

开发者 tokenbender:小模型推理成本可降至 1/100,格局已被彻底改写

推理成本可降至百分之一,小模型格局已被彻底改写

AI 导读

开发者 tokenbender 指出,小模型推理成本最低可压缩到原来的约 1/100,速度已接近人类感知极限的实时水平。他强调工作流越重复、可压缩的成本越多,而社区仍在比较 tok/s 和内存占用这些已不令人兴奋的指标。他认为小模型世界已永久改变,但研究与开发者社区的普遍认知仍然滞后。

来源:AGI Hunt · agihunt.info