AGI Hunt· tokenbender·· 4 小时前AI 评分31
开发者 tokenbender:小模型推理成本可降至 1/100,格局已被彻底改写
推理成本可降至百分之一,小模型格局已被彻底改写
AI 导读
开发者 tokenbender 指出,小模型推理成本最低可压缩到原来的约 1/100,速度已接近人类感知极限的实时水平。他强调工作流越重复、可压缩的成本越多,而社区仍在比较 tok/s 和内存占用这些已不令人兴奋的指标。他认为小模型世界已永久改变,但研究与开发者社区的普遍认知仍然滞后。
来源:AGI Hunt · agihunt.info