AGI Hunt· DanielLockyer·· 4 小时前AI 评分40
文本分块算法再优化:最坏延迟从 37.1 秒压到 585 毫秒
AI 导读
DanielLockyer 公布文本分块算法性能改进,最坏延迟从 37.1 秒压到 585 毫秒,耗时压缩约 60 倍。英文文本 8 字符分块、10,664 token 上限从 13.7s 降至 287ms,中文文本 2 字符分块、2,666 token 上限从 211ms 降至 13ms。大 token 上限场景从秒级进入毫秒级。
来源:AGI Hunt · agihunt.info