开源推理引擎 TokenSpeed 走红，作者详解多层语言选型

LightSeek 团队开源的 LLM 推理引擎 TokenSpeed 在 GitHub 已获 2.8k stars，采用 MIT 协议。作者 zhyncs42 解释称，调度器用 C++ 是围绕 KV cache 状态转移构建、为保证正确性而非性能，Rust 用于提升性能，Python 负责粘合各层。这一多语言架构引发社区关注与讨论。