Modal 工程师 Charles Frye 讲解推理引擎：从调度器到 KV 缓存与投机解码

Modal 的 Charles Frye 在 AI Engineer 大会用一小时讲解推理引擎，把请求拆成 server IO、tokenization、调度、模型执行和 detokenization，并以 SGLang、vLLM 为参照。