开发者从零手写迷你推理引擎 nano-vLLM：连续批处理 + 分页 KV cache 全自研

开发者从零手写并开源了小型 LLM 推理引擎 nano-vLLM，实现连续批处理、带共享内存池的分页 KV cache、块共享 prefix caching 和流式推理 API。项目附带与 Hugging Face 输出对比的正确性测试及独立 benchmark 基线。作者称其为学习项目而非对标生产引擎，已列出 KV gather 路径、顺序 prefill 等限制并征集架构建议。