跳到正文
原文
AGI Hunt· BanghuaZ·· 11 小时前AI 评分35

SGLang 合入 layer_boundary:跨模型复用 TP/DP/CP 通信语义

SGLang 合入 layer_boundary:跨模型复用 TP/DP/CP 通信语义

AI 导读

SGLang 项目合入 layer_boundary 特性,把 TP/DP/CP 通信、residual 处理、token 流动、归一化等语义统一收口到一个共享的阶段边界层。

来源:AGI Hunt · agihunt.info