跳到正文
原文
AGI Hunt· bdsqlsz·· 2 小时前AI 评分43

kohya 实测 MOSS-Image Control LoRA:kv cache 方案推理开销降至 concat 一半

AI 导读

知名 SD 训练工具作者 kohya 实测 MOSS-Image 的 Control LoRA 新实现,改用 kv cache 后推理开销约为 concat 方式的一半,仅比普通推理慢 20% 左右。他还为每个 block 训练 gate,实现按 block 开关 Control LoRA,可将开销压到普通推理 +10% 的水平。该方案对图像生成控制模型的部署效率有实际参考价值。

来源:AGI Hunt · agihunt.info