Copy-Paste Language Models（CPLM）：为 LLM 增加轻量 Copy-Paste 头提升复制能力

CPLM 在常规语言建模头之外增加一个轻量 Copy-Paste 头，显式建模并提升 LLM 的上下文复制能力。在 135M 到 1.7B 参数的预训练模型上，各规模与骨干均获得训练效率与下游性能提升，训练与推理开销可忽略。该方法通过另一条梯度路径部分缓解 LM head 的梯度瓶颈，并在长上下文与检索场景提供新的工作点。