arXiv cs.AI· Jinhao Zhang, Zeyu Liu, Zicheng Yan, Yunquan Zhang, Daning Cheng, Song Tang·· 5 小时前AI 评分40
人类可读文本对 LLM 微调是必要的吗？
Is Human-Readable Text Necessary for Effective LLM Fine-Tuning?
AI 导读
提出 DASA，用冻结参考模型的激活梯度反馈优化连续合成输入嵌入，无需人类可读文本即可微调 LLM。在 Llama 与 Qwen 家族 6 个 1B–32B 模型、6 个涵盖知识、数学推理、代码生成和常识推理的 benchmark 上，匹配 LoRA 设置下 DASA 性能与原始自然语言数据相当，部分配置更优，多数比较中优于 GRADMM。
来源：arXiv cs.AI · arxiv.org