Ayush Thakur：为编程任务微调 LLM 准备后训练数据如同「黑魔法」，难点全在细节

Ayush Thakur 指出，为编程任务微调 LLM 准备后训练数据如同「黑魔法」，难点集中于测试 harness（尤其无法深度配置时）、经 litellm 等路由器额外注入的变换，以及每轮采样量、边界划分、每行打包 token 数等采样选择。路由带来的变换会让用户所见与内部实际处理不一致。他询问是否有针对这一问题的系统性研究。