AGI Hunt· thoquz·· 3 小时前AI 评分41
前沿模型不再返回思维链,蒸馏数据集怎么办?Reddit 社区支招
前沿模型不再开放思维链,蒸馏数据集怎么办?社区支招
AI 导读
前沿模型不再返回思维链后,Reddit 社区讨论如何为特定任务构造蒸馏数据集,并给出答案-only SFT、Reverse-CoT 风格合成等思路。有开发者想微调小型 Qwen/Gemma 模型做图片→3D 坐标提取,却只能拿到前沿模型的最终答案,计划让另一前沿模型由问题与答案反推伪思维链,但也担心异构模型思维链会让蒸馏效果打折。
来源:AGI Hunt · agihunt.info