这学期帮师兄做了一轮数据蒸馏实验:用大模型生成训练数据,微调一个 7B 小模型。过程中踩了不少坑,对”蒸馏”这个词也有了更实的理解。
蒸馏的本质是分布迁移
知识蒸馏最早指用小模型拟合大模型的输出分布(软标签)。而在 LLM 时代,更常见的做法是:
- 用强模型(教师)对指令生成回答;
- 筛选高质量回答组成训练集;
- 用这份数据 SFT 小模型(学生)。
学生学到的不是教师的权重,而是教师行为分布的样本。所以数据的质量和多样性,几乎决定了蒸馏的上限。
我们踩过的坑
1. 风格过拟合
直接拿教师输出训练,学生很快学会了教师的”口癖”:每条回答都是”首先、其次、总而言之”,遇到开放问题也强行分点。
对策:混入多教师数据(不同模型的回答),并对输出做风格扰动(让教师用不同语气重写同一份答案)。
2. 简单样本泛滥
教师模型在简单指令上又快又好,导致生成的数据里简单样本占比过高,学生学完后”会聊天不会解题”。
对策:按难度分层采样,刻意提高难指令的比例;对难样本让教师先生成思维链再蒸馏。
3. 教师的错误被忠实继承
约 6% 的教师回答存在事实错误,不加过滤地训练后,学生把错误学得非常扎实——蒸馏不会过滤错误,只会放大模式。
对策:用另一个模型做交叉验证,过滤置信度低的样本。
一些数字
- 数据从 10 万条筛到 3.2 万条,学生性能不降反升;
- 混入 20% 多教师数据后,风格多样性指标明显改善;
- 难样本占比从 15% 提到 35%,数学推理能力提升最显著。
体会
蒸馏时代,数据工程就是模型工程。教师的强大只是提供了上限,真正决定学生高度的是你怎么设计、筛选和组织这些数据。这和带学生其实一模一样。
