这学期帮师兄做了一轮数据蒸馏实验:用大模型生成训练数据,微调一个 7B 小模型。过程中踩了不少坑,对”蒸馏”这个词也有了更实的理解。

蒸馏的本质是分布迁移

知识蒸馏最早指用小模型拟合大模型的输出分布(软标签)。而在 LLM 时代,更常见的做法是:

  1. 用强模型(教师)对指令生成回答;
  2. 筛选高质量回答组成训练集;
  3. 用这份数据 SFT 小模型(学生)。

学生学到的不是教师的权重,而是教师行为分布的样本。所以数据的质量和多样性,几乎决定了蒸馏的上限。

我们踩过的坑

1. 风格过拟合

直接拿教师输出训练,学生很快学会了教师的”口癖”:每条回答都是”首先、其次、总而言之”,遇到开放问题也强行分点。

对策:混入多教师数据(不同模型的回答),并对输出做风格扰动(让教师用不同语气重写同一份答案)。

2. 简单样本泛滥

教师模型在简单指令上又快又好,导致生成的数据里简单样本占比过高,学生学完后”会聊天不会解题”。

对策:按难度分层采样,刻意提高难指令的比例;对难样本让教师先生成思维链再蒸馏。

3. 教师的错误被忠实继承

约 6% 的教师回答存在事实错误,不加过滤地训练后,学生把错误学得非常扎实——蒸馏不会过滤错误,只会放大模式。

对策:用另一个模型做交叉验证,过滤置信度低的样本。

一些数字

  • 数据从 10 万条筛到 3.2 万条,学生性能不降反升;
  • 混入 20% 多教师数据后,风格多样性指标明显改善;
  • 难样本占比从 15% 提到 35%,数学推理能力提升最显著。

体会

蒸馏时代,数据工程就是模型工程。教师的强大只是提供了上限,真正决定学生高度的是你怎么设计、筛选和组织这些数据。这和带学生其实一模一样。