Self-Instruct：用自我生成的指令对齐语言模型

摘要

本文解读华盛顿大学联合 Allen Institute for AI 等机构发表于 ACL 2023 的《Self-Instruct》。其核心论断是：让语言模型遵循指令所需的监督数据，可以由一个未经任何指令微调的 vanilla 预训练 LM 通过迭代自举自行生成——从 175 个手工种子任务起步，经"指令生成 → 分类识别 → 实例生成 → 过滤入池"四步流水线滚雪球至 52,445 条指令与 82,439 个实例；用它微调原始 GPT3 后，SUPERNI 零样本 ROUGE-L 从 6.8 飙升至 39.9（绝对提升 +33.1%），几乎追平人类标注 + RLHF 路线的 InstructGPT_001（40.8）；在 252 条全新用户导向指令的人类评估中仅落后其 5% 绝对值。论文以此证明：对齐所需的知识早已潜伏在预训练模型内部，缺的只是把它"钓出来"的格式化程序。它是 Alpaca 与整场开源指令微调浪潮的直接思想源头。

数据依据：00-源数据提取.md，全部数字与原文一致；标注「（推断）」处为分析者推理补充。

一、问题定位：指令数据稀缺与"有能力、不听话"的矛盾

1.1 论文要解决的问题

2022 年底的行业现状是一个尖锐的剪刀差：一方面 NLP 任务资源极其丰富，大量公开数据集覆盖五花八门的应用；另一方面没有一个普通用户会按"数据集格式"向语言模型提需求。用户说的是"帮我改写这句话"，而模型只有被指令格式数据微调后才能响应。彼时唯一被验证有效的路径是 InstructGPT 式路线——雇人撰写指令、收集演示、再做 RLHF，成本高、周期慢、过程封闭。

论文把问题压缩成一句话：指令微调数据本身成了新的瓶颈资源。已有替代方案（FLAN、T0、T5-LM 一系）是把传统 NLP 数据集机械转换为指令格式，表达力被锚死在既有任务形态上。于是作者提出激进一问：既然 vanilla GPT3 已"读过互联网"，能不能让它自己给自己写教材？

1.2 在对齐技术谱系中的位置

• 对人工标注路线的成本质疑：InstructGPT 依赖付费标注员；Self-Instruct 只需 175 个种子任务（每任务 1 指令 + 1 实例）作引子。
• 对数据集转换路线的表达力质疑：T0/FLAN 的指令空间被经典 NLP 任务锁死；本文专门设计 252 条全新用户导向指令检验此差异。
• 与并行工作的分野：同期 Unnatural Instructions 用 InstructGPT_002 蒸馏；本文坚持从纯 vanilla LM（davinci 引擎）自举——结论更惊人：连"老师"都不需要。

二、概念内核：四个核心概念逐一定义

2.1 Instruction Data（指令数据的形式化定义）

定义：指令 I_t 定义任务 t，附带 n_t ≥ 1 个输入-输出实例 {(X_t,i, Y_t,i)}，要求模型满足 M(I_t, X_t,i) = Y_t,i。

拆解：定义中藏着关键决策——允许 X 为空（纯指令无额外输入）。最终数据中空输入实例达 35,878 条，占 82,439 总实例约 43%（推断计算）。真实用户请求有一大类是"无输入开场"型，只学传统带输入数据集的模型永远学不会响应这类请求。定义层的"允许空集"直接决定下游泛化宽度。

2.2 Bootstrapping（迭代自举）

定义：以小规模种子池为起点，反复执行"采样上下文 → 生成新任务 → 过滤 → 入池"循环的自增强机制。

拆解：每轮新生成的任务回流为后续生成的上下文示例，形成滚雪球式多样性累积。配合每次采样 8 条示例强制混入 2 条模型自产的设计（6 人类 + 2 机器），系统被明确引导去探索种子分布之外。175 → 52,445，放大约 300 倍（推断计算）。

2.3 Input-first vs Output-first（双序实例生成）

定义：非分类任务先依指令生成输入再生成输出；分类任务先枚举类标签集合、再按标签反推合理输入。

拆解：针对隐蔽统计陷阱——一律先生成输入会让分类任务的输入系统性偏向单一标签（如语法错误检测只产出正确语句）。Output-first 把类别均衡从"碰运气"变成"结构性保证"。最终分类指令达 11,584 条（约 22%）。（推断）"生成顺序决定分布形状"可推广到一切含离散结构目标的合成场景。

2.4 Quality-Diversity Filter（质量-多样性双重过滤）

定义：新指令仅当与任何现有指令 ROUGE-L 相似度 < 0.7 才准入；叠加模态关键词排除（image/picture/graph 等）与启发式无效样本剔除（过长/过短/输出复读输入等）。

拆解：过滤是自举不退化为复读机的唯一防线。（推断）隐性代价是度量纯基于字面相似度，无法识别"表述新颖但实质同义"，多样性上限受制于字面度量——第五章展开。

三、方法还原：四步流水线与微调配方的完整复盘

3.1 四步自动生成流水线（Figure 2）

• Step 1 指令生成：从池采样 8 条作 few-shot 上下文（6 人工 + 2 模型自产），提示 vanilla GPT3 生成新指令。人机混合配比是刻意的多样性注入器。
• Step 2 分类识别：用 12 分类 + 19 非分类种子示例判别指令类型，是流水线的路由器。
• Step 3 实例生成：双分支——Input-first 走非分类任务；Output-first 走分类任务防标签偏斜。
• Step 4 过滤后处理：三道闸门——ROUGE-L ≥ 0.7 即弃；含图像类关键词即弃；实例级启发式剔除重复/矛盾/退化样本。通过者入池循环。

3.2 微调配方的工程细节

• 训练目标：拼接"指令 + 输入"作 prompt 监督生成输出；prompt loss weight = 0；仅训 2 epochs（OpenAI API 微调 davinci 引擎，默认超参）。
• 模板鲁棒性：刻意使用多套格式模板（Task:/Input:/Output: 前缀可选、换行数可变），防止对单一格式过拟合——学的是"遵循指令"而非"记住界面"。
• 对比引擎：默认对照 text-davinci_001（人类演示监督微调产物，与本设置最接近的公开参照）。

3.3 产出数据的全景统计（Table 1）

解读三个信号：其一，平均指令仅 15.9 词，说明自举数据以短平快任务为主体，与真实长程请求尚有距离；其二，非分类占约 78%，双序策略没有让分类淹没池子；其三，43% 空输入比例印证"无输入指令是被刻意保育的物种"。（推断）这一画像预示了 SUPERNI 平台期更早的结构性原因。

四、证据链：三条实验线的数字复盘

4.1 主线一：SUPERNI 零样本泛化（Table 3，119 任务 × 100 实例）

1. +33.1% 要放回基线的荒芜中看：vanilla GPT3 的 6.8 不是"差"而是"失能"——根本不知道要停止生成。这 33.1 个点几乎全部来自"格式化唤醒"，而非新知识注入。
2. 追平 InstructGPT_001 是最锋利的对比：001 代表"人类写指令 + 人类演示"重资产路线；自产数据仅差 0.9 点。（推断）该差距在 ROUGE-L 噪声范围内，"几乎追平"并不夸张。
3. 51.6 > 49.5 的叠加增益常被忽视：若自产数据只是评测域数据的劣质替代，叠加应饱和甚至互斥；实际再涨 2.1 点，说明两者信息正交。

4.2 主线二：252 条用户导向新指令的人类评估（Figure 6）

全新制定 252 条人工指令（每条 1 实例），统一提示零样本作答；专家按 A/B/C/D 四等级评定，κ = 0.57。结果：vanilla GPT3 基本无法响应；GPT3_SELF-INST 大幅优于 T0/SUPERNI 数据训练的同底座模型；将 RATING-B 计为有效时仅落后 InstructGPT_001 5% 绝对值。InstructGPT_002/003 能力突出、明显领先全场。这条线补上了 SUPERNI 的盲区——在更贴近真实用户表达的战场上，自产数据路线依然守住对传统路线的优势。

4.3 主线三：数据质量审计与规模曲线（Table 2 / Figure 7）

规模曲线随指令数持续提升，但在约 16K 指令后趋于平台（SUPERNI 上更早，约几百条即饱和）；用更强的 InstructGPT_003 蒸馏改进输出后可再提升 +10%——输出质量是明确杠杆。这三组数字构成全文最诚实的部分：一半的数据是"错"的，但模型仍然学好了——这是理解自监督式对齐的钥匙，也是第五章的主战场。

五、批判性分析：局限的深层含义与独立疑点

5.1 作者自述局限的深层含义

• 生成噪声高（58%/54%）：作者辩称多数错误样本"格式正确或部分正确"仍有指导价值。深层含义是指令微调对标签噪声的容忍度远高于传统监督学习——模型学的主要是映射格式而非细粒度知识。但"过滤掉全部错误样本再训会更好还是更差"这一消融缺失。
• 评估依赖领域专家：新指令含写程序、逻辑翻译等任务，普通标注者无法胜任，评估规模受限、κ 仅 0.57。（推断）"5% 差距"的置信区间不窄，应读作方向性结论。
• 自举受种子分布制约：生成指令分布与典型 NLP 任务不同，SUPERNI 上平台更早——单一自举源存在表达力天花板。
• ~16K 平台期：多样性饱和后堆量无效。
• 对比引擎受限："追平 InstructGPT"锚定在 text-davinci_001 这一较老引擎上，跨引擎比较需谨慎。

5.2 独立观察到的五个疑点

① "54% 正确率却 +33.1%"的机制未被解释：全文最大的理论留白。（推断）可能机制有三：a) 错误多为输出内容错误但任务语义仍可辨识，模型学到的是"指令→响应模式"；b) seq2seq 训练下错误输出被稀释；c) ROUGE-L 类指标奖励表面格式对齐，放大了"学会格式"的收益。三种机制对应完全不同的后续设计，论文均未实验区分——为后来"拒绝采样""质量加权"留下改进空间。

② ROUGE-L < 0.7 度量的盲区：基于最长公共子序列、纯字面。"把这段英文翻译成中文"与"将如下英语句子译为汉语"会被判为"多样"双双入池。（推断）池子真实语义多样性被系统性高估，16K 平台期或部分源于语义熵提前饱和而非数量饱和。今天复现必须换 embedding 相似度——这是历史局限而非疏忽。

③ 自我蒸馏的循环性风险：Self-Instruct 本质是模型蒸馏自己的 zero-shot 分布。若 vanilla GPT3 对某类任务有系统性盲区，自举不仅不填补盲区，反而会强化周边错误模式。175 条种子的人工选择实际承担了"纠偏锚点"角色——方法并非真正无监督，人工先验只是被压缩到种子层。（推断）Alpaca 后来改用 text-davinci_003 当教师，本质是承认了纯自我自举的教师上限。

④ 人类评估协议的单薄处：252 条每条仅 1 实例；B 级是否计有效的口径变化显著影响结论（两种口径之一差距达 5%）。（推断）A/D 两端判别清晰而 B/C 中间地带才是真实差距所在，κ=0.57 恰说明中间地带争议大；盲测与否未明确强调。

⑤ 与 Unnatural Instructions 的对照缺口：同期同目标不同路径（vanilla 自举 vs InstructGPT_002 蒸馏），但未在统一协议下交换训练数据对比。读者无法回答"教师更强则合成数据线性变强吗"——直到 Figure 7 "003 蒸馏 +10%"才部分补上，系统性教师强度 scaling 曲线一年后才由后续工作补齐。

六、启示与影响：一场范式迁移的原点

6.1 五条可迁移的方法论启示

1. "模型内部已有对齐所需的知识，数据工程的任务是提取而非灌输"：全文最核心的世界观贡献。它把对齐问题从"获取更好的监督信号"重构为"设计更好的提取程序"。任何"能力已存在但表达不出"的场景都适用。
2. 自举式数据生成的通用模板：种子池 → 条件采样 → 过滤入池 → 循环。此四拍节奏演化为 Evol-Instruct、拒绝采样微调及今日各家合成数据管线。关键不变量有二：新样本回流成为条件上下文（探索接力棒）、廉价准入闸门（防坍缩免疫系统）。
3. 生成顺序即分布控制：Output-first 对分类任务的标签均衡，是"结构化目标先采样结构再填充内容"原则的最早示范。凡合成含离散骨架的数据（标签、推理步骤数、答案类型），都应先定骨架后长肉。
4. 噪声容忍是有边界的免费午餐：54% 有效率仍 +33.1%，格式级学习对标签噪声鲁棒；但 ~16K 平台与 003 蒸馏 +10% 说明质量在多样性饱和后成为唯一杠杆——"先堆量、后提纯"的两阶段资源分配由此有了实证起点。
5. 多样性度量必须与语义空间对齐：ROUGE-L 阈值法在其历史语境下够用；今天复现此类管线，embedding 相似度或最小语义距离约束是不可省略的升级件。

6.2 历史定位：它点燃了什么

• 直接后裔 Alpaca（2023-03）：斯坦福团队原样借用 Self-Instruct 流水线（175 种子→52K 数据刻意呼应），教师换成 text-davinci_003、微调对象换成 LLaMA-7B，约 600 美元成本造出首个可用开源指令模型——引爆开源复刻潮。
• Evol-Instruct / WizardLM：把"采样生成"升级为"进化式改写"，直接回应 16K 平台期的多样性瓶颈。
• 合成数据范式主流化：从指令合成到思维链合成、偏好对合成，前沿实验室训练数据的合成比例已过半——其方法论合法性的第一块基石就是本文的 +33.1%。
• 概念泛化："self-instruct" 已从论文名变成一类方法的通名，涵盖 self-play、self-rewarding 等后续谱系。

6.3 未竟之路（作者局限 → 后续演化）

总结

《Self-Instruct》用一个极简的四步自举流水线（175 种子 → 循环扩张 → 52,445 指令 + 82,439 实例），完成了对"对齐数据必须人工标注"这一默认假设的证伪：GPT3 在 SUPERNI 上零样本 ROUGE-L 从 6.8 提升至 39.9（+33.1%），逼近人类演示路线的 InstructGPT_001（40.8），并在 252 条用户导向指令上仅落后 5%。其方法内核——自举探索、双序生成控分布、ROUGE-L 闸门防坍缩、多模板微调——构成了后世合成数据管线的原型机；其未解之谜——噪声容忍机制、字面多样性盲区、自我蒸馏天花板——划定了随后两年的主战场。作为 Alpaca 与整场开源指令微调浪潮的思想原点，这篇论文的价值不在数字的高度，而在方向的转折：对齐的第一性资源不是人力，而是模型自身。