00-源数据提取.md（OpenAI 官方 CDN 直链 PDF 全文提取，SHA256=eb81a65e0856bd38…d0），关键数字随文标注页码/表号。GLUE 总分按稿内注记处理双口径：表格直比 72.8 − 68.9 = +3.9；摘要处 “+5.5%” 为相对 GenSen 口径的粗算。非本文出处参数量 117M 为 OpenAI 后续资料/GPT-2 对比表通行口径，论文正文仅载架构规格。
◈摘要
GPT-1（2018-06）是首个完整验证“生成式预训练 + 判别式微调”范式的工作，也是 Transformer decoder 首次充当通用自然语言理解骨干。论文在 BooksCorpus（7000+ 本未出版书籍）上以标准语言建模目标训练 12 层 masked self-attention Transformer decoder（768 维隐藏态、12 头、FFN 内部 3072 维；117M 参数为非本文出处的外部通行口径），随后仅附加线性输出层即迁移到 12 项 NLU 任务：其中 9 项刷新 SOTA，单模型常胜过 ensemble 基线。常识推理 Story Cloze 绝对提升 +8.9%（86.5 vs 77.6），阅读理解 RACE 提升 +5.7%，CoLA 提升 +10.4（45.4 vs 35.0），GLUE 总分 72.8（前最佳 68.9）。消融显示移除预训练导致平均分从 74.7 崩塌至 59.9（−14.8），证明预训练是最大收益源；zero-shot 实验进一步预示语言模型可自发习得多任务能力，成为 GPT-2/GPT-3 叙事的思想先声。
一问题定位
监督学习的标注瓶颈
在 GPT-1 出现之前，NLU 主流做法是为每个任务收集标注数据、从头训练专属网络。这条路线有两个结构性痛点：
- 标注成本高企且分布不均——像 RTE 这样的小数据集只有 2490 个样本（p.5–6），纯监督方法在此规模下泛化极差；GPT-1 自己在 RTE 上失守（56.0 vs 前 SOTA 61.7）恰好反证了小数据集对先验知识的渴求。
- 任务间知识零共享——语言的基础规律（句法、语义、指代、逻辑）要在十几个数据集上被重复学习十几遍。
论文引言将希望寄托于“利用无标注文本中蕴含的丰富信息”（§1, p.1），是对当时社区普遍焦虑的直接回应。
半监督学习的既有格局
| 前人路径 | 代表 | 缺口 |
|---|---|---|
| 词/句级特征提取 | word2vec、ELMo | 表示是“特征供给方”，下游仍需定制结构；ELMo 所用 1B Word Benchmark 为句级打乱文本，破坏长程结构（§4.1, p.4–5） |
| 无监督预训练目标 | 语言建模 / 翻译 / 重构 | 多基于 LSTM/循环网络，长程依赖弱，缺乏系统性跨任务验证 |
| 辅助训练目标 | 多任务 aux loss | 仅作单任务正则化，未与大规模预训练结合 |
GPT-1 提出的问题
① 可行性
无标注语料上的生成式预训练，能否产生对判别任务有实质增益的通用表示？
② 最小改动性
迁移能否不定制架构——只加一个线性输出层就覆盖推理/问答/相似度/分类四大任务族？
第二点是常被忽视但极具工程价值的主张：GPT-1 明确把“迁移时架构改动最小化”列为全文卖点（§3, p.3–4）。
二概念内核
范式核心：“pre-train once, fine-tune everywhere”
阶段一（无监督）：海量无标注文本 ──语言建模 L₁──▶ 通用表示 Θ 阶段二（有监督）：Θ + 线性输出层 W_y ──联合目标 L₃──▶ 任务专家
其背后隐含两个假设（论文以实验而非公理方式给出）：
- 假设 A（通用性）：预测下一个词这一朴素目标足以迫使模型学会句法、语义乃至语篇连贯，这些能力对判别任务同样有价值。最硬证据来自消融：去掉预训练后 8 数据集平均分从 74.7 掉到 59.9（Table 5, p.8）。
- 假设 B（可迁移性）：预训练学到的计算结构可逐层搬运。Figure 2 left（p.7）显示从仅迁移 embedding 到全 12 层迁移，MultiNLI 收益单调上升、累计最高达 9%——每一层都携带可迁移功能。
关键设计抉择及其理由
| 抉择 | 选择 | 论文给出的理由 |
|---|---|---|
| 语料 | BooksCorpus 7000+ 本未出版书籍 | 长连续文本利于长程依赖学习；对照 ELMo 的句级打乱语料（§4.1） |
| 骨干 | Transformer decoder（Liu et al.[34] variant） | 替代 LSTM：长程更稳、并行更高效；消融证实结构本身贡献 −5.6 分差距 |
| 注意力 | masked self-attention（causal, 12 heads） | 保持生成目标的概率合法性；代价是牺牲双向编码（见批判性分析） |
| 位置编码 | learned position embeddings | 弃用原版 sinusoidal，让位置信息参与学习 |
| 激活 / 初始化 | GELU[18]；N(0, 0.02) | LayerNorm 广泛使用使简单初始化即可稳定训练 |
与同期路线的概念分野
ELMo 属于“特征式”：预训练产出上下文向量供下游架构调用，但下游架构仍要重新设计。GPT-1 属于“微调式”：预训练直接给出整套计算图，下游只换输出头。这个分野决定了两件事：其一，迁移成本更低（架构不动）；其二，预训练模型的归纳偏置整体继承到下游——zero-shot 实验正是极端展示：不做任何微调，仅靠启发式读取概率输出，四种任务功能已随预训练稳步上升（Figure 2 right, p.7–8）。
三方法拆解
目标函数体系（§3, p.3–4）
L₁(U) = Σᵢ log P(uᵢ | u_{i−k},…,u_{i−1}; Θ)
计算流程：token embedding Wₑ + position embedding Wₚ → 12 层 transformer block（masked multi-head self-attention + position-wise FFN）→ softmax(h·Wₜ)。
P(y|x¹,…,x^m) = softmax(h_l^m · W_y) L₂(C) = Σ log P(y|x¹,…,x^m) L₃(C) = L₂(C) + λ·L₁(C)，λ = 0.5
新增参数只有 W_y 和分隔符 embedding——“minimal architecture change”的形式化表达。辅助 LM 目标的双重作用：(a) 改善泛化；(b) 加速收敛。但消融给出精细结论：w/o aux LM 平均分 75.0 反而比 full 的 74.7 高 0.3，收益集中在 NLI/QQP 等大数据集，小数据集略负（p.8）——λ=0.5 并非普适最优。
架构规格（§4.1 Model specifications, p.5）
| 项目 | 数值 | 出处口径 |
|---|---|---|
| 层数 | 12-layer decoder-only Transformer | 论文 §4.1 |
| 注意力 | masked self-attention，12 heads | 论文 §4.1 |
| 隐藏维 | 768 | 论文 §4.1 |
| FFN inner states | 3072 | 论文 §4.1 |
| 参数量 | 117M | 非本文出处外部通行口径（OpenAI 后续资料/GPT-2 对比表） |
任务输入变换（§3.3, p.4, Figure 1）
traversal-style 思路[52]：把一切结构化输入拍平成单一 token 序列，统一走 linear+softmax 头，共用随机初始化的 ⟨s⟩/⟨e⟩ 标记：
| 任务类型 | 变换方式 |
|---|---|
| 文本蕴含 | ⟨s⟩ premise $ hypothesis ⟨e⟩（分隔符 $ 拼接） |
| 相似度 | 两种句序各拼一份分别前向，两个 h_l element-wise 相加再进输出层（天然对称） |
| QA / 常识推理 | [z; q; $; a_k]，每个候选独立前向，softmax 归一化选答案 |
| 分类（SST-2 等） | 直接 ⟨s⟩ text ⟨e⟩ |
预训练配置（§4.1, p.4–5）
| 项 | 配置 |
|---|---|
| 语料 | BooksCorpus[71]：7000+ 本未出版书籍（Adventure/Fantasy/Romance 等） |
| 分词 | BPE 40,000 merges[53]；ftfy 清洗 + spaCy tokenizer |
| 优化器 | Adam，max lr 2.5e-4；2000 updates 线性 warmup，余弦退火至 0 |
| 训练轮次 | 100 epochs，batch 64 × 512 token 连续序列 |
| 正则 | residual/embedding/attention dropout 均 0.1；modified L2 weight decay w=0.01（非 bias/gain 权重，[37] 式） |
预训练后困惑度达 token-level perplexity 18.4（p.5）——衡量生成底座质量的直接指标。
微调配置（§4.1, p.5）
复用预训练超参，分类器加 dropout 0.1；lr 6.25e-5，batch size 32，多数任务 3 epochs 即收敛；线性 lr decay + warmup 占训练 0.2%；λ=0.5。“多数任务 3 epochs 收敛”是范式实用性的无声证明——下游适配成本被压到极低。
四证据链
主结果矩阵（Table 1–4, p.5–7）
评测覆盖 12 数据集、四大任务族：NLI（SNLI/MultiNLI-m·mm/QNLI/RTE/SciTail）、问答与常识推理（RACE-m/-h、Story Cloze）、句子相似度（MRPC/QQP/STS-B）、分类（SST-2/CoLA）：
| 数据集 | GPT-1 | 前 SOTA（方法） | Δ |
|---|---|---|---|
| MNLI-m | 82.1 | 80.6 Stochastic Answer Net(3x) | +1.5 |
| MNLI-mm | 81.4 | 80.1 同上 | +1.3 |
| SNLI | 89.9 | 89.3 ESIM+ELMo(5x)/CAFE(5x) | +0.6 |
| SciTail | 88.3 | 83.3 CAFE | +5.0 |
| QNLI | 88.1 | 82.3 GenSen | +5.8 |
| RTE | 56.0 | 61.7 Multi-task BiLSTM+Attn | −5.7 ✗ |
| Story Cloze | 86.5 | 77.6 Hidden Coherence Model | +8.9 |
| RACE val | 59.0 | 53.3 BiAttention MRU(9x) | +5.7 |
| CoLA (mc) | 45.4 | 35.0 Single-task BiLSTM+ELMo+Attn | +10.4 |
| SST-2 | 91.3 | 91.6 Multi-task BiLSTM(ELMo) | −0.3 competitive |
| STS-B (pc) | 82.0 | 81.0 ECNU(SemEval'17) | +1.0 |
| QQP (F1) | 70.3 | 66.1 同 CoLA 基线 | +4.2 |
| GLUE 总分 | 72.8 | 68.9 Multi-task BiLSTM+ELMo+Attn | +3.9 ~ +5.5 * |
* 双口径注记：表格直比 72.8 − 68.9 = +3.9；摘要处 “+5.5%” 为相对 GenSen 71.x 口径的粗算（§4.2 p.6 与 Abstract 对照）。引用必须注明口径。
证据链三个层次：广度（9/12 任务刷新 SOTA）、强度（Story Cloze +8.9%、CoLA +10.4 这类跃升出现在此前几乎停滞的任务上）、纯度（单模型常胜过 5x/9x ensemble 基线，基线侧脚注明确标出）。
消融研究：收益归因（Table 5, p.8）
| 变体 | Avg（8 数据集无权平均） | 相对 full Δ | 归因结论 |
|---|---|---|---|
| Transformer w/ aux LM（full） | 74.7 | — | 基准 |
| Transformer w/o pre-training | 59.9 | −14.8 | 预训练是最大单一收益源 |
| Transformer w/o aux LM | 75.0 | +0.3 | aux LM 仅大数据集有益，非普适 |
| LSTM w/ aux LM（1层2048单元） | 69.1 | −5.6 | Transformer 结构本身贡献显著 |
这组消融回答了当时最尖锐的质疑：“涨点到底来自预训练还是新结构？”答案是双因子驱动但权重悬殊——预训练贡献 14.8 分，结构切换贡献 5.6 分，两者相加基本解释了 GPT-1 对旧范式的全面优势。唯一例外细节：LSTM 变体在 MRPC 一项上反而胜出。
迁移深度曲线（Figure 2 left, p.7）
在 MultiNLI 与 RACE 上逐层增加迁移层数：仅迁移 embedding 已有提升，逐层叠加单调改善，全 12 层迁移在 MultiNLI 上累计最高 +9%。这条曲线否定了“只有底层词向量有用”的特征式直觉，证明预训练高层同样携带可迁移的任务无关功能。
Zero-shot 行为学（Figure 2 right, p.7–8）
四种免微调启发式随预训练更新数稳定上升：
- CoLA：平均 token log-prob 阈值判决
- SST-2：追加 "very" 后比较 positive/negative 概率
- RACE：候选答案平均 log-prob 取最大
- DPRD / Winograd：代入指代后比较剩余序列 log-prob
同设置下 LSTM zero-shot 方差显著更高 → Transformer 的 inductive bias 更利迁移。这是全文最具前瞻性的一节：首次实证“语言建模本身就是隐式多任务学习”，直接铺垫 GPT-2 的 "unsupervised multi-task learner" 叙事与 GPT-3 的 in-context learning。
五批判性分析
论文自陈的局限（原文明确承认）
- 小数据集失守 RTE：2490 例上 56.0 低于 multi-task biLSTM 的 61.7；作者推测多任务训练可缓解但明言 "we have not explored this currently"（p.5–6）。这是诚实的技术留白，也是后来多任务/提示路线的伏笔。
- MRPC 未夺冠：F1 82.3 未超 Single-task BiLSTM 的 84.9（Table 4/5 对照）；相似度三集两胜一平。
- 辅助 LM 目标非普适：消融显示收益集中于大数据集，小数据集无益甚至略负（p.8）——λ=0.5 默认值掩盖了任务依赖的超参敏感性。
- 多任务联合训练未探索：结论与正文均留白（p.6, p.8）。
结构性局限推断（由内容合理推断，标注为推断）
- 单向因果注意力的先天缺口：decoder-only masked self-attention 只看左文，天然弱于双向编码。此缺口正是 ELMo/BERT 双向路线的立论点；BERT 随后以双向弥补并在同类任务上反超——GPT-1 与 BERT 十个月的竞速本质上是“生成式目标 vs 双向编码”的目标函数之争。
- QA 类推理开销大：
[z;q;$;a_k]逐候选独立完整前向，k 个答案 k 次前向，工程效率低；直到生成式答案范式出现才被绕开。 - 语料域窄且规模有限：仅 BooksCorpus 约 7000 本书（≈1GB 级文本），体裁偏小说叙事；后续 GPT-2 WebText 证明规模与域多样性是继续涨点的第一杠杆。
- 评测口径混杂：部分结果取 GLUE leaderboard 口径、部分取各数据集文献，ensemble 基线（5x/9x）与单模型混比，跨表可比性有限——论文自己以脚注声明，GLUE 的 +3.9/+5.5 双口径亦源于此。
方法学再审视
把上述局限放回 2018 年的历史坐标，可得三点公允判断：
- "Work in progress" 的自我定位与多处 "we have not explored" 留白表明作者清楚这是一篇范式宣言而非终局之作；
- RTE/MRPC 局部失守恰恰强化主论证——预训练收益在大数据集上压倒性成立，小数据失败指向“如何注入任务知识”这一未解决问题，而非范式失效；
- zero-shot 小节当时只是附录性质的观察，事后看却是全文最有生命力的部分——历史选择沿这条线走到 GPT-3，而非沿微调线走到 BERT 式精修。
可复现性与开放性
论文未附官方代码链接，权重发布时未公开（源数据 §1 注明：权重后由 OpenAI 于 2019 年随 GPT-2 发布潮间接开放）。作为 preprint 未经同行评审，所有 SOTA 声明依赖论文自报数字与 GLUE leaderboard 交叉。引用具体分数时应保留“自报结果”的审慎。
六启示与影响
直接确立的遗产
- 范式确立："pre-train once, fine-tune everywhere" 从此成为 NLP 默认工作流；minimal-architecture-change 迁移原则（只加线性头）至今仍是各种 adapter/prompt 变体的基线。
- 规格原点：12 层 / 768 维 / 12 头 / 3072 FFN 的 GPT-1 规格，成为 GPT-2（48 层）扩缩路线的原点——scaling law 叙事在血缘上始于这张小小的规格表（117M 参数为非本文出处的外部通行口径）。
- 思想先声：zero-shot 启发式一节是 GPT-2 "language models are unsupervised multi-task learners" 与 GPT-3 in-context learning 的直接思想源头（源数据 §6 历史锚点）。
对后续竞争格局的影响
GPT-1 用一份未送审的 preprint 改写了行业议程设置：十个月后 BERT 以双向编码在同一批任务上反超，但其“预训练→微调”骨架完全承袭 GPT-1；再往后，GPT 系坚持 causal decoder 路线并在规模化中胜出，证明单向注意力的“缺陷”在足够大的模型与数据面前并非不可逾越——这场目标函数之争的最终裁决权交给了 scale。
方法论层面的可迁移教训
- 消融归因先行：一组干净的四变体消融（−14.8 / +0.3 / −5.6）预先回应“涨点归因”质疑，“主结果+归因”双链证据结构值得任何系统类论文效仿。
- 最小改动原则的价值：把“迁移成本”作为一等公民的设计目标，比单纯刷分更具工程生命力。
- 负面结果的诚实呈现：RTE −5.7、SST-2 −0.3、MRPC 未夺冠都如实写入正文与表格，反而增强了 9/12 主张的可信度。
- 前瞻性观察的留种价值：zero-shot 小节篇幅不足一页，却孕育了此后五年的主流叙事——范式级洞见往往最初以脚注形态出现。
结语
GPT-1 的历史角色是“承前启后的第一块多米诺”：向前，它终结了“每任务一套架构”的手工时代；向后，它埋下了 zero-shot 与 scaling 两条主线。以今天的眼光看，它的绝对分数早已被超越，但它回答的那个问题——无标注文本中的语言知识能否被一个通用模型统一承载并廉价迁移——的答案至今仍是整个大语言模型产业的地基。困惑度 18.4、GLUE 72.8 这些数字会被遗忘，而两阶段范式不会。