《DeepSeekMath》深度解读报告
Pushing the Limits of Mathematical Reasoning in Open Language Models
摘要双重供给不足的破局之作
本文解读 DeepSeek-AI 联合清华大学、北京大学提出的《DeepSeekMath》。论文的核心论断是：开源小模型在数学推理上的落后并非能力天花板问题，而是数据与训练算法的双重供给不足——一方面公开数学语料稀缺且质量参差（Minerva 用了自家私有数据，社区只有 13.6B token 的 OpenWebMath 可用），另一方面主流强化学习算法 PPO 需要 policy/old policy/value/reward 四个模型同时在线，内存开销令 7B 级实验室望而却步。
作者的解法同样双管齐下：数据侧构建了一条从 OpenWebMath 种子出发、以 fastText 分类器驱动的迭代式召回管线，四轮迭代从 Common Crawl 的 40B HTML 页中提炼出 35.5M 数学网页、120B token 的 DeepSeekMath Corpus（约为 Minerva 数学网页数据的 7 倍、OpenWebMath 的 9 倍）；算法侧提出 GRPO（Group Relative Policy Optimization），砍掉 PPO 中的 critic 模型，改用"每个问题采样一组输出、以组平均奖励为 baseline"的相对优势估计，大幅降低训练资源。
最终 DeepSeekMath 7B 在竞赛级 MATH 上以无工具 CoT 达到 51.7%（自洽 64 采样 60.9%），逼近 Gemini Ultra 与 GPT-4，成为开源社区首个在竞赛级 MATH 上突破 50% 的模型。更重要的是，GRPO 作为一种极简 RL 范式，日后成为 DeepSeek-R1 强化学习的基石算法——本文因此被视为 LLM 推理强化学习路线图上承前启后的关键节点。本报告按"问题—概念—方法—证据—批判—启示"六层结构逐层拆解。
一问题定位：数学推理的"数据贫困"与"算法昂贵"
1.1 论文要解决的问题
论文针对的现象十分明确：数学推理是大语言模型能力的试金石，但截至 2024 年初，顶尖成绩被闭源巨头垄断——Minerva 540B 达 MATH 33.6%、GPT-4 与 Gemini Ultra 在 50% 以上量级，而开源阵营最好的专用模型（如 Llemma 34B）在 MATH 上仅 25.3%。7B 规模的开源模型更是全面落后。作者将差距归因于两条结构性短板：
- 数据短板：高质量数学 web 语料极度稀缺。彼时社区可用的最佳选项 OpenWebMath 仅 13.6B token，而闭源模型依赖未公开的私有语料。没有大规模干净语料，预训练无从谈起。
- 算法短板：强化学习已被证明能提升代码与数学任务的正确性，但 PPO 这一事实标准需要在显存中同时维持四个模型（policy、old policy、value/critic、reward），其中 critic 通常与 policy 同尺寸，内存占用近乎翻倍。（推断）对于算力预算有限的学术与中小机构，这几乎是一道准入门槛。
论文的目标由此设定为：证明一个 7B 开源模型，仅靠精心工程化的公开 web 数据与新 RL 算法，就能逼近闭源前沿——即标题 "Pushing the Limits … in Open Language Models" 的直接含义。
1.2 双重短板谱系中的定位
- 数据轴：MathPile（8.9B）、OpenWebMath（13.6B）、Proof-Pile-2（51.9B）等公开语料相继发布，但规模与质量的权衡始终存在。本文的贡献不是再造一个静态语料集，而是提出一套可迭代的分类器驱动召回管线——种子语料训分类器、分类器捞回更多网页、人工校验 domain 后再训分类器，形成数据飞轮，直至边际收益收敛（第 4 轮迭代时 98% 数据已在第 3 轮出现）。
- 算法轴：RFT（拒绝采样微调）、DPO、PPO 构成了当时后训练的主要工具箱，但它们要么数据效率低，要么工程开销大。本文将 RFT/DPO/PPO/GRPO 统一进"直接或简化 RL 技术"的概念框架，并给出新的平衡点——保留 PPO 的在线采样与裁剪目标，但用组内相对比较替代价值网络。
一句话小结：本文的核心贡献不是单点刷榜，而是同时打通"公开数据能做到什么"与"廉价 RL 能做到什么"两条边界——前者产出 120B token 语料，后者产出 GRPO 算法，二者合力把 7B 开源模型推到竞赛级数学的前沿。
二概念内核：五个核心概念逐一定义
2.1 DeepSeekMath Corpus 与迭代式数据飞轮
术语表定义：从 Common Crawl 中经 fastText 分类器多轮迭代召回的数学 web 语料，共 35.5M 页面、120B token，规模约为 Minerva 数学网页数据的 7 倍、OpenWebMath 的 9 倍。
拆解：理解这个语料库的关键不在"大"，而在飞轮机制。第一轮以 OpenWebMath 为正例种子、混合多样负例训出初始分类器；此后每轮将新召回数据划分 domain（同一 baseURL 归为一个 domain），若某 domain 有超过 10% 内容被收录则判为 math-related 整域纳入，辅以人工标注 URL path 补充正例，再用扩大后的正负例重训分类器。终止条件是经验性的：第 4 轮迭代时 98% 数据已在第 3 轮出现，边际收益归零，遂停。（推断）这种"domain 级判定 + 边际收益监控"的设计，本质上是把"什么是数学网页"的定义权交给分类器与人工抽检的共同演化，避免了手工规则覆盖不全的问题。
2.2 GRPO（Group Relative Policy Optimization）
定义：PPO 的轻量化变体——对每个问题采样一组（group）输出，以该组的平均奖励作为 baseline，用组内相对优势替代价值网络估计的优势函数，从而完全省去 critic 模型。
拆解：这是本文影响最深远的贡献。传统 PPO 的优势估计 A = R − V(s) 依赖一个与 policy 同尺寸的价值网络来回归状态价值，训练时四个模型共存导致显存压力巨大。GRPO 的洞察是：（推断）在"答案可自动验证"的数学任务上，同一问题的多个采样的平均奖励本身就是对"这个问题有多难 / 这个策略有多好"的天然基线——不需要学习一个 V(s) 来近似它。组内每个输出的优势 = 其奖励相对组均值的偏差，策略梯度照常更新。代价是需要对每个问题多次采样（推理开销换训练内存），但在 batch 训练场景下这笔交换非常划算。这一设计后来被 DeepSeek-V2/V3 沿用，并在 R1 中成为推理能力涌现的核心引擎。
2.3 统一范式：RFT、DPO、PPO、GRPO 的谱系归位
定义：论文提出的概念框架，将当时的主流后训练技术统一为"直接或简化的 RL 技术"，并按"是否在线、是否需要 critic、监督粒度（outcome vs process）、是否迭代"等维度展开分析。
拆解：这个框架的价值在于把散乱的技术选型变成了一个可比较的设计空间：RFT 是离线的拒绝采样 + SFT（只用好样本），DPO 是离线且免 critic 的偏好优化，PPO 是在线且带 critic 的完整 RL，GRPO 则是在线且免 critic 的折中。论文在此框架下系统实验了交互式/迭代 RL、在线 vs 离线、outcome vs process 监督等变量（推断），使 GRPO 的提出不是孤立灵感，而是设计空间扫描后的最优点。
2.4 Code-First 初始化
定义：DeepSeekMath-Base 不从通用 LLM 出发，而是从 DeepSeek-Coder-Base-v1.5 7B 初始化，再混入 56% 数学语料 + 20% GitHub code + 10% arXiv + 10% 中英自然语言继续训练 500B token。
拆解：这一选择的依据来自论文的中间实验：代码训练对数学推理有显著正迁移，而 arXiv 论文数据的加入反而无实质提升（贡献作者承认此点）。（推断）直觉解释是：代码蕴含精确的符号操作与步骤化表达，与数学解题的思维形式同构；而 arXiv 文本虽是数学文献，但其行文面向人类自然语言论证，充斥符号省略与排版噪声，对 CoT 解题助益有限。这一发现对后来者的数据配方选择影响很大——"数学文献 ≠ 数学好数据"。
2.5 工具集成推理（Tool-Integrated Reasoning）
定义：SFT 数据的三种形态之一，让模型在思维链中交错生成自然语言推理与 Python 代码块（PoT/tool-integrated），由解释器执行后继续推理。
拆解776K 条 SFT 样本同时覆盖 CoT（纯文本链）、PoT（程序辅助）与工具集成三种模式，使单一模型可在无工具环境下走 CoT、在有解释器环境下调 Python。证据显示工具路径对 MATH 提升显著（Instruct 无工具 46.8% → 工具 57.4%），但论文同时强调 CoT 无工具成绩才是"模型自身推理能力"的度量——51.7% 的 headline 数字正是后者。
一句话小结：五个概念构成一条完整链条——迭代飞轮解决"数据从哪来"、Code-First 解决"从哪起步"、统一范式框定"算法怎么选"、GRPO 回答"如何便宜地做 RL"、工具集成界定"什么才算真本事"。
三方法还原：一条完整的"数据—预训练—SFT—RL"流水线
3.1 数据侧：fastText 召回漏斗与去污染
迭代召回管线
- 种子：OpenWebMath（13.6B token）作为首批正例，混合多样负例训练 fastText 分类器；
- 分类器规格：500,000 正例 + 1,500,000 负例；维度 256、学习率 0.1、n-gram 3、最小出现次数 3、训练 3 epochs；
- 抓取规模：对 Common Crawl 做 URL 去重 + 近似去重后得到约 40B 个 HTML 页面，按 fastText 分数排序保留 top；
- 容量评估：保留多少由实验决定——分别用 40B/80B/120B/160B 规模做预训练对比，120B 后收益不再显著增长；
- 迭代细化：domain 级判定（同 baseURL，>10% 收录即整域纳入）+ 人工标注 URL path 补充正例 → 重训分类器；
- 停止条件：第 4 轮迭代时 98% 数据已在第 3 轮出现。
去污染（Decontamination）
为防止基准测试题泄漏进训练集，管线过滤含 GSM8K/MATH（英文）与 CMATH/AGIEval（中文）题目或答案的网页：采用 10-gram 精确匹配过滤；长度不足 10 gram 但 ≥3 gram 的片段用精确匹配兜底。（推断）这一策略能拦截原文复制型泄漏，但对改写/转述型泄漏的防御力有限——详见第五章批判。
3.2 预训练：Base 7B 配方
| 配置项 | 值 |
|---|---|
| 初始化 | DeepSeek-Coder-Base-v1.5 7B |
| 总训练量 | 500B tokens |
| 数据分布 | 56% MathCorpus + 4% AlgebraicStack + 10% arXiv + 20% GitHub code + 10% 中英自然语言 |
| 学习率 / Batch | 4.2e-4 / 10M tokens |
语料质量本身通过对照实验验证：以 DeepSeek-LLM 1.3B 为试验台，各训 150B token，对比 MathPile（8.9B）/OpenWebMath（13.6B）/Proof-Pile-2（51.9B）/DeepSeekMath Corpus（120.2B）四种语料，后者在 8 个基准全面领先（1.3B 规模下 GSM8K 23.8%、MATH 4.8%、CMATH 41.5%）。
3.3 SFT：DeepSeekMath-Instruct
| 配置项 | 值 |
|---|---|
| 样本量 | 776K 例 |
| 任务形态 | CoT / PoT / tool-integrated 三态并存 |
| 语言构成 | 英文（GSM8K/MATH 注释版、MathInstruct 子集、Lila-OOD 训练集）+ 中文（K-12 教育 76 个子专题） |
| 序列上限 | 4K |
| 步数 / Batch / LR | 500 steps / 256 / 5e-5 恒定 |
3.4 RL：GRPO 算法细节
PPO — 四模型阵容
- 在线模型数：4（policy / old policy / value / reward）
- critic/value 网络：必需，通常与 policy 同尺寸
- baseline：学习到的价值函数 V(s)
- 优势估计：R − V(s) 经 GAE
- 内存开销：高（近似双倍 policy）
GRPO — 三模型阵容 ★
- 在线模型数：3（policy / old policy / reward）
- critic/value 网络：完全省去
- baseline：同一问题一组采样的平均奖励
- 优势估计：组内奖励的相对偏差
- 内存开销：低
RL 阶段的数据刻意克制：仅使用 GSM8K + MATH 的英文 CoT 指令数据子集，不引入新任务域。论文还在统一范式框架下实验了多种变体（在线 vs 离线、outcome vs process 监督、单轮 vs 迭代 RL）（推断），最终配置以 outcome 监督的在线 RL 为主干。
一句话小结：方法体系是"三段递进、一段点睛"——数据飞轮造出 120B 干净语料，Code-First + 500B token 打下 Base 底座，776K 三态样本完成 Instruct 对齐，最后 GRPO 以三分之一的模型阵容完成 RL 点睛，全程每一环都有消融或对照实验背书。
四证据链：从 1.3B 试验台到 Table 5 主战场
4.1 第一环：语料有效性（1.3B 对照实验）
四种公开数学语料的同预算对决中，DeepSeekMath Corpus 在 8 个基准全面领先。这一环回答的是"120B 语料是不是真的好"，排除了"只是因为模型大"的质疑——试验台仅 1.3B。
4.2 第二环：Base 7B 的越级表现
| 基准 | DeepSeekMath-Base 7B | 关键对手 | 对手值 |
|---|---|---|---|
| MATH (CoT, 无工具) | 36.2% | Minerva 540B | 33.6% |
| MATH (CoT) | 36.2% | Llemma 34B | 25.3% |
| GSM8K (CoT) | 64.2% | Llemma 34B | 71.9% |
| MATH (PoT, 工具) | 31.4% | Llemma 34B | 26.3% |
| GSM8K+Python | 66.9% | Llemma 34B | 64.6% |
| miniF2F valid/test (Isabelle) | 25.8% / 24.6% | Llemma 34B | 21.0% / 21.3% |
7B 模型的 CoT 成绩超过 540B 的 Minerva（36.2% vs 33.6%），是数据管线威力最直观的证据。GSM8K 上不敌 Llemma 34B（64.2% vs 71.9%）是少数失守项，（推断）原因可能是 GSM8K 属小学应用题，Llemma 的 Proof-Pile-2 语料（含大量简单算术文本）对该题型更有针对性。此外，数学预训练还带来了通用能力的意外增益：MMLU 从前驱 DeepSeek-Coder-v1.5 的 42.9% 升至 54.9%，BBH 从 54.9% 升至 59.5%，同时编码能力基本保留（HumanEval 40.9%、MBPP 52.6%）。
4.3 第三环：Table 5 主战场（Instruct vs RL vs 全世界）
| 模型 | Size | GSM8K | MATH | MGSM-zh | CMATH |
|---|---|---|---|---|---|
| Gemini-Ultra（闭源） | – | 94.4 | 53.2 | – | – |
| GPT-4（闭源） | – | 92.0 | 52.9 | – | 86.0 |
| GPT-3.5（闭源） | – | 80.8 | 34.1 | – | 73.8 |
| WizardMath-v1.1 | 7 | 83.2 | 33.0 | – | – |
| Qwen72B | 72 | 78.9 | 35.2 | – | – |
| DeepSeek-LLM-Chat67B | 67 | 84.1 | 32.6 | 74.0 | 80.3 |
| MetaMath70B | 70 | 82.3 | 26.6 | 66.4 | 70.9 |
| DeepSeekMath-Instruct 7B | 7 | 82.9 | 46.8 | 73.2 | 84.6 |
| DeepSeekMath-RL 7B | 7 | 88.2 | 51.7 | 79.6 | 88.8 |
三个层次的读法：
- SFT 层：46.8% 已超所有开源对手（最大 72B）与 GPT-3.5，仅次于 GPT-4/Gemini-Ultra——此时 GRPO 还没上场；
- RL 层：GRPO 仅用 GSM8K+MATH 的 CoT 数据就带来全线提升——MATH 46.8→51.7、GSM8K 82.9→88.2、CMATH 84.6→88.8、MGSM-zh 73.2→79.6。值得注意的是域外增益：CMATH 与 MGSM-zh 是中文基准，RL 只用了英文题，提升依然显著，（推断）说明 RL 学到的是更普遍的推理行为修正而非题型记忆；
- 自洽层：64 采样投票将 MATH 推至 60.9%，首次让开源模型在该基准越过 60% 线。
4.4 第四环：工具集成赛道
| 模型 | Size | GSM8K | MATH |
|---|---|---|---|
| GPT-4 Code Interpreter | – | 97.0 | 69.7 |
| InternLM2-Math | 20 | 80.7 | 54.3 |
| ToRA | 34 | 80.7 | 50.8 |
| DeepSeekMath-Instruct 7B | 7 | 83.7 | 57.4 |
| DeepSeekMath-RL 7B | 7 | 86.7 | 58.8 |
工具模式下 7B 模型 MATH 58.8%，超过 InternLM2-Math 20B 与 ToRA 34B，距 GPT-4 Code Interpreter 的 69.7% 尚有明显差距——工具赛道的头部仍被闭源巨头的解释器生态把持。
一句话小结：证据体系呈四级火箭形态——1.3B 试验台证语料、Base 证数据威力（胜 540B Minerva）、Table 5 证 GRPO 增益（含跨语言域外提升）、工具赛道证工程完整性；唯一明显失守的是 GSM8K CoT 对 Llemma 34B 一役与工具赛道的 GPT-4 差距。
五批判审视：局限的深层含义与独立疑点
5.1 作者自述/源数据归纳的六项局限的深层含义
- 仅 7B 规模验证：GRPO 与数据管线都只在 7B 上做了完整闭环，≥70B 的 scale 效应未知。深层含义是：组平均 baseline 在更大模型、更强初始策略下是否仍然有效尚属开放问题。
- 去污染依赖 n-gram 精确匹配：10-gram/3-gram 匹配无法拦截语义改写型泄漏，（推断）竞赛题在论坛讨论中被换表述复现的场景并不少见，基准分数可能存在系统性高估的水分，尽管方向难以量化。
- 训练数据分布不透明：Common Crawl 原始页的去留细节、web 源与许可证未充分披露，第三方完整复现存在信息缺口；arXiv 无实质提升的结论也与许多从业者的默认假设相悖，值得独立复核。
- GRPO 理论分析较浅：统一范式是概念框架而非理论工作，缺少收敛性与偏差界证明；组平均 baseline 在 token 级信用分配上的稳健性未被严格论证——这正是后续 DeepSeekV2/GSPO 系列工作持续修补的方向（推断）。
- 形式化证明非端到端：miniF2F 成绩依赖 Isabelle/Sledgehammer 外部证明器补全 sketch，不是纯神经网络的自我完备证明能力。
- 评测协议不完全统一：表 5 部分格子为 Top1、灰色格为 32 候选多数投票，跨行比较需时刻核对协议，否则容易误读。
5.2 独立观察到的四个疑点
① RL 增益与 SFT 基线之间的归因缝隙：RL 阶段只用 GSM8K+MATH 英文 CoT 数据，却在 MGSM-zh（多语言翻译版小学题）上涨 6.4 点。若将其解读为"推理行为的普遍修正"，那么一个自然的对照应是"同等数据量的继续 SFT"能否带来相同增益——论文未给出该对照。（推断）考虑到 GRPO 与 RFT/DPO 的统一框架，部分增益可能来自拒绝采样效应（模型本来就会做对的题被强化），而非真正的探索性学习。
② 组内全对/全错时的信号真空：GRPO 用组内相对优势，当某个问题的所有采样全对或全错时，组内方差为零、优势信号消失。对难度两极分布的数据集，这意味着大量样本实际上不产生梯度。（推断）这与后来 DAPO 等工作提出的动态采样思路呼应，也提示论文报告的 GRPO 增益可能低估了其在难例课程下的潜力上限。
③ "逼近 Gemini-Ultra"表述的口径差：51.7% vs 53.2% 相差 1.5 点，且两者评测协议未必一致（后者为闭源 API 报告值）。headline 的"逼近"是营销友好的措辞，（推断）严谨读法应是"进入同一量级区间"，与 GPT-4 的 52.9% 同理。
④ 数据飞轮的自我强化循环风险：分类器迭代以自身召回的数据再训练自己，若早期分类器存在系统性盲区（如偏好英文数学、忽略某类符号体系），迭代会放大而非修正该盲区。98% 重合率的停止条件只能证明召回饱和，不能证明召回无偏。（推断）中文 K-12 数据在 SFT 阶段的补充或许部分缓解了这一问题，但预训练语料的语言/题材偏斜度无从检验。
一句话小结：这篇论文的证据主体扎实（四级对照链完整），但 GRPO 的理论根基、去污染的实际效力、以及 RL 增益的归因纯度三点，都为后续研究留下了真实的裂缝——而这些裂缝恰恰成为了 2024–2025 年 RLVR 浪潮的研究议程。
六启示提炼：可迁移的经验与历史影响
6.1 六条可迁移启示
- 数据飞轮优于一次性语料集：以种子语料训分类器、召回扩容、domain 校验、再训分类器的闭环，让公开 web 数据达到了此前只有私有数据才能达到的规模与质量。这套"分类器驱动的领域语料工程"可直接迁移到法律、医疗、金融等任何垂直领域的语料建设中。
- Code-First 是数学乃至推理任务的优质起点："代码训练正迁移、arXiv 无实质提升"的组合发现提醒我们：数据的形式（可执行、步骤化）比题材标签（数学文献）更能预测其训练价值。
- 约束条件下做减法是算法创新的富矿：GRPO 没有发明任何新理论，它只是精准地删掉了 PPO 里最昂贵的组件（critic），并用任务结构（可验证奖励 + 组采样）补上了缺口。当算力受限时，"哪些组件可以被数据结构替代"是最值得追问的问题。
- RL 的收益可以溢出到域外语言与任务：仅用英文 CoT 数据的 RL 在中文基准上获得 4.6–6.4 点提升，提示 RL 优化的是推理行为的形状而非具体知识——这对多语言/跨域部署的成本规划很有参考价值。
- 小模型的极限取决于供给侧而非需求侧：7B 击败 540B 的案例再次证明，在数据与算法同时到位时，模型规模的差距可以被大幅追平——"先问供给侧还有什么没给够"应成为性能诊断的第一反应。
- 统一范式框架是技术选型的地图：把 RFT/DPO/PPO/GRPO 放进同一坐标系（在线性、critic 需求、监督粒度、迭代性）后再做选择，比追逐单个 SOTA 名称更可靠。
6.2 历史影响：通往 R1 的基石
从后续演进看，这篇论文的最大遗产不是 51.7% 这个数字，而是 GRPO 本身：
- DeepSeek-V2（2024）将 GRPO 工程化为标准后训练组件，并针对其偏差问题持续改良（推断）；
- DeepSeek-R1（2025）以 GRPO 为核心引擎，在纯可验证奖励（RLVR）下激发出长思维链与反思行为，震动整个行业——而这一切的原点正是本文"砍掉 critic、组内相对比较"的那个设计决定；
- 开源社区：GRPO 因实现简单、显存友好，迅速成为 trl、verl、OpenRLHF 等主流 RL 框架的默认选项之一，客观上把 RLVR 研究的门槛拉低了一个数量级。
（推断）可以说，DeepSeekMath 之于推理 RL，如同 Attention Is All You Need 之于架构研究——它不是终点，而是让整条路线变得可行的基础设施。
6.3 未竟之路
- 过程监督（PRM）与结果监督（ORM）的结合：论文在统一范式中分析了 process 监督的位置，但主结果仍是 outcome 监督；细粒度信用分配仍是开放课题；
- GRPO 的方差退化：组内全对/全错的信号真空问题催生了后续一系列改进（动态采样、clip-higher 等，均为后继工作方向，推断）；
- 规模化验证：数据管线与 GRPO 在百亿至千亿参数上的复现直到 R1 时代才被部分补全。
总结
《DeepSeekMath》是一次教科书级的"供给侧创新"：面对开源模型在数学推理上的全面落后，作者没有诉诸更大的模型，而是同时改造了数据的供给方式（fastText 迭代飞轮，120B token 公开语料，7 倍于 Minerva）与算法的供给成本（GRPO，砍掉 critic，四模型变三模型）。其证据链呈四级火箭形态——1.3B 试验台证语料、Base 7B 越 540B 级击穿 Minerva（36.2% vs 33.6%）、Table 5 中 RL 全线增益含跨语言外溢、自洽 64 采样达 60.9%。批判视角下，GRPO 的理论浅描、n-gram 去污染的天花板、以及 RL 增益归因的对照缺失构成三处真实裂缝，但也恰恰划定了 2024–2025 年 RLVR 研究的议程。作为 DeepSeek-R1 强化学习的直接基石，这篇论文证明了：在正确的数据结构与算法减法之下，7B 开源模型可以站上曾经只有闭源巨头才能立足的高地——而这正是 "Pushing the Limits of Mathematical Reasoning in Open Language Models" 的完整含义。