DeepSeek LLM：以长期主义扩展开源语言模型 —— 深度解读报告

数据依据：同目录 00-源数据提取.md（唯一数字来源）。标注「（推断）」处的分析与外推为推理内容，非原文数字。

摘要（300字）

DeepSeek LLM（2024-01）是 DeepSeek-AI 团队以 scaling laws 为指导、从零训练的开源中英双语语言模型，发布 7B（30 层）与 67B（95 层）两个规模，语料规模 2T tokens，上下文 4096。论文的核心学术贡献不是又一个"更大更强"的模型，而是补齐了开源社区长期缺失的两块拼图：一是将 scaling laws 从"研究玩具"变为"可指导生产"，提出了针对超参数（学习率、batch size）的缩放律，并引入以非嵌入 FLOPs/token（M）取代单纯参数量（N）的更精确规模表述；二是通过三套不同质量数据集的消融，揭示了 scaling 系数随数据质量单调变化的规律，从而正面解释了此前 Chinchilla 与 OpenAI 在"最优模型/数据配比"结论上的分歧根源——数据质量决定增量算力应投向模型还是数据。工程上，DeepSeek LLM 67B 在代码、数学、推理与中文任务上全面超越 LLaMA2 70B，其 Chat 版在开源评测中超越 GPT-3.5、仅次于 GPT-4，并在多组 held-out 新题与安全性测试中达到第一梯队。文本尤其有价值的是其一系列反直觉的工程判断：拒绝用多选题数据刷基准、依模型规模选择单/两阶段微调、意识到 system prompt 对大模型有益而对小模型有害。全文的核心叙事是一条"长期主义"线索：用可预测、可复用的科学方法替代一次性大力出奇迹的工程暴力。

一、问题定位：开源社区为何在"如何扩模型"上集体缺席？

1.1 时代背景：开源模型在"练得多"与"练得明白"之间的落差

2024 年初的语言模型格局，呈现出一种耐人寻味的割裂（推断）：闭源阵营（OpenAI GPT-4）与部分开源阵营（LLaMA、Mistral）在"把模型做大"这件事上已经轻车熟路，但围绕"怎样做才更科学"的 scaling laws 研究，几乎完全被论文界所垄断，少有开源工作把这项理论工具真正落到自己的训练流程里。论文在引言处开门见山地指认：开源社区忽视了 scaling laws 研究（00 §2 p3，1 Introduction）。

这句话的分量在于：它指出的不是"算力不够"或"数据不够"，而是方法论层面的缺席。开源社区普遍的做法是"参照别人成功的配置"——LLaMA 用了多少层、多少 batch、多少学习率，后续开源模型照搬即可。但正如本文所揭示的，这样的"抄作业"存在两个隐患：

• 其一，最优超参数本身是计算预算的函数，换个规模照搬旧配置必然偏离最优。
• 其二，不同数据质量下，算力该投给模型还是数据，答案完全不同，照搬 LLaMA 面对的数据配比不等于适合自己。

1.2 本文要解决的四个具体问题（推断，由 §3 主张反推）

结合 00 §3 的 C1–C13 主张，可将本文的研究问题收敛为四条主线：

1. 超参数能否被预测？（C1）——给定计算预算，最优学习率与 batch size 是否遵循可外推的幂律？
2. 模型规模该怎么度量？（C2）——参数量 N 是否是准确尺度？若不是，什么才准？
3. 算力应投向模型还是数据？（C3/C4）——最优的模型/数据配比如何随条件变化，为什么此前研究结论互相矛盾？
4. 这套理论能否指导生产？（C5）——用 1e17 量级的小实验能否可靠预测 1000 倍预算下的性能？

1.3 为什么这个问题"值得做"（贡献定位）

论文的贡献不是单一的"发布 67B 模型"，而是一套完整的研究-工程闭环：先做 scaling laws 的科学研究，再用结论指导两个规模模型的实际训练，最后用大量评测（含 held-out 与安全）验证。这在当时的开源工作报告中极为罕见——多数工作只呈现"结果（模型很强）",而不呈现"过程（为什么这样练）"。本文把工程决策的"可解释性"置于与模型性能同等重要的位置，这正是标题中"Longtermism（长期主义）"的深意（详见第六层）。

二、概念内核：三层幂律与一个"反直觉尺度"的引入

2.1 核心概念一：Scaling Laws（缩放律）究竟是什么

Scaling laws 是"模型性能随规模（算力/参数/数据）变化的经验幂律"，其数学形式通常是误差（或 loss）≈ α·S^(-β) 的形式，表示随规模 S 增大，误差按幂次 β 下降。这个概念早在神经缩放（neural scaling）研究（Kaplan 2020、Chinchilla 2022）中已确立，但本文并未停留在"承认它成立"，而是把它进一步拆解成可以直接用于工程决策的定量工具：

• 把研究粒度从"模型性能"下沉到"超参数"。过去的缩放律专注于 loss 与算力 C 的关系；本文额外研究 loss 与 batch size、learning rate 的关系，从而让"我该用多大 batch、多大学率"这一问题也可被计算，而不是靠经验拍板。
• 把"最优配比"从固定结论变为可校准函数。过去的 Chinchilla 给出一个"20 tokens 兑 1 参数"的经验比例（推断，源自该领域通识），本文却证明这个比例不是常数，而是随数据质量漂移的变量。

2.2 核心概念二：引入非嵌入 FLOPs/token（M）取代参数量（N）

这是本文最有"方法论野心"的一个概念创新。传统做法用参数量 N 代表模型规模，但本文抓住了一个被普遍忽视的偏差：参数量 N 不包含注意力机制随序列长度产生的计算开销，而且词嵌入部分（vocab 相关）在不同词表大小下不可比。于是论文定义：

M = 72·n_layer·d_model² + 12·n_layer·d_model·l_seq （00 §3 C2，Table 3 p10）

关键在于两点（推断，由公式结构分析）：

• 第一项 72·n_layer·d_model² 对应 Transformer 前馈与多头部分每 token 的非嵌入计算；
• 第二项 12·n_layer·d_model·l_seq 显式计入注意力随序列长度 l_seq 的复杂度，这是 N 完全无法表达的。

论文给出关键的定量证据：在 8 层、512 宽的小模型上，M/(6N₁) = 2.87，意味着用参数量表示的误差达 50% 以上；而到 80 层、8192 宽的大模型上，这一比值仅差 8%（C2）。这直接说明了为什么早期的 scaling 研究在小模型上频繁"失灵"——不是定律错了，而是度量尺子在小模型段太不准确。这也解释了为何本文偏好用"每 token 非嵌入 FLOPs"这类与企业实际算力成本直接挂钩的指标，而非虚无的"参数个数"。

2.3 核心概念三：最优配比的"数据质量依赖性"（C4）

本文点破了一个此前没人说透的规律：数据质量越高，增量算力越应分配给模型规模；数据质量越低，增量算力越应投入更多数据（C4）。这一主张深刻之处在于，它用一个统一的框架调和了两个"权威打架"的结论：

• OpenAI（Kaplan 等）：更偏向"给模型加参数"（a≈0.73 / b≈0.27，00 C3）。
• Chinchilla（DeepMind）：更偏向"给模型加数据"（a≈0.49 / b≈0.51）。

过去这两派被当作对立的两种范式，而本文用"数据质量差异"一条线索化解了矛盾：OpenAI 当年用 OpenWebText2（相对高质量）拟合，Chinchilla 用 MassiveText（相对低质量）拟合，因此倾斜方向不同本就合理。本文自己的三套数据（early in-house / current in-house / OpenWebText2）给出 a 系数单调上升（0.450→0.524→0.578）、b 系数单调下降（0.550→0.476→0.422）的教科书式证据（C4，§3.3 p12）。这一洞察让 scaling laws 从"描述性规律"升格为"可依数据质量动态调参的工程准则"。

2.4 核心概念四：Multi-step LR scheduler（阶梯式学习率调度器）

虽是工程细节，却是"长期主义"叙事的点睛之笔（推断，详见第六层）。不同于通用的 cosine 衰减，本文采用分段式（multi-step）学习率调度：warmup 2000 步至峰值 → 训练 80% tokens 后降至初始的 31.6% → 到 90% 后再降至 10%（00 §4.2 p5-6）。其价值不在单次性能（论文承认其最终效果与 cosine 基本一致），而在可复用性：当训练规模或数据发生变化时，可以复用已完成的阶段而不用从零重训，这为后续的 continual training（持续训练）与超参数网格搜索提供了巨大便利——因为网格搜索需要反复重跑，采用阶梯式调度能显著降低重复计算成本。这是"一次设计、长期复用"思路的直接体现。

三、方法拆解：从数据到评测的完整技术栈

3.1 数据管线：把"去重"做绝（C6）

数据侧最具辨识度的是其激进的跨 dump 去重。论文采用"去重 → 过滤 → 重混"三阶段管线，其中去重不是常规的"单文档去重"，而是跨全部 91 个 Common Crawl dump 的全局去重（00 §2.1 p4 / §4.1 p64）。论文给出的数字极具冲击力：

跨 dump 全局去重率 89.8%，而单 dump 去重率仅 22.2%（C6，Table 1 p4）。

这组对比的启示远超"省 token"层面：它揭示了互联网语料的惊人重复度——如果在单个 dump 内部去重，看似去掉了不少，实则海量跨时间的重复内容（同一文章被不同 dump 反复抓取）仍会灌入模型，并且会在训练中系统性抬高高频内容的权重、稀释长尾知识。只有跨 dump 全局去重，才能逼近"对互联网内容做真正的降采样"。过滤环节则结合语言学与语义双视角评估文档质量、提高信息密度，重混环节向上采样不足领域以平衡分布——这构成了一个"减重复、保质量、衡分布"的完整数据治理闭环。

Tokenizer 采用 BBPE（仿 GPT-2 的 pre-tokenization，阻止换行/标点/CJK 跨类合并）+ 数字逐位切分（仿 LLaMA），词表 100000 常规 + 15 特殊，训练配置 vocab_size=102400（00 §4.1 p64）。这套组合兼顾了中英双语与代码/数字场景的实际需求。

3.2 架构与训练规格：宏观层的"加深度"决策

微观层面，DeepSeek 沿用 LLaMA 的成熟设计：Pre-Norm + RMSNorm、SwiGLU（中间维为 8/3·d_model）、RoPE（00 §4.2 p69）。这些是被验证过的稳健选择，无需标新立异，体现了工程上的克制。

其真正的差异化决策在宏观层：

• 7B 用 30 层（而非常见的 32 层）；
• 67B 用 95 层（而非按比例加宽 FFN）。

论文刻意选择加深而不加宽，作者给出的理由有二（00 §4.2 p69）：一是便于流水线并行切分（层数越多，Pipeline Parallelism 的切分越均匀，跨设备沟通开销更易分摊）；二是换取更好性能。这一选择与 OpenAI 对"深度收益"的探索（推断，早期研究曾指出过深网络存在优化困难的争议）相呼应——本文通过训练实践证明了在 95 层这样的深度下，配合大 lr 与正确的初始化（std 0.006、梯度裁剪 1.0），深度加大的收益是真实可用的。

67B 采用 GQA（Grouped-Query Attention，64 heads / 8 kv_heads），这是适配长上下文与推理加速的关键设计（00 §4.2 p69）。其余关键规格见 00 Table 2：7B 用 batch 2304、lr 4.2e-4；67B 用 batch 4608、lr 3.2e-4；两者均训练 2T tokens、上下文 4096。

3.3 基础设施：把工程细节抠到极致

数值精度与显存管理是本文的隐藏亮点。训练采用 bf16 计算 + fp32 梯度累积、配合 ZeRO-1 切分优化器状态，并自研 in-place cross-entropy（在 CUDA 核内将 bf16 logits 即时转为 fp32 计算后再覆写原 buffer），显著节省显存。框架为自研 HAI-LLM，集成数据并行/张量并行/序列并行/1F1B 流水线并行四种并行策略，配合 FlashAttention；支持跨三维并行配置的续训，并每 5 分钟异步存档（00 §4.2 p75）。评测阶段使用 vLLM 加速生成任务。

这套基础设施的完整度说明：DeepSeek 不是在"搭个能跑的训练脚本"，而是构建了一套可长期演化、可跨配置续训、可容错恢复的生产级训练系统——这再次呼应"长期主义"：训练系统的可复用性，比单次训练的最优性能更重要。

3.4 Scaling Laws 的推演方法（§3.1–3.3）

这是全文方法学上最精密的部分，分三步走：

第一步：超参缩放律的提取（§3.1 p8-9）。 先在小预算（1e17 FLOPs）网格搜索 batch size 与 learning rate，发现泛化误差对二者都相对不敏感（存在宽平稳区），这一发现本身就是重要的工程启示——意味着超参在小范围内偏离最优不会带来毁灭性后果，给了从业者容错空间。随后借助 multi-step scheduler 可复用第一阶段的特性，在 1e17–2e19 的多档预算下重复实验，取"误差 ≤ 最小值 + 0.25%"的参数作为近优带（near-optimal region），拟合出幂律：

η_opt = 0.3118·C^(-0.1250)（最优学习率随算力 C 增而减）

B_opt = 0.2920·C^(0.3271)（最优 batch size 随算力 C 增而增）

并在 1e20 FLOPs 上验证了回归参数位于最优区中心（00 C1，式(1) p9）。这两条幂律的物理含义非常直观：算力越充裕，越应该用更大的 batch、更小的学习率——这与深度学习既有直觉一致，但被量化成了可计算的公式。

第二步：模型/数据缩放律的提取（§3.2 p9-12）。 用 M（非嵌入 FLOPs/token）取代 N，建立 C ≈ M·D 的关系以消除近似误差。沿用 Chinchilla 的 IsoFLOP profile 法，用 8 档预算（1e17–3e20）× 每档约 10 组模型/数据配比，以 100M token 同分布验证集上的 bits-per-byte 作为泛化误差度量，拟合得：

M_opt ∝ C^a，D_opt ∝ C^b，本数据下 a=0.5243 / b=0.4757（00 C3，式(4) p11）

这一配比"略偏模型侧"，与 Chinchilla 的"偏数据侧"形成微妙差别，其根源正是数据质量不同（见 2.3）。

第三步：外推验证（C5）。 论文用上述拟合曲线成功外推预测了 7B/67B 两个真实模型的性能，两个点都落在预测曲线上（Fig.4/5 p11）。这证明了 scaling 研究的意义：小规模实验（1e17 量级）可以作为大规模训练（3e20 量级，约 1000 倍预算）的"预告片"，从而避免盲目烧钱的资源浪费。

3.5 对齐流程（§4 p12-13）：数据配比与规模的自适应

对齐阶段有清晰的数据构成：约 150 万指令实例（中英），其中 helpful 类 120 万（通用语言 31.2% / 数学 46.6% / 代码 22.2%）+ 安全类 30 万（00 §4.4 p85）。注意数学类占比高达 46.6%，这是 DeepSeek 强数学能力的直接来源，也导致了后文的重复率问题。

SFT 阶段体现了规模自适应的洞见：7B 训练 4 epochs（lr 1e-5），而 67B 仅 2 epochs（lr 5e-6）——因为 67B 很快触顶且过拟合严重（00 §4.4 p86）。监控指标除基准分外的重复率（3868 条中英 prompt 中无法终止、无限复读的比例）极有新意，它捕捉的是"模型是否学会停止"这一生成质量关键维度，而非只看准确率。7B 因此采用两阶段微调：STAGE1 用全量数据 → STAGE2 剔除数学/代码、只用对话数据；67B 因一阶段后重复率已 <1% 而只做一阶段（C13，00 §4.4 p86）。

DPO 阶段用 helpful/harmless 双线构造偏好数据，候选回复由自家 Chat 模型生成，1 epoch、lr 5e-6、batch 512、warmup+cosine。结论是：DPO 主要提升开放式生成，标准基准几乎不变（00 §4.4 p86，A.5 p32），这提示了 DPO 与 SFT 作用面的本质差异。

3.6 评测协议：三类口径与"防混淆"设计（§5.1 p13-14）

为覆盖不同能力维度，论文采用三类评测协议（00 §4.5 p90-94）：

1. Perplexity 法（选择题）：ARC/OpenBookQA 用无条件归一化，其余长度归一化——避免句子长度对困惑度的干扰。
2. 生成式评测（贪心解码）：TriviaQA/NQ/DROP/MATH/GSM8K/HumanEval/MBPP/BBH/AGIEval 等，Pile-test 报 bits-per-byte。
3. LM-based 评测（开放域）：中文 AlignBench（8 大类 36 子类 683 题，GPT-4 判分；角色扮演/写作/开放问答温度 0.7 其余 0.1）、英文 MT-Bench、以及三组 held-out 任务：2023 年 7 月后的 LeetCode 周赛（Weekly 351-372 + BiWeekly 108-117，共 126 题）、匈牙利高中数学考试（33 题人工评分）、Google IFEval（25 类可验证指令约 500 prompt，loose 口径）。

安全评测尤为用心：20 人专家团队建立五类分类体系（歧视偏见/侵权/商业秘密与知产/违法违规/其他），并刻意采用诱导、角色扮演、多轮、预设立场等多样化提问方式以防范经典"grandmother 漏洞"（绕不过去就当没问过），共 2400 题，safe + 拒绝均计为安全（00 §4.5 p94）。

四、证据链：从主张到数字的完整映射

本节将 00 §3 的 13 条核心主张与对应证据一一对应，供读者按图索骥。

4.1 主张-证据对照表

4.2 证据链的可信度评估（关键批判点）

• 强证据：C1/C2/C3/C4/C5/C6 依赖可控实验与量化公式，可复现性最高；C7 依赖多任务一致的主表，可信度高。
• 中等证据，需注意口径：C8/C9/C10 涉及 LM-based 评测（GPT-4 判分）、held-out 新题（避免泄漏，但样本量有限）与自建安全集（标准化尚未统一）。特别是 00 §6 p117 提示：AlignBench/Do-Not-Answer 中带 * 的分数为官方仓库自测，其余转引自原论文——这意味着部分对比数字并非独立第三方复现，在援引时需标注置信度。
• 反例证据（C11）是本文最有说服力的一环：它没有用"我更强"来证明自己，而是用"我主动剔除了一种能刷高分的捷径"来展示研究诚信，这比单纯堆分数更有分量。

五、批判性分析：这个"长期主义"模型，有多少长期主义是真的？

5.1 方法论层面的优点

1. 统一框架化解历史分歧（C4）。这篇论文最重要的理论价值，是让 Chinchilla 与 OpenAI 两个"打架"的结论握手言和。它不选择站队，而是指出分歧的变量——数据质量。这种"用更高维度的解释化解低维度矛盾"的思路，是优秀研究的标准范式。
2. 把"尺度"度量做实（C2）。用非嵌入 FLOPs/token 替代参数量，虽增加复杂度，却提升了科学严谨性。它点破了一个行业中长期默默回避的问题：参数量的字节数不是真正的算力成本。对想要精确控制成本的大厂与创业者，这一指标更具现实意义。
3. 研究-工程闭环。论文没有止步于发布模型，而是完整呈现了从超参拟合、配比消融、到外推验证的科学链条，形成可复用的方法论。这让它区别于一般"报告式"的模型发布论文。
4. 主动自我质疑（C11、C13）。作者明确记录并随后舍弃了"多选题刷榜"这一捷径，并坦承数学数据对生成重复率的副作用及两阶段微调的必要性。这种对自身方法的批判性保留，在模型论文中相当稀缺。

5.2 方法论的局限与待商榷之处

1. Scaling laws 未纳入 C 之外的变量（作者自认，00 §6 p116）。§3.1 的超参缩放律只考虑了算力预算 C 对最优超参的影响，未建模"模型/数据配比对最优参数区"的扰动——即回到 C4 的可变系数上，超参的缩放律在数据质量变化时是否仍然稳健，论文未给出完全闭合的答案。作者也承认"不同数据集上最优超参空间略有漂移"。
2. "长期主义"的表述与实证的张力。标题里的"Longtermism"更像一种鼓舞性声明，而非可检验的假说（推断）。论文确实体现了可持续（multi-step 复用、生产级基建），但"长期主义"作为一个术语，在正文中更多被用作叙事框架而非可量化的研究主张。若能以"跨代际复用率""超参复用成本"等指标显式度量，将更有说服力。
3. 数据管线细节不够透明。三阶段去重/过滤/重混虽有数字（如 C6 的去重率），但过滤的语言学与语义"双视角"具体如何实现、重混的上采样比例、以及最终语料的领域/语言构成比例，并未充分展开——而这恰是决定"双语性能"与"代码/数学优势"来源的关键（推断）。在"数据决定上限"的共识下，数据配料的透明性不足是一个明显的短板。
4. 评测口径的横比风险（00 §6 p117）。Chat 模型在 MMLU/GSM8K/MATH/C-Eval/CMMLU 上用 0-shot，而 base 模型用 few-shot，两表数字不可直接横比。论文虽在附录中说明，但读者若不加分辨直接对比，极易误判 SFT 的增益。且 held-out 的 LeetCode（126 题）与匈牙利考试（33 题）样本偏小，统计显著性有限。LM-based 判分（GPT-4 自评自家，尽管是第三方模型）也存在自强化偏差风险。
5. 67B 训练的完整成本与原始文本未披露。论文未给出完整的训练算力（FLOPs）与耗电、软硬件成本等现实约束，也未开源原始数据（虽开放模型权重），这削弱了其作为"可被他人复现与审计"的长期主义基准的价值。

5.3 与同类工作的横向张力（推断）

• vs Chinchilla：本文在配比上"略微偏模型侧"，根源是数据质量更高、去重更彻底（C6）。这实际上修正了 Chinchilla"过度倾向数据"的结论，指出其可用性的前提是数据质量。
• vs LLaMA：本文超越的不仅是性能，更是方法论的透明度——LLaMA 没有给出 scaling 推导，本文补上了这一课。
• vs Qwen-72B / ChatGLM3：held-out 结果（C9）显示，常规基准相近的小模型在新题上大幅落后（ChatGLM3 MBPP 52.4 接近 67B 但 LeetCode 仅 2.4），这揭示了"基准分数"与"真实泛化能力"之间的巨大落差，对"刷分式"评估构成警醒。

六、启示与影响：这篇论文留下了什么，又预示了什么？

6.1 学术启示：Scaling Laws 从"论文"走向"工程工具"

本文最大的传承，是把 scaling laws 从一种让研究者着迷的"现象学规律"，锻造成可用来预测、规划、省钱的工程工具。它给出三个可直接落地的"核算公式"：

1. 超参核算：给定算力预算，可预测最优 lr 与 batch size（C1）。
2. 规模核算：用 M（非嵌入 FLOPs/token）而非 N 来精确估计模型成本（C2）。
3. 配比核算：依据自身数据质量，决定把增量算力投给模型还是数据（C3/C4）。

对一个想"练出大模型"的团队，这三条公式让"我要不要扩大模型、要扩多大、加多少数据"从玄学变为可计算。这对资源有限的团队尤其珍贵——小规模试错 + 外推（C5）能显著降低盲目烧钱的试错成本。

6.2 工程启示：数据质量的回报率被显著低估（C6 + C4）

"数据质量决定配比"（C4）叠加"跨 dump 全局去重能去出 89.8%"（C6），共同指向一个行业范式转变：在数据红利见顶的当下，从"堆数据量"转向"炼数据质量"是性价比更高的路径。这一洞察在后来的 LLM 发展中持续被验证——高质量、去重彻底、信息密度高的语料，成为决定模型上限的关键变量（推断，符合后续领域共识）。

6.3 研究品格启示：拒绝刷榜的"反 benchmark"立场（C11）

C11 是全文最能体现"长期主义"精神的一条主张。它揭示了多选题数据对选择题类基准（C-Eval 47.0→71.3、MMLU 49.4→60.9）和生成式评测（TriviaQA 不变、ChineseQA 略降）的不对称影响——前者暴涨、后者无效。作者的判断是"benchmark 过拟合"而毅然剔除，哪怕明知会牺牲漂亮的分数。这一立场的深远影响在于：它定义了什么是"真诚的模型能力"，而非"刷出来的数字"。在模型评测日益"内卷化"、厂商争相刷榜的时代，这种自我克制的态度具有示范意义。

6.4 对齐与调优启示：规模决定策略（C12/C13）

• System prompt 的规模敏感性（C12）：67B 用 system prompt 增益 +0.23，7B 反而 -0.04。这说明"系统提示词表达复杂意图"是高阶能力，小模型无法充分理解，强行加反而干扰。对产品方，这一发现提示应依模型规模差异化设计提示策略。
• 数学数据与重复率的两难（C13）：数学 SFT 数据占比升高会推高重复率（2.0%→1.4% 经两阶段改善），作者以两阶段微调或 DPO 缓解。这为"强数学能力"与"稳定生成"之间的权衡提供了可操作的工程解法。

6.5 深远影响与后续走向（推断）

这篇论文与其后续的 DeepSeek 系列（DeepSeek-Coder、DeepSeek-V2/V3 的 MoE 化扩张）之间，存在一条明显的"长期主义"传承线：训练系统的一次性投资被反复复用（HAI-LLM 后续演化为 DSA 等），跨 dump 去重方法与数据质量信念持续贯穿，"深度加深 + GQA + 大 batch/多步 lr"的路径选择也一脉相承。DeepSeek 能以相对有限的资源在后续大模型竞争中持续保持领先，其方法论根基很大程度上可追溯到本文——它不是靠一次豪赌，而是靠一套可预测、可复用、敢于自我否定的长期主义方法论。

6.6 留给后来者的问题

• 超参缩放律能否纳入数据质量变量？作者已承认当前的局限（§3.1），能否扩展为"三维缩放律"（算力 × 数据质量 × 架构）是后续机会。
• "长期主义"能否被量化？如以"跨任务复用率""超参复用成本""持续训练效率"等指标显式度量，将更可检验、更可传承。
• 数据治理的透明度：过滤/重混细节与语料构成若能公开，本文将从一个"好模型报告"升级为"社区可复用的数据工程基准"。
• 评测的标准化：base 用 few-shot、Chat 用 0-shot 的口径差异，以及 LM-based 自评偏倚，值得后续研究建立统一、防泄漏、抗自我偏见的评测协议——这也是"长期主义"对评估体系本身的呼唤。

结语

《DeepSeek LLM》的价值，不在于它训练出一个"超越 LLaMA2 70B"的 67B 模型——那只是一个可复现的结果；而在于它完整演示了如何用科学方法规模化训练一个开源模型：从超参的幂律预测，到以 M 替代 N 的尺度纠偏，再到用"数据质量决定配比"化解 Chinchilla 与 OpenAI 的历史分歧，直至在多选题刷榜的诱惑前的自我克制。它教会开源社区"如何反复利用自己的研究投入"而非"每次从头豪赌"——这正是标题中 Longtermism 的真实分量。当许多模型论文在追求"更高的榜分数"时，这篇论文追求的，是更强的可预测性、可复用性与可审慎性。对一心做大模型的团队而言，这套"小实验 → 外推 → 校准投产"的方法论，远比任何一组漂亮的 benchmark 数字更值得借鉴。

*本文基于同目录 00-源数据提取.md 的数字信息撰写。标「（推断）」处为作者基于源数据与领域通识的分析外推，非原文直接数字。benchmark 数值均已核对源数据 §3/§5 对照表。*