《GLM-4.5：Agentic、Reasoning 与 Coding 一体化基础模型》深度解读报告

摘要

GLM-4.5 是一份以「ARC」为旗帜的开源基础模型技术报告——所谓 ARC，即 Agentic（智能体）、Reasoning（推理）、Coding（编码）三种能力首次统一进同一个开源 MoE 模型，并通过 hybrid reasoning（thinking 与非 thinking 双模式）在单模型内同时服务两类使用场景。其体量策略极具辨识度：总参数 355B、每 token 仅激活 32B——对照 DeepSeek-V3 的 671B/37B 与 Kimi K2 的 1043B/32B，以约一半于 DeepSeek-V3 的总参数量换取全面领先的成绩单。

预训练消耗 23T token，经 mid-training 三阶段将上下文从 4096 推到 131072。后训练采用「先专家、后统一」两阶段范式：三个专家模型分别强化后经 self-distillation 融合为单一 hybrid reasoning 模型。最终成绩：12 项 ARC 基准综合排名第 3，agentic 排名第 2（仅次于 o3）；SWE-bench Verified 64.2%、Terminal-Bench 37.5%（超 Claude Sonnet 4 的 35.2%）、AIME24 91.0%、TAU-Bench 70.1%；CC-Bench 工具调用成功率 90.6% 为对比模型中最高。

本文真正的看点不在单项 SOTA，而在三条工程路线的系统性收敛：架构上「加深不加宽」、训练上「mid-training 补能力断点」、后训练上「专家迭代再自蒸馏融合」——共同回答了如何在开源、中等激活量的约束下，把三种相互冲突的能力装进同一个模型而不互相拖累。

一、问题定位：三能力割裂时代的收束尝试

1.1 论文要解决的问题

2025 年年中，开源阵营呈明显的「专才分化」格局：推理强的模型未必擅长工具调用，coding agent 强的模型往往牺牲通用对话质量。每个头部团队都维护多条模型线，用户需要在 thinking 模型的深度与非 thinking 模型的即时响应之间做选择题。GLM-4.5 的核心命题可概括为一句话：能不能用单一开源模型，同时在 agentic、reasoning、coding 三个维度进入第一梯队，且不放弃通用能力？

该命题隐含三个子问题：

• 容量约束：激活参数须控制在可部署范围（32B），如何避免小激活的能力上限损失？
• 模式冲突：thinking 的长思维链与非 thinking 的即时响应，训练目标互相干扰，如何共存？
• 评测可信度：自动基准存在过拟合风险，如何建立更贴近真实使用的验证体系？

1.2 在同期竞争谱系中的坐标

同样激活约 32B，GLM-4.5 把总参数压到 DeepSeek-V3 的一半、Kimi K2 的三分之一，却把层数堆到 89 层（对照组均约 60 层）。这是全文最重要的架构决策信号：在激活量固定的前提下，把预算花在「深度」而非「宽度」上——论文明确记载其发现是「更深模型推理能力更强」。General 表中 SimpleQA 26.4 也被作者用作佐证：355B 总参数约为 DeepSeek V3/R1 671B 的一半，参数效率是其自觉追求而非偶然结果。（推断）这一选择也与 MoE 负载特性有关：更多层意味着更多次专家路由机会，稀疏激活收益随深度累积，而宽度扩张直接推高每层访存成本。

二、概念内核：支撑全篇的五个核心概念

2.1 Hybrid Reasoning（混合推理）

单一模型内同时支持 thinking 与非 thinking 双模式。实现路径是后训练阶段的 self-distillation 统一训练：SFT 数据刻意平衡「含完整推理过程」与「无显式思维过程」两类样本，使模型学会按需切换。这解决的正是模式冲突子问题——不是训练两个模型，而是让一个模型内化两种行为策略。

2.2 Mid-Training（中间训练）

介于预训练与后训练之间的三阶段过渡带：

1. Repo-level Code Training（序列 4K→32K）：注入跨文件依赖、GitHub PR/issues/commits 连接与 diff 格式；
2. Synthetic Reasoning Data：math/science/code 竞赛合成推理数据；
3. Long-context & Agent Training（序列 32K→128K）：上采样长文档并混入大规模合成 agent 轨迹。

值得注意的细节是 packing 策略的分野：预训练不用 best-fit packing（随机截断反而充当数据增强），mid-training 改用 best-fit packing 以避免截断推理链或仓库级代码——同一技术在两个阶段承担相反的角色边界。（推断）这说明「何时该完整、何时可截断」本身是能力相关的：推理与代码语义对截断敏感，而通用网页语料对此不敏感。

2.3 Muon 优化器的大规模落地

除 word embedding、bias、RMSNorm 权重外全面使用 Muon：Newton-Schulz 迭代 N=5、momentum 0.95、更新 RMS 0.2。学习率采用 cosine decay（warmup 后 2.5e-4 → 2.5e-5），论文特别说明弃用 WSD 调度是因为其在 SimpleQA/MMLU 上表现差。Batch size 在前 500B token 内从 16M warmup 到 64M。其他超参：路由 bias 更新率前 15T token 为 0.001 之后归零、辅助序列级 balance loss 权重 0.0001、MTP loss 权重 λ=0.3（后期降为 0.1）。这是 Muon 类优化器在 23T token 量级上的公开实践样本之一，超参记录对复现者是高价值信息。

2.4 专家迭代（Expert Model Iteration）

后训练的组织哲学：Stage 1 训练 Reasoning / Agent / General chat 三个专家模型，各自在专属数据与 RL 目标上做到极致；Stage 2 通过 self-distillation 将专家能力融合回单一模型。（推断）选择蒸馏融合而非直接多任务混合训练，大概率是为了规避三类目标的梯度冲突——agent 轨迹的长程信用分配、数学推理的精确符号推导、通用对话的偏好对齐，三者对 reward 信号的要求几乎不兼容。

2.5 Slime RL 基础设施

自研框架（github.com/THUDM/slime），三大模块解耦：Training（Megatron）、Rollout（SGLang + Router）、DataBuffer。针对不同任务形态采用两种异步拓扑：agent 任务用 disaggregated asynchronous（rollout 引擎直连 agent 环境、GPU 独立调度），reasoning 任务用 async colocated。精度策略为训练 BF16、推理 FP8（每轮在线 block-wise 量化）；agent 任务配套 Docker 高并发 runtime 与集中 message-list 格式 data pool。（推断）这套基础设施本身就是 agentic RL 可行性的前提——环境交互的长尾延迟若与训练耦合，吞吐会崩塌。

三、方法拆解：从架构到评测的完整管线还原

3.1 架构侧：「加深减宽」与注意力头的反直觉加法

• GQA + partial RoPE + QK-Norm：分组查询注意力（96 头对应 8 个 KV 头）配合部分旋转位置编码；QK-Norm 用于稳定 attention logits 幅度。
• 注意力头数的反直觉增加：5120 hidden 对应 96 头，作者明确记载「增加头数不降低训练损失，却持续提升 MMLU、BBH 等推理 benchmark」——训练损失下降与下游推理能力增长可以脱钩。（推断）机理可能与头数带来的注意力模式多样性有关：更多头允许更多细粒度信息检索通路，这类能力在 loss 曲线上不可见但在多步推理中兑现。
• MoE 路由：loss-free balancer routing 配合 sigmoid gates。
• MTP 层：两个模型各加一层 Multi-Token Prediction 用于推理时 speculative decoding 加速；DeepSeek-V3 与 Kimi K2 均无此层。

3.2 数据侧：预训练语料的精细化治理

来源覆盖网页、社交媒体、书籍、论文、代码仓库，以中英文网页为主。四条治理线索：

1. 质量分桶：受 Nemotron-CC 启发按质量分桶，最高质量桶贡献超过 3.2 epochs，最低质量桶直接丢弃——承认高质量数据值得重复消费。
2. SemDedup 语义去重：专门处理模板生成的相似网页——这类内容 MinHash 无法去除，需嵌入空间语义聚类。
3. 代码管线：GitHub 代码经规则过滤 + 语言质量模型分三档，上采样高档、排除低档；全部代码用 Fill-In-the-Middle 目标训练；代码相关网页用两阶段检索补充；细粒度 parser 保留原始格式。
4. 两阶段课程：第一阶段通用文档，第二阶段上采样源代码与 coding/math/science 网页——知识密度在训练末期加权。

多语言数据来自自爬网页 + Fineweb-2，用 educational utility 质量分类器上采样；Math & Science 用 LLM 打分并训练小分类器预测分数，高以上题目上采样。

3.3 SFT 侧：模板创新与数据杠杆

SFT 分 Cold-start（少量扩展 CoT 数据）与 Overall 两步，后者涵盖 reasoning / general chat / agentic / long-context 数百万样本，最大上下文 128K，数据从不同专家蒸馏并刻意平衡两类样本以支持 hybrid reasoning。两个细节值得一提：

• 函数调用模板改用 XML-like special token 包裹 key/value，大幅减少 code 段转义负担且不损害函数调用性能；
• Response-level scaling 的量化结论：去掉 response 长度底部 50% 的 prompt，仅用一半数据就带来 math/science 2%~4% 提升；对困难 prompt 每 prompt 生成 4 个 response 再提升 1%~2%。

Rejection Sampling 采用多阶段过滤：去重复/过短/截断/格式错误 → 客观答案正确性校验 → reward model 过滤主观题 → 工具调用协议与终态校验。agentic SFT 数据由四步自动化管线构建：框架/工具收集 → 任务合成 → 轨迹生成 → 质量过滤。

3.4 Reasoning RL：四个先行小模型验证的技巧

基于 GRPO（去掉 KL loss），四个技巧均在小型实验模型上验证后再放大：

• 两阶段难度课程学习：第一阶段避免早期全 0 奖励（题太难无梯度）与后期全 1 奖励（题太易无信息）；第二阶段只从有验证答案的池取题，持续突破性能天花板。
• 单阶段 64K 优于多阶段递增长度：论文明确记载多阶段方案让模型「遗忘」长上下文能力且不可逆，表现为平均输出长度下降。这是对「渐进式加长」直觉做法的直接否定，属本报告最有迁移价值的负面结论之一。
• 动态采样温度：奖励稳定视为收敛信号即抬高温度增强探索；用 held-out 验证集定温，阈值是不超过最优解性能下降 1% 的最大温度。
• 领域特化 loss 设计：Code RL 用 token-weighted mean loss 替代 sequence-mean（加速收敛、缓解长度偏差、抑制过简重复「base case」的投机答案）；Science RL 用 expert-verified 多选题，显著优于混合质量数据（GPQA-Diamond 实证）。

3.5 Agentic RL：稠密奖励与自蒸馏循环

聚焦 web-search 与 code-generation agents（动作/答案可自动校验从而获得稠密奖励）。方法要点：

• Group-wise policy optimization：采样 K 条 agent trace 组内优化，且只优化模型生成的 token、环境反馈不计入 loss；
• 监督信号 = Outcome Supervision（web-search 看最终答案准确率，coding 看 SWE 可验证测试）+ Process Action Format Penalty（格式错误即终止进程、奖励归 0）；
• Iterative Self-distillation：RL 冷启动 → 用 RL 模型输出替换冷启动数据 → 继续 RL 并加大难度；
• 测试时扩展维度别具一格：agent 任务通过 interaction turns（交互轮数）而非输出 token 扩展，BrowseComp 上精度随交互轮平滑增长。

3.6 General RL：多源反馈的分治设计

• Holistic RL：约 5000 prompts 按 7 primary / 33 secondary / 139 tertiary 分类；
• Instruction Following RL：7 major / 151 minor 约束类型，确定性校验 + reward model + critique model 三层机制减轻 reward hacking；
• Function Calling RL：step-wise 层严格规则奖励（格式正确且名字/参数/字段与 ground truth 完全匹配才得 1 分否则 0）；end-to-end 多轮用 MCP server 与 Agentgym 环境，按 TaskCompleted 由环境规则或 LLM Judge 判定；
• Pathology RL：针对语言混用、重复、格式错误等占比不足 1% 的病理输出，挑高触发 prompt 定向训练提效。

四、证据链：成绩单逐项核对与评测协议审查

4.1 三大 ARC 维度的主表数字

Agentic（平均 58.1，第 2 名）：TAU-bench 综合 70.1%（Retail 79.7 / Airline 60.4，与 Claude Sonnet 4 相当，评测用优化 user simulator）；BFCL v3 77.8%（基线上最优，Air 为 76.4%）；BrowseComp 26.4%（Air 21.3%；Claude Opus 4 为 18.8%，o4-mini-high 为 28.3%）。

Reasoning（AA-Index 67.7，第 3 名）：AIME24 91.0%（Avg@32）超 o3 的 89.4%（Gemini 2.5 Pro 为 94.3%）；GPQA 79.1%（Avg@8）；MATH-500 98.2%（Air 98.1%）；SciCode 41.7% 超 o3 的 41.0%；LiveCodeBench（2407–2501 窗口）72.9%；HLE 14.4% 明显低于 Gemini 2.5 Pro 的 21.1%。均值层面超 Claude Opus 4。

Coding（平均 50.9，第 3 名）：SWE-bench Verified 64.2%（Air 57.6%）超 GPT-4.1 的 48.6% 与 Gemini 2.5 Pro；Terminal-Bench 37.5%（Air 30.0%）超 Claude Sonnet 4 的 35.2%。协议明载细节：OpenHands v0.34.0 框架、≤100 迭代、128K 截断、temp 0.6 / top_p 1.0；Terminal-Bench 用 Terminus 框架标准函数调用。

General：MMLU 90.0、IFEval 86.1（超 DeepSeek R1）、SysBench 81.0（超 GPT-4.1 / DeepSeek V3 / Kimi K2）、SimpleQA 26.4、MultiChallenge 52.8。

4.2 Base 模型的自证

GLM-4.5-Base 全线稳定：英文 SimpleQA 30.0 / BBH 86.2 / MMLU 86.1 / HellaSwag 87.1 / PIQA 85.3 / TriviaQA 80.0；Code EvalPlus 78.1 / LiveCodeBench-Base 28.1；Math GSM8K 79.4 / MATH 61.0；中文 CLUEWSC 83.5 / C-Eval 86.9 / C3 83.1 / Chinese-SimpleQA 70.1。作者以此证明统一能力并非后训练强行缝合而是基座就绪。（推断）Base 阶段中文成绩与英文基本同档，暗示中英双语语料配比相对均衡。

4.3 真实使用侧的三层验证

这是本报告区别于多数技术报告之处——作者专门建立了 hands-on experience 评测层：

1. 人类盲评：660 prompts（392 英文 / 108 中文 / 160 其他语言），0–10 手动打分。英文 overall 8.66 超 DeepSeek-R1-0528 的 8.62 与 Kimi-K2 的 8.13；中文 8.37；其他语言 8.49。
2. CC-Bench 编码代理实测：52 个编程任务、Claude Code 环境对战。vs Claude Sonnet 4 胜/平/负 = 40.4/9.6/50.0（整体仍处下风）；vs Kimi-K2 = 53.9/17.3/28.8；vs Qwen3-Coder = 80.8/7.7/11.5。工具调用成功率 90.6% 为全场最高（Claude Sonnet 4 89.5%、Kimi-K2 86.2%、Qwen3-Coder 77.1%）。（推断）工具调用成功率高但对战胜率不及 Claude Sonnet 4，说明瓶颈已从「会不会调工具」转移到「调完之后的规划与修复能力」。
3. 新逻辑推理题：Gemini 2.5 Pro 65.8 > DeepSeek-R1-0528 62.1 ≈ GLM-4.5 62.0 > GLM-4.5-Air 53.4 > Kimi-K2 51.9——用非公开题目规避污染。

另有一组翻译盲测（0–3 分、100 例）：GLM-4.5 得 1.71，远超专用翻译模型 Qwen-MT-plus 0.38、Qwen-MT-turbo 0.55 与 Seed-X 0.65。案例显示优势在网络流行语与文化语境：「yyds」译为「永远的神」、「胖」（指镜头）识别为 Canon 70-300、「鱼」emoji 映射闲鱼、「三花公主」理解三花猫。（推断）通用模型在文化语境翻译上碾压专用 MT 模型，反映的是预训练语料中真实网络文本占比的优势，而非翻译架构差异。

4.4 Safety：整体同档，一项掉队

SafetyBench 共 11,435 题、7 类，overall 89.99（正文另一处记 89.87），与 Kimi-K2 的 90.48、GPT-4.1 的 89.71 同档；PhysicalHealth 96.7、MentalHealth 94.7、Ethics&Morality 94.3、Privacy&Property 92.0、Illegal 91.0；但 Unfairness & Bias 仅 77.4，作者自己标注为后续持续改进方向。

五、批判性分析：局限的深层含义与独立疑点

5.1 作者自述局限的深层含义

论文未设独立 limitations 章节，局限散见各节，但坦承程度较高：

• 开放域深度知识仍有代差：GPQA 79.1 落后于 Gemini 2.5 Pro 的 84.4 与 Qwen3-235B 的 87.7；HLE 14.4 对 21.1 的差距更大。（推断）结合 BrowseComp 26.4 对 o3 49.7 的悬殊差距可归纳一条共性：凡依赖「极深检索 + 极长探索」的任务，GLM-4.5 与闭源头部仍有可见距离；而结构化推理（AIME24/MATH-500）已基本追平。
• 对 Claude Sonnet 4 的 coding 差距是诚实的：CC-Bench 对战 50.0% 负局，作者没有回避。Terminal-Bench 领先 2.3 个百分点与对战胜率落后 9.6 个百分点并存——短程终端任务可胜，真实软件工程全程对抗仍处下风。
• Unfairness & Bias 77.4 是七类安全中唯一明显掉队的一项。

5.2 独立观察到的疑点

以下均为超出源数据直接记载的分析性判断，皆属（推断）：

1. 多采样均值的使用范围值得注意。AIME24 用 Avg@32、GPQA 用 Avg@8 缓解方差，通行做法，但不能与单次 pass@1 直接混比。作者已披露，属透明操作，但传播链条中容易丢失该语境。
2. 动态 benchmark 时效窗口有限。LiveCodeBench 仅覆盖 2024/07/01–2025/01/01 题目；HLE 只测 text-based 题且用 GPT-4o 判分。发布日期 2025-08-08 距评测窗口末端已有半年以上，（推断）窗口内题目进入训练语料的概率不可忽略。
3. 手动评测统计功效偏弱。660 prompts、52 编程任务、100 例翻译、逻辑题数量有限——方向性参考价值高，不足以支撑细粒度排名结论，作者自己也承认统计显著性有限。「自动基准防过拟合 → 手动评测补位 → 样本又不足」的两难是当前所有前沿模型评测的共同困境，GLM-4.5 只是暴露得更诚实。
4. 「加深减宽」普适性未经消融闭环。论文给出 89 层对 60 层的选择与「更深推理更强」论断，但源数据显示缺少系统的深度/宽度等激活量对照实验记录。（推断）该结论可能依赖特定数据配比与优化器组合，直接外推需谨慎。
5. 专家迭代与统一训练的成本账未公开。三个专家模型 + 一轮 self-distillation 融合，等效计算开销显著高于单模型直接后训练，报告中未见成本披露——这对复现者的算力规划是实质信息缺口。

六、启示与影响：可迁移的经验与后续走向

6.1 六条可迁移启示

1. 固定激活预算下，「深度换宽度」是推理能力的有效杠杆——但需配合 QK-Norm（稳定深层 attention logits）与头数增加（96 头）来兑现深度红利，单独堆深可能不稳。
2. Mid-training 是能力断点的修补带：仓库级代码、合成推理、128K 长上下文都在此阶段注入，且 packing 策略需随阶段切换（随机截断当增强 vs best-fit 防截断）。
3. RL 长度课程要一步到位：「单阶段 64K 优于多阶段递增」且遗忘不可逆——凡涉及上下文长度的 RL，宁可早期承受低吞吐也要一次到位。
4. Agent 的测试时扩展维度是交互轮数而非 token 数：BrowseComp 精度随 interaction turns 平滑上升，为 agent 产品化提供了独立于「更长思考」的第二条 scaling 通道。
5. 数据过滤的边际收益极高：去掉长度底部 50% 的 prompt 即换来一半数据量下 2%~4% 的 math/science 提升——「少而准」胜过「多而杂」的直接量化证据。
6. 评测体系要三层互补：自动基准（防过拟合靠新题）+ 真实环境对战（CC-Bench 式）+ 人类盲评，任何单层都会系统性误导。

6.2 对开源生态的影响

GLM-4.5 以 355B/32B 规格进入开源第一梯队，其权重、Slime RL 框架与详尽超参披露（Muon 配置、路由 bias 调度、MTP loss 权重曲线）共同构成一套可参照的工程蓝本。（推断）对后续开源模型的直接影响包括：Muon 类优化器在大规模训练中的可信度提升、XML-like 函数调用模板可能成为 tool-calling 格式的参照、以及「专家迭代 + 自蒸馏统一」作为多目标后训练的标准范式被反复检验。

6.3 未竟的方向

综合第五节的局限，GLM-4.5 留下的待解题清晰可见：Unfairness & Bias 的定向治理、BrowseComp 类长程 Web 任务的追赶（26.4 对 o3 的 49.7）、真实软件工程全程能力对 Claude Sonnet 4 的反超、以及动态基准时效窗口的持续刷新。这些恰好也是整个开源阵营 2025 下半年的公共议程——GLM-4.5 的价值在于把「开源模型能否三线作战」的回答从「能」推进到了「接近最前列」，而最后一段距离的攻坚方式，这份报告给出的答案是：更深的架构、更准的数据、更真实的评测。