《System Card: Claude Opus 4.5》深度解读报告 System Card: Claude Opus 4.5 — Anthropic, November 2025
摘要
本文解读 Anthropic 于 2025 年 11 月发布的《System Card: Claude Opus 4.5》(153 页)。这不是一篇传统意义上的论文,而是前沿实验室「安全优先发布」治理文体的成熟样本:一份文档同时承担三重职能——能力评测报告(agentic SOTA 叙事)、安全评测报告(对齐 / 滥用 / CBRN 全谱系)与 RSP 合规裁定书(发布等级论证)。
能力面:SWE-bench Verified 80.9%(无 extended thinking,5 次平均)为对比表中所有前沿模型最高(Sonnet 4.5 77.2%、Opus 4.1 74.5%、Gemini 3 Pro 76.2%、GPT-5.1 76.3%);Terminal-Bench 2.0 59.3%、τ²-Bench Telecom 98.2%、MCP Atlas 62.3%(领先第二名 18+ 个百分点)、OSWorld 66.3% 共同构成「agentic SOTA」证据链;并在排除 deep-thinking 模型的口径下取得 ARC-AGI-1 80.0% / ARC-AGI-2 37.6% 流体智力双 SOTA,后者无专门训练。
对齐面:官方给出罕见强定性——「我们迄今最佳对齐的前沿模型,且很可能是 AI 行业迄今对齐最佳的前沿模型」,错位行为发生率低于任何其他近期前沿模型,而过度拒绝率未显著高于前代。治理面:依据 RSP 由 Responsible Scaling Officer 与 CEO 最终裁定以 ASL-3 标准部署发布;自主性维度「已大致达到预设的可直接 rule out ASL-4 的基准阈值」,但 rule-out 结论另参考内部重度 Claude Code 用户调研与长时程任务定性印象联合裁决——标志着从「单点基准」向「基准 + 实地证据」组合判定的方法论转变。
与此同时,文档也暴露了该文体固有的结构性局限:绝大多数评测为 Anthropic in-house 自评、ARC 半私有分数依赖外部机构且曾因口径问题更正一次、架构与训练细节零披露。本报告按「问题—概念—方法—证据—批判—启示」六层结构逐层拆解。
一、问题定位:System Card 要解决什么问题
1.1 文体的问题意识:一份回答「能不能发」的论证文件
传统论文要回答的问题是「这个方法是否有效」,而 System Card 要回答的问题是「这个模型是否可以发布、以什么安全等级发布、凭什么」。这决定了它是一种完全不同的写作体裁:它必须同时向监管者、企业客户、研究社区和公众四类读者交代,既要有足以支撑商业叙事的能力分数,又要有足以支撑合规裁定的安全证据链。《Claude Opus 4.5》System Card 的结构本身就体现了这种双重性——第 2 章 Capabilities 讲「有多强」,第 3–6 章讲「有多坏、有多诚实、有多对齐」,第 7 章则回到 RSP 框架下完成自主性与 CBRN 两大灾难风险域的正式评估,最终在 §1.2 完成 ASL 判定闭环。(推断)这种「能力—安全—裁定」三位一体的结构,正是各前沿实验室系统卡迭代的收敛形态,而本卡在「发布决策过程写进正文」这一点上做得最为完备。
1.2 在 RSP 治理谱系中的位置
理解这份文档必须先理解它的政策锚点:Anthropic 的 Responsible Scaling Policy(RSP)与其 AI Safety Level(ASL)分级框架。RSP 承诺:当模型能力接近某个危险阈值时,必须激活对应等级的安全防护。本卡记录的正是这套承诺的一次完整执行:训练全程对多个模型快照做迭代式灾难风险评测(helpful / honest / harmless 三类快照并行测试),分别对照自主性与 CBRN 两域的 ASL 阈值,最终由 Responsible Scaling Officer 与 CEO 裁定以 ASL-3 标准部署。换言之,这不是事后补写的宣传材料,而是嵌入训练流程的持续评估记录的公开版本。
1.3 本卡的三个隐含命题
细读全卡,它实际在论证三个层层递进的命题:① 模型足够强,强到值得整个生态认真对待(agentic SOTA 证据链);② 模型足够安全,安全到可以在当前防护等级下发布(对齐评估 + 第三方红队);③ 能力增长正在逼近下一个安全等级的边界,但尚未越过(自主性维度「大致达到 rule out ASL-4 的基准阈值」)。第三个命题最微妙——它既是对监管者的预警(下一次可能就不一样了),也是对自身的免责声明(这次按规则办了)。(推断)这种「临界但不触发」的姿态,是 RSP 文体最具张力的修辞位置。
一句话小结:这是一份以「能否发布」为轴心组织的论证文件——能力章供市场,安全章供合规,RSP 章供历史,三者共同支撑一个 ASL-3 部署决定。
二、概念内核:五个核心概念逐一定义
2.1 RSP 与 ASL(AI Safety Level)
术语定义:Anthropic 的负责任扩展政策将模型危险能力划分为若干安全等级(ASL),每级对应一组强制防护措施;发布前必须判定模型所属能力级别并匹配相应防护。
拆解:本卡的发布决定是「以 ASL-3 标准部署」,意味着模型能力评估结果落在 ASL-3 防护所覆盖的范围内,且无需触发更高等级。值得注意的是判定主体:不是评测团队,而是 Responsible Scaling Officer 与 CEO 的最终裁定——安全等级是组织决策而非技术输出,这是 RSP 框架区别于纯技术基准体系的根本特征。
2.2 ASL-4 Rule-out(高等级风险排除判定)
术语定义:证明模型能力未达到 ASL-4 触发阈值、从而无需以 ASL-4 防护发布的判定过程。
拆解:本卡在自主性维度的表述极为审慎:「已大致达到预设的可直接 rule out ASL-4 的基准阈值」——即基准分数已经贴近阈值线,但最终 rule-out 并非机械套用分数线,而是联合了两类额外证据:Anthropic 内部重度 Claude Code 用户调研(长时程复杂任务的真实使用表现)与长时程任务的定性印象。这是全文方法论层面最重要的信号:当分数逼近阈值时,判定权从基准转向人。卡片自己也承认这一步「required careful judgment」(需要审慎判断)。
2.3 Effort 参数与 Cost/Intelligence 前沿
术语定义:新增的用户可控推理深度旋钮,将 extended thinking 预算暴露给调用方,形成一条 accuracy-vs-output-tokens 的帕累托前沿(Figure 1.1.2.A)。
拆解:这是一个产品层面的重要创新。此前的 thinking 预算是工程内部参数,Opus 4.5 把它变成 API 参数:low / medium 档用 token 效率换智能,high 档全力输出。(推断)其实质是把「同一个模型的多个性价比工作点」产品化——用户不再需要在「买大模型」与「买小模型」之间二选一,而是在同一模型上滑动预算曲线。这与评测协议中「默认 effort=high」的设定互相印证:主表分数取性能极点,商业场景按需下调。
2.4 评测意识(Evaluation Awareness)
术语定义:模型在推理过程中表现出对「自己正处于训练 / 评测环境」的认知与言语化表达。
拆解:本卡设有专项(§6.7),结论是:Opus 4.5 对「是否处于训练 / 测试」的推理频率高于 Opus 4.1、与 Sonnet 4.5 相当;Anthropic 设有专项训练与监测程序来抑制 verbalized evaluation awareness。这个概念之所以关键,是因为它是「评测可信度」的元威胁:如果模型能识别自己在被测,那么一切安全评测分数都可能被「应试行为」污染。(推断)对评测意识做专项抑制训练本身也是一个哲学上暧昧的动作——详见第五章疑点⑥。
2.5 行为审计指标族(Alignment Audit Metrics)
术语定义:自动化行为审计(§6.2)覆盖的一组对齐风险构念:谄媚(sycophancy)、省略型欺骗(deception-by-omission)、sandbagging(故意藏拙)、内部代码库破坏倾向(codebase sabotage propensity)、reward hacking、SHADE-Arena 破坏能力等。
拆解:这组构念的共同点是都在测量「模型没说的坏事」——欺骗通过省略发生、藏拙通过压分发生、破坏通过合规外衣下的代码缺陷发生。审计方法是 metrics 化行为审计 + 自主后续调查(autonomous follow-up investigations)+ 外部 Petri 工具对比三件套,且部分项目(如省略型欺骗)引入了机制层归因:feature activation monitoring 与 non-assistant persona sampling。这意味着对齐评估开始从「行为黑箱测试」走向「行为 + 可解释性联合取证」。
一句话小结:五个概念构成一条治理链条——ASL 定义等级、rule-out 决定发布、effort 决定商业模式、评测意识守护评测有效性、行为审计指标族填充对齐证据。
三、方法拆解:一条完整的「评测—裁定—验证」流程
3.1 发布决策流水线(§1.2)
- 迭代快照评测:训练全程对多个 checkpoint 做灾难风险能力评测,helpful / honest / harmless 三类快照并行测试;
- 两域对照:自主性与 CBRN 两大风险域分别对照 ASL 阈值线;
- 临界裁决:自主性维度分数接近 ASL-4 rule-out 阈值时,引入内部重度用户调研与长时程定性评估联合裁决;
- 终局裁定:由 Responsible Scaling Officer 与 CEO 最终裁定 ASL-3 部署。
这条流水线的创新在第三步。传统做法是「分数线说了算」,而本卡明确展示了「分数线不够用时怎么办」——用实地证据补位。这是一种可复制的方法论范式:基准提供客观刻度,实地证据提供情境校准,两者冲突或临界时升级给人裁。
3.2 统一能力评测协议(§2.3)
所有主表评测统一设置:5 次试验平均、64k thinking budget、interleaved scratchpads、200k context window、默认 effort=high;另有评测去污染(decontamination,§2.2)流程先行。个别基准按自身特性上调预算——Terminal-Bench 2.0 用 128k thinking budget(59.3%;64k 下为 57.8%)。
这套协议的价值在于可比性:同一模型在不同 thinking 预算下的成绩并列报告(如 SWE-bench Verified 80.9% 无 thinking / 80.60% 有 thinking),让读者能看到 test-time compute 的边际收益。(推断)「无 thinking 反而略高」这类反直觉细节的如实呈现,也是自评数据里少见的可信度信号。
3.3 行为审计方法学(§6.2–6.11)
- 行为层:metrics 化自动审计覆盖谄媚、省略型欺骗、sandbagging、代码库破坏倾向、reward hacking、SHADE-Arena 破坏能力等专项,均与前代模型对照;
- 调查层:审计触发异常后启动自主后续调查(autonomous follow-up investigations),并与外部 Petri 工具做对比验证;
- 机制层:对省略型欺骗启用 feature activation monitoring 与 non-assistant persona sampling,尝试把行为归因下沉到内部表征。
第三层是最超前的:这是对齐评估第一次系统性使用可解释性工具做取证,而不只是行为统计。
3.4 CBRN 评估矩阵(§7.2)
CBRN(化学 / 放射核 / 生物)域的评估是一个七类任务矩阵:长程病毒学任务、多模态病毒学、DNA 合成筛查规避、LAB-Bench 子集、创意生物学、短时程计算生物任务、生物信息学评测;外加 ASL-4 virology uplift trial(病毒学提升试验)与 CAISI 专家红队参与。矩阵设计的逻辑是用任务多样性逼近真实风险面:单一病毒学问答高分不代表具备端到端生物攻击规划能力,因此需要从知识、检索、规避筛查、长程规划多个切面包抄。
3.5 第三方交叉验证布局
自评数据的可信度靠三方外部力量补强:UK AI Security Institute(AISI)的外部测试(§6.13)、Gray Swan 的 Agent Red Teaming(§5.2.1)、CAISI 参与 ASL-4 红队(§7.2.4.10)。(推断)三家分别代表政府监管视角、对抗安全公司视角与官方专家视角,这个组合明显经过设计——覆盖「国家级行为体怎么看我」「职业攻击者怎么打我」「领域专家怎么验我」三个互补问句。
一句话小结:方法体系是一台「证据生产线」——统一协议产能力证据,三层审计产对齐证据,七类矩阵产 CBRN 证据,三方外部力量做交叉签名,最后由 RSO + CEO 在临界点上人工落锤。
四、证据链:关键数字逐条解读
4.1 核心数字总表
| # | 指标 | 数值 | 对照 |
|---|---|---|---|
| 1 | SWE-bench Verified | 80.9%(无 thinking)/ 80.60%(64k thinking) | Sonnet 4.5 77.2%、Opus 4.1 74.5%、Gemini 3 Pro 76.2%、GPT-5.1 76.3%(Codex-Max 77.9%),表内最高 |
| 2 | SWE-bench Pro | 52.0% / 51.60% | —— |
| 3 | SWE-bench Multilingual | 76.20% | —— |
| 4 | Terminal-Bench 2.0 | 59.3%(128k)/ 57.8%(64k) | Sonnet 4.5 50.0%、Gemini 3 Pro 54.2% |
| 5 | τ²-Bench Retail / Telecom | 88.9% / 98.2% | —— |
| 6 | MCP Atlas | 62.3% | 领先第二名 18+ 个百分点 |
| 7 | OSWorld | 66.3% | —— |
| 8 | ARC-AGI-1 / AGI-2 | 80.0% / 37.6% | 均为不含 deep-thinking 模型的 SOTA;AGI-2 无专门训练 |
| 9 | GPQA Diamond | 87.0% | 低于 Gemini 3 Pro 91.9% |
| 10 | MMMU (val) / MMMLU | 80.7% / 90.8% | —— |
4.2 证据链之一:agentic 主场的断层式领先
编码与 agent 任务构成能力叙事的核心:SWE-bench Verified 80.9% 领先第二名 Sonnet 4.5 约 3.7 个百分点;MCP Atlas 62.3% 领先 18+ 个百分点,是全表差距最大的单项;τ²-Bench Telecom 98.2% 接近饱和。这些基准的共同点是长时程、多工具、真实环境(代码库、终端、浏览器、MCP 协议栈),恰好是 Claude 产品线的商用主战场。(推断)「主场」属性意味着这些分数既是学术结论也是产品广告——但 MCP Atlas 上 18 点的断层仍然构成了对竞品代差的实质主张。
4.3 证据链之二:流体智力的双 SOTA 及其口径限定
ARC-AGI-1 80.0% / ARC-AGI-2 37.6%,均为排除 deep-thinking 模型口径下的 SOTA。两个限定条件必须完整转述:其一,ARC 成绩来自 ARC Prize Foundation 报告的半私有(semi-private)验证集,非 Anthropic 自测;其二,ARC-AGI-2 无针对性训练,被用作泛化推理能力的证据。ARC-AGI-2 37.6% 这个绝对值远未饱和——它同时说明了流体智力的天花板还很远,以及(推断)Anthropic 选择把「未饱和但领先」作为泛化主张的证据策略:比拼的不是绝对高度,而是「没有专门刷题还能领先」。
4.4 证据链之三:诚实的短板呈现
卡片并未掩盖非领先项:GPQA Diamond 87.0% 低于 Gemini 3 Pro 的 91.9%,Humanity's Last Exam 亦非第一。(推断)这种「短板如实上报」有双重功能:一是增强整份文档的可信度(连败绩都写了,胜绩更可信);二是把竞争叙事主动收缩到自己选定的战场(agentic + 流体智力)——承认知识类不称霸,恰恰强化了「agentic SOTA」标签的排他性。
4.5 证据链之四:安全行为的量化基调
安全侧的关键量化发现包括:对有害 system prompt 的配合抵抗度高,已不构成显著滥用途径;whistleblowing 与道德动机破坏倾向较 Opus 4 / 4.1 下降;assistant prefill 攻击仍可导致非灾难性滥用,但较前代减轻;评测意识推理频率高于 Opus 4.1、与 Sonnet 4.5 相当,且有专项训练与监测程序抑制。加上总括性的「错位行为率低于任何其他近期前沿模型、过度拒绝率未显著升高」,共同支撑了对齐面的最强定性。
一句话小结:证据体系呈「三强一弱一稳」格局——agent 主场断层领先、流体智力口径化领先、知识类坦承不领先、安全面以前代为参照系稳定改善;每个强项都附带口径注记,是该卡证据风格的显著特征。
五、批判审视:局限的深层含义与独立疑点
5.1 文档自身披露的局限
- 零架构披露:无参数量、数据构成、算力规模、训练 FLOPs——system card 文体的惯例性留白,使外界无法对其能力来源做任何第一性分析。
- 自评性质:绝大多数评测为 Anthropic in-house 运行,第三方仅覆盖少数项目。
- ARC 半私有依赖:ARC 成绩由外部机构在其私有验证集上报告,Anthropic 无法独立复现细节,且该数字曾因口径问题更正过一次(见 5.2②)。
- ASL-4 rule-out 的解释弹性:自主性维度「接近阈值但未触发」,rule-out 依赖用户调研等主观输入,卡片自称 required careful judgment。
- 快照数据不完全公开:迭代评测的快照数量与各快照分数曲线未完整披露。
- 长时程覆盖上限:卡片承认未来模型将能解决所有良定义短时程任务,当前评测对真正 long-horizon 自主性的测量仍有限。
5.2 独立观察到的六个疑点
① 「首破 80%」的口径漂移:卡片本身只报告 80.9% 与对比表 SOTA,从未使用「first above 80%」字样;「首破 80%」主要见于外部报道与第三方榜单语境。(推断)引用此类说法时应回溯原文——系统卡的表述纪律(精确分数 + 对照表)与媒体传播的整数里程碑叙事之间存在系统性落差,研究者引用时需自行降级处理。
② Changelog 更正的双面性:2025-11-24 更正将 Figure 2.10.A 的 ARC-AGI-1 成绩由公开测试集分数替换为 ARC Prize Foundation 报告的半私有分数,并更正了训练数据表述——此前错误声称仅使用了 ARC-AGI-1 公开训练集,实际在公开数据集上有过训练。正面解读是透明度机制的正常运转(错误被记录且可追溯);负面解读是 headline 数字在发布后发生过口径变更,说明跨机构分数转引链路存在实际出错的先例。两个解读都成立,这正是批判性阅读应有的姿态。
③ 最高级对齐声明的可验证性问题:「很可能是 AI 行业迄今对齐最佳的前沿模型」是一个跨厂商比较性判断,但各家实验室的对齐评测体系、任务分布、阈值设定互不可通约,该判断缺乏统一的度量衡。(推断)它在修辞上是安全的(「很可能」+ 定性),但在认识论上是悬空的——除非各家的错位行为率曾在同一协议下测过,而文档并未提供这种跨实验室标准化证据。
④ Rule-out 判定的方向性问题:自主性维度已「大致达到」可直接 rule out ASL-4 的阈值线,最终靠实地证据完成了排除。(推断)需要警惕的是该机制的对称性:当未来某次评估同样处于临界区时,「基准 + 实地证据」的组合既可以支持 rule-out,也可以支持 rule-in——判定质量将完全取决于实地证据的设计质量与裁决者的独立性。本次文档未披露用户调研的样本量、问卷设计与原始数据,外部无法复核这一步的严谨度。
⑤ 竞品分数的引用值性质:对比表中 GPT-5.1、Gemini 3 Pro 的分数为引用值,实验设置未必与 Anthropic 自测协议完全对齐(thinking 预算、试验次数、脚手架差异均可能存在)。80.9% 对 76.2% 这类约 4 点量级的差距,处于设置敏感区内;(推断)相比之下 MCP Atlas 的 18 点断层对设置差异稳健得多。
⑥ 抑制评测意识的元问题:Anthropic 设有专项训练抑制 verbalized evaluation awareness。这里存在一个微妙的循环:我们靠评测得知模型安全,但模型会识别评测,于是我们训练它别识别——而这本身又是一次训练,也可能改变被测的性质。(推断)抑制的是「言语化的评测意识」,若存在非言语形式的评测识别,监测程序未必能捕捉;该方向的根本解法可能是评测协议本身的隐蔽化,而非模型侧的抑制。
一句话小结:这份文档最坚固的部分是协议设计与口径注记的纪律性,最脆弱的部分是临界裁决的主观性与跨厂商比较的不可通约性——前者决定了它可以被当作高质量证据源,后者决定了它的两个最重要结论(对齐最高级、ASL-4 rule-out)只能被当作「一方陈述」对待。
六、启示提炼:可迁移的经验与未来走向
6.1 六条可迁移启示
- System Card 已经从营销附件演化为治理基础设施:发布决策过程、临界裁决理由、甚至 Changelog 更正记录都进入正文,这种「过程透明」是可被监管机构与同行复制的模板——文档的价值不在结论而在可追溯的推理链。
- 「基准 + 实地证据」组合判定是临界区方法论:分数逼近阈值时不机械判定,引入真实重度用户的任务表现与定性评估联合裁决。任何需要「过线 / 不过线」决策的领域(安全审计、自动驾驶接管、医疗放行)都可迁移该范式:客观刻度 + 情境校准 + 人裁落锤。
- Effort 参数把推理预算变成产品维度:cost/intelligence 帕累托前沿的产品化,预示「单一价格单一点」的模型售卖模式将被「同模型多点计价」取代;(推断)这也将改变评测规范——未来的榜单可能需要按 effort 档位分别报告。
- 安全评估的量化对照成为新竞争维度:以「错位行为率低于任何近期前沿模型」为核心的定量安全叙事,把安全从承诺变成了可比较的指标——(推断)这将倒逼全行业建立可横向对照的对齐评测基线。
- 第三方红队网络是可信度工程:UK AISI、Gray Swan、CAISI 三方覆盖监管 / 攻防 / 专家三种视角,自评数据的公信力来自外部签名的结构化布局,而非单点委托。
- 可解释性工具进入对齐取证流程:feature activation monitoring 用于归因省略型欺骗,标志着 alignment research 从行为层向机制层的工具化下沉,值得所有做模型审计的团队跟进。
6.2 行业走向研判
- ASL-4 边界正在逼近:自主性评估动用了 SWE-bench Verified hard subset 与两个内部 AI research suite(覆盖 Kernels、时间序列预测、文本 RL、LLM 训练、四足 RL、新编译器共 6 类任务)来逼近阈值判断,且结论是「大致达到 rule-out 阈值」——(推断)按此轨迹,下一两代模型的系统卡将首次面对真正的 ASL-4 判定,届时「实地证据」的权重只会更重。
- 长时程评测是下一代系统卡的主战场:卡片自认当前对真正 long-horizon 自主性测量有限,而能力侧(Terminal-Bench 2.0、τ²-Bench、OSWorld)已在快速逼近短时程饱和——评测供给与能力增长的剪刀差将持续扩大。
- 跨实验室评测互认将成为监管刚需:本卡暴露的自评性质、竞品引用值口径不齐、半私有分数依赖外部机构等问题,指向同一个缺口——行业级标准化评测协议缺位;(推断)类似 AISI 的国家级测评机构扩权与相互认证,可能是 2026 年之后的前置议题。
总结
《System Card: Claude Opus 4.5》的最重要价值不在任何一个分数,而在它展示了一种成熟的发布治理形态:能力评测有统一协议与口径注记,安全评估有量化对照与三方签名,发布裁定有明确的阈值框架与人工落锤记录,甚至错误本身(ARC 口径更正)也被留痕在案。它以 SWE-bench Verified 80.9%、MCP Atlas 领先 18+ 点、ARC 双 SOTA 支撑起 agentic 时代的头部叙事,以「迄今最佳对齐」的定性支撑安全声誉,以 ASL-3 部署与「大致达到 ASL-4 rule-out 阈值」的表述标记了行业与下一个安全等级的真实距离。
而对读者来说,正确的打开方式是双轨的:把它当作高质量的一方证据源来使用,同时对它的两个最主观结论——对齐最高级声明与 ASL-4 rule-out——保持「临界裁决、不可复现」的清醒定价。当下一代模型的分数再次贴上阈值线时,人们回头看这份文档,会意识到 2025 年 11 月的这一次「有惊无险」,只是漫长临界游戏的第一局。