← 返回深度解读总览

《Are Emergent Abilities of Large Language Models a Mirage?》深度解读报告

论文:Are Emergent Abilities of Large Language Models a Mirage?(大语言模型的"涌现能力"是海市蜃楼吗?)
作者与机构:Rylan Schaeffer、Brando Miranda、Sanmi Koyejo(Stanford University, Computer Science)
出处:arXiv 2304.15004(v2,2023-05-22),14 页(正文 p1-9 + 参考文献 + 附录 A/B),NeurIPS 2023(预印本标注 Preprint. Under review)
一句话定位:论证"涌现能力"主要是研究者所选非线性/不连续指标造成的测量假象,而非模型行为随规模的根本性相变。
数据依据说明:本报告全部数字以同目录《00-源数据提取.md》为唯一依据;其中 BIG-Bench 任务×指标×模型三元组总量按稿内注记记为 ≈10^5 量级。未在源数据中出现的数字一律不引入。

摘要

本文对 2022 年以来主导大语言模型叙事的"涌现能力"概念发起计量学层面的系统质疑。作者指出,"涌现"的两个定义属性——锐利性(Sharpness)与不可预测性(Unpredictability)——完全可能由测量方式而非模型行为产生。论文给出一条数学链条:若每 token 交叉熵损失按神经缩放律幂律下降(L_CE(N)=cN^α),则要求 L 个 token 全部正确的 Accuracy 类指标会将平滑的 per-token 误差几何级数放大为陡峭跃迁曲线。三条互补实证路径支撑该替代解释:(1)GPT-3 族(350M-175B)算术任务上固定模型输出、仅更换评分函数,Accuracy 口径下的突变在 TokenEditDistance 口径下变为平滑改进;(2)提高测试分辨率后发现小模型准确率始终高于随机;(3)BIG-Bench 元分析显示人工标注涌现案例中超过 92% 集中于 Multiple Choice Grade 与 Exact String Match 两类非线性/不连续指标,39 个首选指标中不超过 5 个出现涌现(人工标注口径 4/39);LaMDA 换用 Brier Score 后涌现消失;视觉网络上还能主动"制造"出涌现形态。作者结论审慎:已报道的涌现很可能是 mirage,但不排除真实涌现存在。


第一层 问题定位:涌现叙事的巅峰时刻与一个计量学幽灵

1.1 论文诞生的语境

2022 年是大语言模型"涌现叙事"的定型之年。Wei et al. 提出涌现能力(Emergent Abilities)概念并迅速成为领域共识性框架:某些能力在小模型上完全不存在,当参数量跨越某个临界规模后突然出现——这一图景与大模型 scaling 投入的正当性高度共振,也与"规模可能通向质变"的技术想象相互强化。Srivastava et al. 主导的 BIG-Bench 基准进一步以标准化方式记录了大量"涌现案例",使该叙事从轶事上升为可引用的数据集级证据。

Schaeffer、Miranda、Koyejo 三位 Stanford 作者正是在这一叙事如日中天的时点投出这篇论文(2023-04 首发于 arXiv 2304.15004)。其问题定位极为锋利:不去争论"大模型是否变强"——这无人否认——而是追问那个更基础的计量学问题:我们凭什么说这种变强是"突变"而不是"渐变"?答案是否藏在模型里,还是藏在我们选择的尺子里?

1.2 被质疑对象的精确刻画

论文第一节即把矛头对准涌现概念的两大定义属性:

作者的关键洞察在于:这两个属性都是关于测量曲线的陈述,而非关于模型内部计算的陈述。任何一条实验曲线都是"模型 × 数据 × 指标"三者的复合产物。Wei et al. 的定义默认了指标是无害的透明窗口,而本文的全部工作就是证明这个窗口本身就是曲面镜。

1.3 问题的重要性层级

这不是一场抠字眼的语义之争。若涌现主要是测量假象,则至少三件事需要重估:(1)"临界规模"的存在性论证失去根基,规模-能力规划失去一个核心理论支点;(2)基于"小模型测不出所以大模型可能有"的能力预测方法论失效;(3)整个 benchmark 生态中"任务-指标"绑定式的评估惯例暴露出系统性缺陷。论文 §7 讨论的四点启示正是沿这条线展开的。因此本文的问题定位属于对领域基础测量工具的审计,其地位类似于物理学史上对"N 射线"一类观测现象的方法论清算——结论不针对某个具体模型,而针对一种普遍的分析习惯。

1.4 论文在批评谱系中的位置

§6 相关工作勾勒出当时的批评光谱:Srivastava et al. 自己已在 BIG-Bench 论文中提出"涌现可能与指标有关"的猜想,但停留在猜测层面;Caballero et al. 用分段幂律解释能力曲线,认为涌现"真实存在"于幂律拐点处;Michaud et al. 则认为在强数据分布假设下涌现可能为真。本文的独特位置在于:把 Srivastava 的猜想升级为精确的可检验预测并定量执行之,同时主张比 Caballero/Michaud 更经济的解释——单一幂律损失加指标选择,就足以解释全部已有证据。换言之,它不是又一个解释竞争者,而是试图取消竞争必要性奥卡姆剃刀式方案。


第二层 概念内核:从"能力相变"到"度量畸变"

2.1 核心概念重构:涌现是曲线的属性还是过程的属性?

本文的概念贡献首先是一次归属权的重新划定。"涌现能力"在原始定义中是模型在某个任务上的属性;本文将其分解为三个可分离变量:

  1. 模型的真实行为:per-token 层面的误差率随参数量的变化;
  2. 任务的串行结构:完成任务需要多少个 token 全部正确;
  3. 指标的聚合函数:如何把 per-token 表现压缩成一个标量分数。

涌现现象被证明主要栖居于第 3 个变量。同一批模型输出(第 1 个变量完全固定),换一个聚合函数,"相变"就变成"缓变"。这是全文最核心的概念操作:把涌现从本体论范畴移入度量学范畴。

2.2 数学内核:幂律损失的指数放大机制

论文 §2 给出的推导链条是理解全文的钥匙:

Accuracy(N) ≈ exp[-(N/c)^α · L]

平滑的单 token 正确率被 L 次方畸变后,在线性-对数坐标上呈现陡峭的"悬崖"。误差随目标长度呈几何级数放大——这就是为什么四位加法看起来像凭空出现的能力。

这个机制的精妙之处在于它的经济性:不需要相变物理、不需要临界参数、不需要新的学习动力学,一个初等概率论层面的复合效应就够了。Fig 2 六联图(A-F)完整演示了这条流水线:从幂律 CE loss 出发,经非线性/不连续指标的加工,产出酷似文献报道的涌现曲线,再换指标即可消融掉涌现。

2.3 度量学词汇表:哪些指标制造海市蜃楼

论文隐含地建立了一个指标分类学,后续所有实证都依赖它:

指标类型行为特征代表对 per-token 误差的作用
------------
非线性/不连续要求全对或过阈值Exact String Match、Accuracy、Multiple Choice Grade几何级数放大
阈值型复合连续量再过阈值Reconstruction_c(Eqn 2,重构误差 < c 的样本占比)可人为设定制造跃迁
Token 级距离逐 token 计账TokenEditDistance近拟线性缩放
连续严格评分规则proper scoring ruleBrier Score平滑传递

元分析(§4)给出的经验分布惊人地一边倒:人工标注的涌现案例中 >92% 集中于 Multiple Choice Grade 与 Exact String Match 这两类非线性/不连续指标;39 个首选指标中仅 ≤5 个出现涌现(人工标注口径为 4/39)。附录 A 进一步对序列数据上的常见指标做了理论行为分析(A.1 per-token 错误率的分辨率极限、A.2 Token Edit Distance、A.3 Accuracy、A.4 ROUGE-L-Sum),证明这种度量学行为可以逐指标解析地刻画——ROUGE-L-Sum 也因此被列入少数会诱发涌现的非线性指标。

2.4 分辨率:被忽视的第二凶手

如果说指标畸变是一号原因,测量分辨率不足就是二号共犯。论文给出一个朴素而致命的定义:分辨率 = 1/测试集大小。当测试集只有几十道题时,小模型哪怕拥有 20%-30% 高于随机的真实成功率,采样噪声也足以让观测到的 Accuracy 显示为 0%。于是"小模型完全无能"的印象并非来自模型,而来自仪器精度低于信号幅度。Prediction 2 的实验(补充生成测试数据提高分辨率)直接利用了这一点:一旦分辨率足够,所有规模的 GPT-3 在两个算术任务上准确率均高于随机且平滑上升——所谓"从零到有"的悬崖,其实是"从测不到到测得到"。

2.5 第三因子:大参数区的采样不足

三因子归因的第三条——大参数区采样不足——常被忽略但同样重要。顶级模型的推理成本高昂,评估者往往只采少量样本;而恰恰在这些区间,如果能力正在快速爬坡,稀疏采样会让曲线看起来要么还没起步、要么已经完成跃迁,中间过程全部缺失。锐利性与不可预测性两个"定义属性"都可以由这三个因子的组合伪造出来。

2.6 Emergence Score:把直觉变成筛子

为了系统性筛查 BIG-Bench,论文采用了 Srivastava et al. 的 Emergence Score(Eqn 1):基于相邻尺度间的最大增益与中位增益之比。这是一个"提示器"而非"判定器"——分数高只说明曲线形状可疑,需辅以人工标注交叉验证。这个工具选择体现了作者的克制:他们没有发明新标准来宣布别人错了,而是用原阵营自己的度量来检验原阵营的主张。


第三层 方法拆解:三条实证路径的设计逻辑

3.1 总体论证架构:相关性 + 充分性的双钳攻势

论文的方法论骨架值得单独拆解,因为它展示了一流的实证设计如何为一个反直觉主张构建多层防线:

`

路径一(§3):受控再实验 —— 证明"同一批输出、不同指标 → 不同结论"

【直接因果证据:涌现存在于评分函数中】

路径二(§4):元分析 —— 证明"涌现案例与特定指标类型强相关"

【大范围相关证据:>92%、≤5/39】

路径三(§5):主动诱导 —— 证明"无涌现的系统也能被指标制造出涌现"

【充分性证据:metric 是涌现的充分成因】

`

三条路径分别堵死了三种可能的退路:路径一堵死"你只是没复现出我们的实验";路径二堵死"算术任务是特例";路径三堵死"也许 LLM 确实特殊,指标论只在它身上碰巧成立"。

3.2 路径一:GPT-3 族算术再测(§3)

任务与设置:两位数×两位数乘法与两个四位数加法,2-shot prompt,通过 OpenAI API 公开采样 InstructGPT/GPT-3 四个规模(350M / 1.3B / 6.7B / 175B,公开可查截至 2023-03-15)。

这一路径的方法论精髓是固定输出、只动标尺的控制变量设计。模型输出被完整保存,然后:

三条预测的顺序也经过精心安排:先消融(P1)、再修复(P2)、最后正向预言(P3)。能做出新颖的定量预言,是替代解释区别于事后合理化的关键资格。

3.3 路径二:BIG-Bench 元分析与 LaMDA 个案(§4)

普查设计:以 Emergence Score(Eqn 1)筛查 BIG-Bench 的 39 个首选指标覆盖的任务×指标×模型族三元组(Fig 5);再用人工标注集交叉验证。结果呈现清晰的相关结构:涌现与"特定指标"强相关,而与"特定任务-模型族"弱相关;多数指标下涌现案例为零。

个案深挖:LaMDA 因其模型输出经 BIG-Bench 公开而成为理想对象——可以做与 §3 同构的换指标实验(Fig 6):Multiple Choice Grade 下存在涌现的任务,换用严格 proper scoring rule 的 Brier Score 后涌现消失。普查给出广度,个案给出与 §3 同型的因果深度。

3.4 路径三:在视觉域人为制造涌现(§5 + 附录 B)

这是全文最大胆的一步:既然主张"指标足以制造涌现",那就真的造一个出来。

至此,全连接、自注意力、卷积三种主流架构都被证明可在本来毫无能力突变的系统上产出"涌现"形态。这一路径的修辞力量在于反转举证责任:不是批评者要证明涌现不存在,而是任何未来的涌现报道都必须先排除"我的指标是不是又在造 mirage"。

3.5 方法的自我约束

值得注意的是方法的边界意识:数学模型中 token 独立假设"不真但定性吻合观测"(脚注 1,p4);幂律形式仅为示意;元分析只能提示不能判定,故辅以人工标注。整篇论文的方法论姿态是"用最弱的 sufficient 假设打最强的解释力",这正是其难以被反驳的原因。


第四层 证据链:八条核心主张的证据强度图谱

4.1 主张-证据对照全景

编号主张关键数字证据类型强度评注
---------------
C1绝大多数涌现集中于两类非线性/不连续指标>92%;39 指标中 ≤5 个(人工标注 4/39)大规模相关最具统计冲击力,但限于 BIG-Bench 内口径
C2非线性指标将平滑 per-token 误差放大为尖锐跃迁L_CE(N)=cN^α;Accuracy(N)≈exp[-(N/c)^α·L]数学推导+示意拟合初等且稳健,仅独立性假设近似
C3换线性/连续指标涌现蒸发目标 4-5 位时 Accuracy 突变→TokenEditDistance 平滑受控实验(Fig 3)全文最强单条证据:输出固定
C4提高分辨率后小模型非零分所有规模高于随机、平滑上升补样实验(Fig 4)直接证伪"零能力"叙事
C5LaMDA 同任务换指标涌现消失MCG→Brier Score个案实验(Fig 6)与 C3 同构,扩展至另一模型族
C6视觉域可人为制造涌现三种架构(CIFAR100/Omniglot/MNIST)主动诱导(Fig 7/8、App B.1)充分性证明,修辞力极强
C7多重比较未受控的统计风险≥220 任务 × ~40 指标/任务 × ~10 模型族 ≈ 10^5 三元组组合计数论证提醒式证据:如此大的搜索空间下偶得"涌现"概率不可忽略
C8立场边界:不断言涌现不可能"nothing in this paper...claiming that LLMs cannot display emergent abilities"(p9)作者明示防止结论被过度引申

4.2 证据链的内部咬合

这八条主张不是并列的,而是构成递进闭环:C2 提供机制,C3/C4/C5 提供机制的实验室演示,C1/C7 提供机制的生态学 prevalence,C6 提供机制的充分性,C8 则为整个链条安装安全阀。特别值得展开的是 C7 的组合数学:≥220 任务乘以约 40 指标再乘以约 10 模型族,搜索空间达 10^5 量级——在这种自由度下,即便涌现纯属噪声,研究者反复筛选后"发现"若干涌现案例也几乎是必然事件。这与 C1 形成呼应:当 >92% 的阳性结果都挤在两类指标上时,更合理的推断是这两类指标在制造阳性,而非恰好只有它们对应的能力会相变。

4.3 反事实检验:如果没有这些证据会怎样

评估证据链说服力的一个思想实验:假如只有 C2(纯数学论证),批评者可以说"理论上可能,但现实中大家看到的涌现未必这么来的";假如只有 C1(纯普查),批评者可以说"相关不等于因果"。正是因为 C3 的"同一批输出、两张截然相反的曲线"(Fig 3 vs Fig 2 所转载的原涌现曲线形成直接对峙)提供了无可辩驳的直接因果演示,整条链才闭合。这也是本文在方法课上值得作为范例的原因:单一最强证据(固定输出的换指标对比)承担了论证的承重墙角色,其余证据皆为加固。

4.4 证据的对称性处理

论文对不利细节的处理同样规范:token 独立假设明知不真仍用于推导,但明示其为近似并指出定性结论与观测吻合;元分析的标注集来自他人(Srivastava et al. 2022 手工标注)而非自己构造,避免了"自己定标准自己打分"的循环。C8 的立场限定更是预先拆除了"作者否定一切涌现"这一必然会被扣上的帽子。


第五层 批判性分析:这篇论文没有说什么,以及它可能错在哪里

5.1 结论强度的自觉收缩

必须首先澄清一个最常见的误读:本文并未证明涌现不存在。C8 的原文要点("nothing in this paper should be interpreted as claiming that LLMs cannot display emergent abilities",p9)划定了结论边界——它论证的是"已报道的涌现很可能是分析方式诱发的 mirage"。这个收缩是严谨的:证明"某种测量程序可制造现象 X"与"所有 X 观测皆为制造"之间隔着一整条归纳鸿沟。读者应警惕两种对称的错误:涌现原教旨主义者无视本文证据,和涌现虚无主义者过度引申本文结论。

5.2 五个可攻击面

其一,外推限度。 >92% 的集中度是 BIG-Bench 内部口径的比例,不能机械外推至文献中全部涌现声称。论文自己在局限归纳中也承认这一点。PaLM、Chinchilla 等模型族的涌现报道因 API 不公开而无法做 §3 式的固定输出重评,只能停留在发表结果的元分析层面——这意味着"其他模型族上的涌现也是 mirage"仍是外推而非实测。

其二,独立性近似。 Accuracy 推导采用 token 独立假设,作者承认假设不真(脚注 1,p4)。虽然定性结论与观测吻合,但在 token 间强相关的场景(例如算术进位链)下,指数放大的精确速率会偏离理论值。这不动摇方向性结论,但意味着 C2 的定量形式不可当作精确预测器使用。

其三,元分析的间接性。 Emergence Score 只能提示涌现而非判定;人工标注集本身来自他人(Srivastava et al. 2022),其标注标准是否均匀、是否已被"涌现叙事"污染(标注者预期效应),论文无法完全排除。

其四,算术任务的选择性质疑。 多位乘法/加法是"串行全对"结构的极端典型——恰是该理论最适用的场景。批评者可以问:那些不那么串行的任务(多步推理、代码生成)上,指标畸变能否解释同等比例的涌现?论文的回应只能是 BIG-Bench 全库普查(C1),而这又回到间接证据。

其五,与分段幂律阵营的解释竞争未完全裁决。 Caballero et al. 的分段幂律认为涌现"真实存在"于幂律拐点;Michaud et al. 认为强数据假设下涌现可能为真。本文主张单一幂律+指标选择即可解释全部证据——这是一种解释经济性主张,但"够用的解释"与"正确的解释"之间的差距,需要未来在可控训练环境中做干预实验才能弥合,而这类实验超出本文范围。

5.3 本文立场的内在张力

还有一个更微妙的哲学张力:作者一方面说涌现可能是 mirage,另一方面又亲手展示了"制造"涌现的配方。这在修辞上极其有力,但也埋下一个反讽——如果一个指标就能让平庸系统显得会"相变",那么反过来,会不会也存在被现有线性指标系统性掩盖的真实相变?本文的工具是双向的:它既能揭穿假涌现,原则上也能用来审查被忽略的真突变。论文对此未着墨,留给后来者的空间恰在于此。

5.4 接收史语境

本预印本标注 Under review(NeurIPS 2023 周期),最终成为当年讨论度最高的批判性论文之一。其影响力很大程度上来自时机:恰逢业界围绕"GPT-4 是否涌现出新能力"的宣传高峰,本文提供了一个立即可以被评测工程师落地的怀疑工具箱——检查你的指标、加大你的测试集、报告你的多重比较。

5.5 批判性总评

综合而言,这是一篇在自身主张范围内几乎无懈可击,但其主张范围被大量二次引用持续越界的论文。它证明了:测量实践可以批量制造涌现幻象,且已报道案例的大多数处于高危区。它没有证明也不打算证明:真实的能力相变不存在。评价这篇论文时引用 C8 不是客套,而是理解其科学品格的关键——作者们清楚地知道自己在打倒的是一个 measurement paradigm 的滥用,而不是一个物理现象的可能性。


第六层 启示与影响:从一篇论文到一套评估纪律

6.1 论文自述的四点启示(§7 Discussion)

  1. benchmark 构建中任务与指标是两个独立且重要的设计选择。这直接挑战了"任务定、指标顺手选"的行业惯性——同一个任务在不同指标下可以讲述完全不同的能力故事。
  2. 选指标须考虑其对 per-token 误差的作用,并配套足够数据量。指标选择应从"习惯/方便"升级为"依据其误差缩放行为的自觉决策";同时分辨率预算(1/测试集大小)必须与待检信号幅度匹配。
  3. 能力声明必须包含多重比较控制。在 ≥220 任务 × ~40 指标 × ~10 模型族 ≈ 10^5 三元组的搜索空间里,不加校正的"我们发现涌现"近乎无信息量的陈述。
  4. 模型与输出不对公众开放会阻碍科学的独立检验。LaMDA 能被换指标复查、GPT-3 族能被固定输出再测,皆因输出可得;封闭体系里的能力声称天然免疫于本文式的审计。

6.2 对评测方法学的持久改造

本文之后,严肃的能力评估至少应包含三项自查:(a) 用至少一个线性/连续指标(TokenEditDistance 或 Brier Score 类)与不连续指标并行报告;(b) 小模型端保证分辨率充足,避免把"测不到"报成"不存在";(c) 对跨任务/指标/模型的批量筛选施加多重比较纪律。这套流程已成为后续涌现争论双方共同的方法论底线——连涌现的辩护者也必须先排除 mirage 才能主张真实相变。

6.3 在更大思想史坐标中的位置

本文本质上是大模型科学化进程中的一块里程碑:它把一个由宣传性图表承载的概念,还原为一道可用初等概率论审视的测量题。其精神与生物学史上对"平均数暴政"的统计批判、心理学可重复性危机中的测量审计一脉相承。对于快速积累 scaling 投入的产业而言,这类工作的价值不在否定规模的价值,而在确保"规模带来质变"这类最强主张建立在无懈可击的测量之上。

6.4 给后续研究的三条具体路标

  1. 干预式裁决:在完全可控的训练环境中同时记录连续指标与不连续指标的完整轨迹,直接观察"真实拐点"(若存在)与指标伪影的分离——这是对 Caballero/Michaud 与本文立场分歧的终局检验。
  2. 指标敏感度作为强制披露项:任何能力报告附上"换指标敏感性分析",正如统计学论文必须报告检验效力。
  3. 对非串行任务的理论补全:本文机制对"全对型"任务解释力最强,多步推理、开放式生成等弱串行任务上指标畸变的定量份额仍是空白。

6.5 结语

《Are Emergent Abilities of Large Language Models a Mirage?》用一个精确的数学观察(幂律损失的 L 次方畸变)、一组无可辩驳的受控实验(固定输出换指标)、一项触目惊心的普查(>92% 集中度、4/39)、一次漂亮的充分性演示(三种架构人工造涌现)和一个克制的结论边界(C8),完成了对领域基础概念的一次校准。它教会这个行业的不是"涌现是假的",而是:在你检查过自己的尺子之前,你没有资格谈论奇迹。


*报告撰写依据:《00-源数据提取.md》(9876 字节,2026-08-26 提取)为唯一数字来源;文中 10^5 等幂次排版遵循稿内注记。*

数据依据:本页 00-源数据提取.md | 推断处已标注(推断)| 生成:批量转换脚本