摘要
本文解读普林斯顿大学联合 Google DeepMind 发表于 NeurIPS 2023 的《Tree of Thoughts》（一作 Shunyu Yao）。论文的核心论断是：当前语言模型在推理时被锁定在"token 级、从左到右"的决策模式中，既无法在中间步骤出错时回头修正（局部缺陷），也无法为需要规划与探索的全局性问题预留搜索空间（全局缺陷）。为此作者提出 Tree of Thoughts（ToT）框架，将 Chain-of-Thought 从"单链条"泛化为"思维树"：以连贯的语言序列 thought 作为最小推理单元，让语言模型自身充当 thought 的生成器与评估器，再用 BFS/DFS 在树上系统地进行探索、前视与回溯——即 Newell/Shaw/Simon 经典问题求解意义上的 System 2 式深思熟虑。该框架无需任何额外训练，并在三个连 GPT-4 都表现孱弱的任务上取得数量级提升：Game of 24 从 CoT 的 4% 升至 74%；Creative Writing 人类盲评 41/100 偏好 ToT 对 21/100 偏好 CoT；Mini Crosswords 词级成功率从 CoT 的 15.6% 升至 60%。
一、问题定位：token 级自回归为何撑不起 System 2
1.1 论文要解决的问题
论文开篇借认知科学的双系统隐喻切入：现有语言模型的推理是 System 1 式的——快速、直觉、不可逆。解码过程严格按从左到右逐 token 进行，每一步决策一旦落笔便成为后续所有生成的条件上下文。这在两类场景下会系统性失败：
- 局部层面：某一步中间推理出错后，模型没有任何机制意识到错误并回退重来，只能将错就错地把错误传播到最终答案；
- 全局层面：面对需要先规划、再试探、随时改道的问题（如谜题、约束满足、创造性写作），单条不可回溯的直线轨迹根本没有容纳"探索"的结构。
1.2 谱系定位：从 IO 到 CoT 再到 ToT 的三级跳
| 范式 | 轨迹结构 | 中间 thought | 分叉/回溯 |
|---|---|---|---|
| IO prompting | 单路径直达答案 | 无 | 否 |
| Chain-of-Thought | 单路径展开推理 | 有 | 否 |
| CoT-SC（self-consistency） | 多条独立路径取多数票 | 有 | 分叉但互不通信 |
| Self-Refine | 单路径迭代修自己 | 有 | 只能顺序修正 |
| Tree of Thoughts | 树上多路径 | 有 | 评估、剪枝、回溯俱全 |
ToT 的关键洞察是：上述所有既有范式都可以看作"有限深度与宽度的思维树"的特例——IO 是深度最浅的单枝，CoT 是不分叉的单枝，CoT-SC 是同层并行展开却不做评估的多枝。ToT 把这棵"被砍剩的树"补全了：分支由模型生成、前景由模型评估、资源由搜索算法分配。
思想源头方面，作者明确回溯到 Newell、Shaw 与 Simon 1950 年代的问题求解理论——人类解题即在头脑中将问题表征为树并做启发式搜索。ToT 的独特之处在于：树上的节点生成与价值评估不再依赖人工规则或训练出的价值网络，而是直接调用语言模型本身。（推断）这与后来 RLHF 时代"过程奖励模型"路线形成鲜明对照：ToT 完全绕开了训练成本，把全部智能压在预训练模型的 zero-shot 能力上。
本文诊断的不是"模型不会推"，而是"推的方式太原始"——把不可逆的 token 流升级为可探索、可评估、可回溯的思维树，等于给 LLM 装上了 System 2 的最小骨架。
二、概念内核：四个组件与一个统一定理
2.1 Thought（思维单元）：粒度是第一设计决策
定义：thought 是一段连贯的语言序列，作为树上的中间节点，代表解决问题的中间步骤。
拆解：thought 的粒度没有固定答案，须按问题性质定制。原文给出的三档跨度极大——填字游戏中是几个字母/词，算术谜题中是一行方程，创作任务中是整段写作计划。作者给出双向约束的设计原则：thought 应"足够小，使模型能在一步内多样地生成多个候选"，又"足够大，使评估其解题前景是有意义的"。（推断）这条原则实质上是把经典搜索中的"算子粒度选择"问题翻译成了 prompt 设计问题：粒度太细则搜索树指数爆炸，太粗则评估器失去区分度。
2.2 Thought Generator G(pθ, s, k)：两种候选生成策略
给定当前状态 s=[x, z1..i]（原始输入加已有 thought 序列），生成器产出 k 个候选下一 thought。论文给出两种互补策略：
- (a) i.i.d. 采样：用 CoT 式 prompt 独立多次采样。适用于 thought 空间丰富的场景（如 Creative Writing），独立采样天然带来多样性；
- (b) propose prompt 顺序提议：一条 prompt 让模型一口气列出多个候选。适用于 thought 空间受限的场景（如 Game of 24、Mini Crosswords），避免独立采样反复撞出重复候选浪费预算。
2.3 State Evaluator V(pθ, S)：把 LM 当作启发式函数
评估器衡量一组前端状态对解题的进展，充当搜索的启发式。同样有两种策略：
- (a) 数值/等级标注：独立给每个状态打分——可以是 1–10 的数值，也可以是 sure/likely/impossible 三档离散判断，依据是对少量前瞻的模拟加常识推理；
- (b) 跨状态投票：当成功与否难以直接量化（典型例子是文章连贯性 passage coherency）时，让模型在多个候选间比较并投出"最有希望的状态" s*。
两种策略都可多次采样聚合以提升稳健性。这一设计的深意在于：价值判断被完全外包给同一个预训练模型，不需要任何训练出来的奖励模型。
2.4 Search Algorithm：可插拔的第三件套
搜索算法与生成/评估完全解耦，本文只用两个教科书级算法：
- BFS（Algorithm 1）：每层保留评估分数最高的 b 个状态继续扩展。用于 Game of 24（树深 T≤3、宽度 b≤5）与 Creative Writing；
- DFS（Algorithm 2）：优先深入最有希望的状态；到达最终输出（t>T）或评估器判定"从此状态不可能解出"（V(s) ≤ vthr）时剪枝，回溯到父状态换下一候选继续。用于步数可变的 Mini Crosswords。
（推断）BFS/DFS 的分工暗合问题的树形结构：定深定宽的谜题天然适配 BFS 的层间竞争，而步数不定、需要尽早锁定可行解的填字游戏更适合 DFS 的纵深推进加失败回溯。
2.5 统一视角与四项概念优点
- Generality（通用性）：IO、CoT、CoT-SC、self-refine 均为其特例；
- Modularity（模块化）：分解粒度、生成器、评估器、搜索算法四个组件可各自独立替换；
- Adaptability（适应性）：可按问题难度、模型能力、资源预算调节搜索强度；
- Convenience（便利性）：无需额外训练，直接使用 off-the-shelf 预训练 LM。
ToT 的概念贡献是把"推理时计算"拆成四个正交旋钮——想什么单位（thought）、怎么想出新枝（generator）、哪枝值得活（evaluator）、资源给谁（search）——而 LM 本身同时驱动其中三个。
三、方法拆解：三个任务的完整实例化
ToT 不是单一算法而是框架，其说服力来自三个性质迥异的任务都能在同一框架下实例化。原文 Table 1 给出了三任务的输入/输出/thought 设计：
| 任务 | 输入 → 输出 | thought 设计 | ToT 步数 |
|---|---|---|---|
| Game of 24 | 4 个数（如 4 9 10 13）→ 算式 (13−9)*(10−4)=24 | 每步一条中间算式（消耗两个数字） | 3 |
| Creative Writing | 4 条随机句子 → 以其分别结尾的 4 段连贯文章 | 一段整体写作计划 | 1 |
| Mini Crosswords | 5×5 棋盘、10 条线索 → 填满 25 字母的棋盘 | 每条线索填一词 | 5–10（可变） |
3.1 Game of 24：定深谜题 + BFS 强剪枝
搜索配置为 BFS，T≤3、b≤5；生成采用 propose prompt（候选算式空间受约束）。这道题对 GPT-4 极难的原因在错误分析中暴露得淋漓尽致：约 60% 的 CoT 样例在第 1 步（前 3 个词）之后就注定失败了——第一条算式选错了数字对，后面两步无论怎么写都凑不出 24，而自回归模型对此毫无察觉。这正是"局部不可修正"缺陷的完美标本。
3.2 Creative Writing：开放式任务 + 投票评估
thought 为先生成的一段整体写作计划，仅 1 步；评估特点在于连贯性难以数值化，故采用跨状态投票策略——让模型比较多个计划草案选出最好的，再据此成文。此任务展示了 ToT 对非数学任务的适配能力：当"打分"不可行时，"比较"仍然可行。这也是评估器策略 (b) 存在的理由。
3.3 Mini Crosswords：变长约束满足 + DFS 回溯
DFS 优先填最有把握的词，评估器一旦判定某状态"不可能完成"（V(s) ≤ vthr）立即剪枝回溯。消融实验在此任务上给出了机制层面的证据：去掉剪枝（-prune）总体更差，但反而能解出 3 个因评估器误判而被剪掉的游戏——印证了评估器作为启发式的双刃剑属性；去掉回溯（贪心 BFS、b=1）则词级成功率暴跌至 20%，证明回溯本身就是性能的主要来源之一。
3.4 统一的实验设置
除另有说明外，主实验使用 ChatCompletion 模式的 GPT-4，采样温度 0.7；主实验于 2023-05-05 至 2023-05-16 完成。Game of 24 数据集从 4nums.com 抓取 1,362 题，取编号 901–1000 共百题作测试。全部实验零训练、纯 prompt + 搜索编排。
三个任务分别覆盖"封闭谜题/开放创作/约束满足"三种问题形态，thought 粒度横跨词—方程—段落三个尺度，搜索算法覆盖 BFS/DFS 两极——框架的四组件在每个任务上都各就各位，通用性的主张由此坐实。
四、证据链：三主战场 + 边界探测 + 成本账本
4.1 主战场一：Game of 24（Table 2）
| 方法 | 成功率 |
|---|---|
| IO prompting | 7.3% |
| CoT | 4.0% |
| CoT-SC (k=100) | 9.0% |
| IO best-of-100（oracle 视角） | 33% |
| CoT best-of-100（oracle 视角） | 49% |
| IO + Refine | 27% |
| ToT (b=1) | 45% |
| ToT (b=5) | 74% |
这张表的层次极其丰富。第一层是表面差距：ToT 74% 是 CoT 4% 的 18.5 倍。第二层更有意思——oracle 行揭示了天花板结构：即便允许 CoT 采样 100 次挑最好的一次也只有 49%，说明 CoT 的失败不是运气问题而是单路径的结构性缺陷（60% 样例第一步即死），再多采样也只是在一个坏参数空间里抽奖。第三层：ToT 仅用 b=1 就达到 45%，逼近 CoT best-of-100 的 49% 却只需约二十分之一的开销——评估与剪枝带来的增益远大于暴力堆采样。随节点访问数增长，ToT 的改善曲线持续优于 CoT-best-of-k，说明搜索预算在 ToT 框架下边际收益更高。
4.2 主战场二：Creative Writing
- GPT-4 自动评分（0–10）：ToT 7.56 > CoT 6.93 > IO 6.19；GPT-4 五次评分的标准差约 0.56，评分一致性尚可；
- 人类盲评（100 对样本）：41 人次偏好 ToT＞CoT，21 人次相反，38 人次认为相当；
- 叠加 iterative refinement：IO 6.19→7.67，ToT 7.56→7.91——ToT 与精炼循环正交且可叠加，起点更高的 ToT 终值也更高。
值得注意的是自动评分与人类偏好方向一致但幅度不同：（推断）7.56 对 6.93 只是 0.63 分之差，而人类盲评 41:21 接近 2:1，说明在连贯性这类软指标上，人眼对小差距的放大效应强于评分器的名义分辨率，ToT 的实际优势可能被自动评分低估。
4.3 主战场三：Mini Crosswords（Table 3，三级口径）
| 级别 | IO | CoT | ToT |
|---|---|---|---|
| Letter 级成功率 | 38.7% | 40.6% | 78% |
| Word 级成功率 | 14% | 15.6% | 60% |
| Game 级完整解 | 0 | 1% | 20% |
三级指标的梯度本身就说明了问题：IO/CoT 在字母级别尚可（约 40%），到词级崩塌至 15% 上下，到整局几乎归零（0–1%）——错误沿约束链条指数级累积。ToT 把三个层级全面抬升（78%/60%/20%），完整解出 4/20 局；若计入 oracle best state 可达 7/20。评估器的不完美在此再次显形：oracle 与实际产出的差距（3 局）正是被误剪掉的可行解。
4.4 边界探测：什么时候 ToT 不划算
- 常规任务收益递减：零样本 ToT 在 GSM8K 上 90%（CoT 86%）、StrategyQA 上 83%（CoT 82%）——GPT-4 本就擅长的任务上，深思熟虑的边际收益很小（附录 B.1）；
- 依赖底座模型能力：GPT-3.5 上趋势成立（Creative Writing ToT 6.62 仍优于其他范式），但 Game of 24 上 GPT-3.5+ToT 仅 19%，远逊 GPT-4 的 74%。混合实验进一步定位了瓶颈：GPT-4 生成 + GPT-3.5 评估可达 64%，反向组合仅 31%——成败的关键在 thought 生成的质量，而非评估；
- 成本显著更高：Game of 24 上 ToT 每题约 5.5k token / $0.74，对照 CoT best-of-100 为 6.7k / $0.47（49%）、IO best-of-100 为 1.8k / $0.13（33%）；Creative Writing 上 ToT 4k / $0.32 对 IO/CoT 各约 0.9k（$0.06–0.07）。两个主任务合计总开销约 $106。以性价比论，ToT 每 1% 成功率的成本并不总是占优——它的卖点是"上限"，而非"单价"。
证据链呈三层嵌套——三主战场证明"难任务上 ToT 数量级领先"，边界实验证明"易任务上收益递减、且瓶颈在生成端"，oracle 对照证明"领先来自搜索结构而非采样运气"。
五、批判性分析：局限的深层含义与独立疑点
5.1 作者自述五条局限的深层含义
- 任务覆盖面窄：许多 GPT-4 已擅长的任务不需要 deliberate search（附录 B.1 自证），论文只探索了 3 个相对简单但能卡住 GPT-4 的任务。深层含义：ToT 是"特定问题形态的解药"而非通用加速器；
- 成本高昂：单任务生成 token 可达 CoT 的 5–100 倍。在 2023 年语境下这是 API 账单问题，在今天则是推理时计算（test-time compute）范式的先声——代价结构没变，只是行业愿意付了；
- 未做微调闭环：只用 off-the-shelf LM，作者明确提出"用 ToT 风格的高层反事实决策微调 LM"是潜在方向但未实现。这条局限精准预言了后来的研究方向；
- 评估器会误杀：5×5 填字游戏刻意包含一些 GPT-4 不认识的罕见/废弃词，导致评估器判 impossible 而剪掉正确分支。这是启发式剪枝的原罪：评估器的知识边界就是搜索的天花板；
- 搜索算法朴素：只用 BFS/DFS，未尝试 A*、MCTS 等更强算法；成本与效果高度依赖 prompt 与搜索超参的设置。
5.2 独立观察到的五个疑点
① 测试规模普遍偏小，统计功效存疑。Game of 24 取 100 题（编号 901–1000）、Mini Crosswords 仅 20 局、人类盲评 100 对。20 局意味着 Game 级成功率 20% 实际只解出 4 局——95% 置信区间宽到足以吞下 8%–39% 的范围（推断，按二项分布估计）。核心结论的方向可信，但精确数值不宜过度解读。
② "74% 之后剩下的 26%"缺乏归因分析。源数据显示 ToT(b=5) 74%，但论文（按提取稿）未细分剩余失败中多少归咎生成端、多少归咎评估端。混合实验证明生成是主要瓶颈，但那是在跨模型对比下的结论，同一模型内部的失败归因仍属空白。（推断）结合填字游戏的误剪证据，评估端漏检很可能贡献了不小份额。
③ Creative Writing 的任务定义偏窄。"以 4 个随机句结尾的 4 段文章"是一个高度人工化的约束写作任务，其对"创造性写作"的代表性与真实写作场景相距甚远。标题里的 "Deliberate Problem Solving" 在该任务上的体现更多是"计划先行"而非完整的创作过程。
④ GSM8K 上 IO 基线异常低。提取稿记录 GPT-4 零样本 IO 为 "51+"（带加号，口径不明），与 CoT 86% 差距悬殊。若 IO 基线因格式解析问题被低估，则"ToT 90% vs CoT 86%"的小幅提升虽不受影响，但论文叙事中"prompting 范式演进"的整体斜率会被放大。此处以提取稿为准存疑。
⑤ 概念新颖性与工程组装的比例。ToT 的四组件每一个都不是新发明——propose/vote 式评估与 self-consistency 血缘相近，树搜索更是六十年前的遗产。真正的创新在于指出 LM 可以同时充当生成器与评估器、从而免训练地组装出 System 2。这个组合创新是扎实的，但后续大量"XX of Thoughts"式跟风工作只复制了形式而不具备其成立前提（可靠的 LM 自评估），这一点论文本身无法负责，却是阅读此文时应有的免疫力。
ToT 的证据在其设定的战场内足够坚固，但战场的三个特征——小样本、人工化任务、强依赖 GPT-4 底座——决定了它是一篇"提出范式"的论文，而非"证明普适"的论文；评估器误杀与生成端瓶颈这两处机制缺口，恰是后续推理研究的真正入口。
六、启示与影响
6.1 五条可迁移启示
- 推理单元的选择是第一杠杆。从 token 到 thought 的升维，本质是把"下一步预测"变成"下一步求解"。任何序列生成系统都可问一句：我的中间表示粒度对吗？太小则错误级联，太大则无法分支；
- "LM 即启发式"的免训练架构模式。生成器、评估器、搜索三者解耦、全部由同一个预训练模型驱动，是 prompt 工程向"推理系统工程"跃迁的标志。今天任何 Agent 系统中的 proposer/critic/planner 分层都能在此找到原型；
- oracle 对照是论证搜索价值的最佳武器。best-of-k oracle 行（CoT best100 仅 49%）一锤定音地证明了失败是结构性的而非运气性的。"先证采样天花板、再展示搜索突破天花板"的论证结构值得效仿；
- 诚实报告成本与失败模式。论文不但报 token/美元账本（$0.74/题），还专门探测"何时不划算"（GSM8K 收益递减）与"瓶颈在哪"（生成端 64% vs 31%）。把边界条件做成实验而非写在 limitation 里，是评测规范的典范；
- 消融定位机制。-prune/-backtrack 消融（后者暴跌至 20%）把"回溯有用"从直觉变成了数字。凡声称引入某种认知机制的系统，都应有对应的开关实验。
6.2 历史位置与后续走向
放在 2023 年的时间线上，ToT 与同期工作共同构成了"推理时结构化计算"的第一波浪潮：它比 self-consistency 多了评估与回溯，比 self-refine 多了全局视野。作者在局限中埋下的两条线——"用 ToT 风格反事实决策微调 LM"与"更强的搜索算法（MCTS/A*）"——此后数年先后被大规模兑现：（推断）前者演化为把搜索轨迹纳入训练信号的各类过程监督/推理强化学习路线，后者演化为 MCTS+LM 的组合及最终把搜索内化为单模型行为的长思考推理模型。从这个意义上说，ToT 的最大历史贡献不是 74% 这个数字，而是确立了一个至今有效的命题：推理质量的下一个数量级藏在"如何花推理时计算"之中。
总结
《Tree of Thoughts》完成了 prompt 推理谱系中承前启后的一跃：它把 CoT 家族的全部成员统一为"残缺的思维树"，然后把缺的部分——分支、评估、回溯——逐一补全，且全程免训练、全程由预训练模型自身供能。三个任务上的证据呈清晰梯度：连 GPT-4 都近乎全军覆没的难题上（Game of 24：CoT 4% → ToT 74%；Mini Crosswords 词级：15.6% → 60%），搜索结构带来数量级逆转；oracle 对照与混合实验进一步锁定了因果——增益来自"评估+回溯"的结构红利，瓶颈则在生成端的底座能力。它的局限同样清晰可读：小样本测试、人工化任务、评估器误杀、朴素搜索算法，以及一笔当时昂贵、日后却成为行业共识的成本账（单任务最高百倍 token）。作为 NeurIPS 2023 的工作，其四组件框架已成为推理系统工程的事实原型，"推理时计算决定推理质量上限"的核心命题在后续推理模型的演进中被一再验证。读懂 ToT，就是读懂此后所有"让模型慢下来想"的方法论的共同祖先。