自一致性与多数投票

Self-Consistency and Majority Voting

PE-R-03内容已写满G02推理增强第 11 层

推理增强自一致性多数投票

一句话结论

投票只在答案唯一且错误路径发散时才有增益；先在小样本上实测准确率随采样数的走向，再决定是否启用以及把 N 冻结在哪个档位。

本页结构（可跳转）

曲线对照图：自一致性的两个前提与样本数收益的早期饱和，以及系统偏见下「路径同错、投票放大置信度」。（本站自制）

01为什么需要它

自一致性用多条采样路径加多数投票压低单次推理的偶发错误，思路直观，历史收益也明确。

但它同时是成本最容易被低估的一类技巧：投票要求同一问题重复采样，token 开销随采样数近线性上涨，而收益在现代模型上已经收窄。
掌握本节点是为了能回答一个具体的工程问题：这次任务是否真的值得为投票付出多倍 token，还是应当把这笔预算花在别处。

适用边界

投票的增益以「各条路径的错误互不相关」为隐含假设：一旦模型对某类题目存在系统性偏见，所有采样路径会犯同一个错误，投票只会把这个错误包装成高置信度结论。它也修不了任务定义本身含混、答案本就不唯一的情形，此时多数票不过是若干种合理答案里偶然占多的一种。

02机制说明

自一致性的成立有两个前提：任务答案唯一，且错误路径彼此发散。

满足前提时，正确路径会收敛到同一答案而错误路径分散，投票因而有效；不满足前提时投票无效甚至有害。
它的标准流程是：把温度调高、对同一问题并行采样若干条推理链，再对最终答案取多数。
收益的历史基线来自 GSM8K 这类可验证任务，提升可达两位数百分点。
现行证据显示这条曲线已经走平：样本数大幅增加只换来很小提升，高样本数下部分配置反而下降，而 token 成本仍在上涨。
更值得警惕的是增益符号会随模型翻转——同一套设置在某个模型上准确率上升，在另一个模型上下降，同时推理忠实度可能大幅上升。
因此投票不是可以无条件叠加的性能旋钮，而是一个需要逐模型实测的开关。

03何时该用 / 何时不该用

按场景对照：先看条件，再看该怎么做。
类别	场景 / 条件（总结）	具体做法（细节）
该用	答案唯一、错误路径发散的封闭式任务，且本来就需要多次采样时	投票几乎免费，可以直接启用。
该用	需要推理忠实度而不只是准确率时	投票可能提高忠实度，但增益方向必须逐模型实测确认。
不该用	模型存在系统性偏见的任务	所有路径犯同一个错误，投票会放大置信度而不是修正它。
不该用	把采样数当性能旋钮	收益在早期就饱和，继续加大样本数只买到线性上涨的成本，准确率甚至可能反向。

04实验台

shellbash

查看代码

# 同一问题采样 N 条推理路径，再对最终答案做多数投票
N=7
for i in $(seq 1 $N); do
  curl -s https://<你的端点>/v1/chat/completions \
    -H "Authorization: Bearer $API_KEY" -H "Content-Type: application/json" \
    -d '{"model":"<你的模型>","temperature":0.8,
         "messages":[{"role":"user","content":"<问题>\n推理后最后一行只输出答案"}]}' \
    | python3 -c 'import json,sys; print(json.load(sys.stdin)["choices"][0]["message"]["content"].strip().splitlines()[-1])'
done | sort | uniq -c | sort -rn

预期观察：末行输出按票数降序排列的答案清单。首名票数除以 N 就是这次投票的置信度：若首名票数不到一半，说明错误路径没有发散到能被投票纠正的程度，此题上投票无增益。再把 N 从 1 逐档加到 7 记录准确率，若准确率在 N=3 之后不再上升，继续加 N 只是线性增加成本。

filemarkdown

查看代码

为每个模型（或每个模型档位）在 `sc-log.md` 里单开一张表：

| N | 准确率 | 首名票占比 | 平均 token | 结论 |
|---|---|---|---|---|
| 1 |  |  |  | 单次基线 |
| 3 |  |  |  |  |
| 5 |  |  |  |  |
| 7 |  |  |  |  |

规则：换模型或换档位就重开一张表；准确率不在下一档继续上升时，把 N 冻结在已饱和的档位；若某模型上准确率随 N 下降，标记符号为负并停用投票。

预期观察：读者能在同一张表里同时读到收益与成本，并对每个模型给出「启用 / 饱和 / 停用」三档结论，而不是把采样数当成越大越好的旋钮。

05证据

主张在 2022–2023 年世代的模型与可验证任务上，多路径采样加投票带来两位数级别的准确率提升，这是自一致性收益的历史基线。

分级paper

来源S-0057 https://arxiv.org/abs/2203.11171

原文

展开原文关键句

self-consistency boosts ... GSM8K (+17.9%), SVAMP (+11.0%), AQuA (+12.2%), StrategyQA (+6.4%) and ARC-challenge (+3.9%)

主张在现行模型上把采样数加到 20，准确率提升极小（HotpotQA 仅 0.4%、MATH-500 仅 1.6%），性能早早进入平台期，而 token 成本仍随样本数近线性上涨。

分级paper

来源S-0058 https://arxiv.org/abs/2511.00751

原文

展开原文关键句

accuracy gains from increasing the number of sampled reasoning paths are minimal -- 0.4% on HotpotQA across 20 samples, and 1.6% on MATH-500 …

主张自一致性的增益符号随模型而变：同一套设置在一个模型上把准确率从 78% 提到 90%，在另一个模型上反而降到 74.3%。

分级paper

来源S-0059 https://arxiv.org/abs/2601.06423

原文

展开原文关键句

GPT-5.2 shows the expected pattern: accuracy improves from 78% to 90% at N=5 ... Claude Opus 4.5 tells a completely different story. Its accuracy actually drops from 78% to 74.3%

06术语

术语自一致性　Self-Consistency

界定以高温并行采样多条推理路径并对最终答案做多数投票的集成方法；其收益在现代模型上趋于饱和，且在部分模型上符号可能翻转。

07失效模式

把采样数当性能旋钮收益在早期就饱和，继续加大 N 只买到线性上涨的 token 成本，部分配置下准确率还会下降。
在答案本就不唯一的任务上投票多数票只是若干合理答案中偶然占多的一种，票据看似置信度高，实则把答案多样性抹平。
所有路径同错时仍然投票模型对某类题目的系统性偏见不会因为采样变多而发散，投票反而把同一个错误包装成高置信度结论。
跨模型照搬温度与采样数同一套设置的增益符号随模型翻转，换模型后未重测就沿用，可能把原本的提升改成损害。

08在本站知识结构中的位置

所属分组: G02推理增强
依赖深度: 第 11 层（同层节点彼此无先后约束）

前置PE-R-02→PE-R-03 本节点→后继PE-R-04

在交互全景图中定位本节点。