新一代提示词工程 · 知识全景图面向有工程基础、提示词工程尚未系统化的工程师
显示设置

极简推理草稿

Chain of Draft

PE-R-06内容已写满G02推理增强第 14 层

推理增强极简草稿成本

一句话结论

极简草稿的用法是先量出 token 节省与质量损失两条曲线,再决定它是否进入生产链路;原报告的极值只能当上界参考,不能当目标值。

本页结构(可跳转)

A 完整思维链 token 基线 100% B 原报告的最优情形:token 最少降到 7.6% 准确率持平或超越完整思维链 A->B 原报告 C 代码任务全量样本实测:最省时变体仍用 55.4% 且仅保持原有代码质量的九成以上(存在质量损失) A->C 跨域外推 E 结论口径 7.6% 是各任务中的最优情形,不是目标值 极简草稿应当作待测变体 B->E D 另一条路线:在提示中声明 token 预算 预算取值本身决定压缩成效 ⇒ 预算也是需要调参的对象 C->D
压缩比对照图:原报告的最优极简程度与代码任务上的实测节省幅度差距悬殊,以及质量损失与「预算也是待调参量」。 (本站自制)

01为什么需要它

推理的开销主要花在中间步骤的冗长表述上:模型为了「说清楚」而写下的成百上千字草稿,多数并不进入最终答案,却按 token 全额计费并推高延迟。

适用边界

它只在步骤可枚举、结构简单、下游能容忍约一成质量波动的任务上划算;一旦推理链需要长程自由探索,或正确率不容许任何损失,压缩省下的 token 会以错误的形式还回来。另一个易被忽略的边界在评测侧:若判分器本身不稳,测出的质量损失与节省幅度都会失真,此时应先修判分器而不是改提示词。

02机制说明

极简推理草稿的做法是给模型一个强约束:每一步只允许用极少的词记录关键量与阶段结论,不许铺陈解释,分步结构保留而叙述删去。

03何时该用 / 何时不该用

按场景对照:先看条件,再看该怎么做。
类别场景 / 条件(总结)具体做法(细节)
该用推理步骤冗长但结构简单、token 成本敏感的任务把极简草稿与完整思维链作为同一批样本上的两个变体并列跑,测出节省与准确率两条曲线再取舍。
该用需要显式控制推理长度时可改用提示内的 token 预算声明,但预算取值必须实测标定,并记录不同取值下的压缩成效。
不该用把原报告的最优比例当目标值跨域实测的节省幅度差距显著,照抄会把容量与延迟的预期全部定错。
不该用不容许质量损失的任务极简变体在代码任务上只保持约九成质量,正确率优先时应回退到完整推理或调高推理努力档。

04实验台

  1. promptmarkdown

    查看代码
    【变体 A:完整思维链】
    一步一步推理,每一步都写清依据,最后一行给出答案(格式:答案:X)。
    题目:{q}
    
    【变体 B:极简推理草稿】
    每一步只用不超过 5 个词记录关键量与阶段结论,不写解释,最后一行给出答案(格式:答案:X)。
    题目:{q}
    
    【变体 C:提示内 token 预算】
    在不超过 {budget} 个 token 的推理长度内完成推理并给出答案,超出即视为失败。
    题目:{q}

    预期观察:同一批样本上三个变体各自跑一遍:完整思维链的准确率作基线;极简草稿应显著更短,若准确率下降超过一成即判定该域不适用;token 预算变体在 {budget} 从宽到严的扫描中应出现一个质量拐点,只报告拐点附近的取值。三个变体的输出长度与准确率必须同表记录,禁止只报节省不报准确率。

  2. shellbash

    查看代码
    # out/cot-*.txt 是完整思维链变体的输出,out/cod-*.txt 是同批样本的极简草稿输出
    for v in cot cod; do
      printf "%-4s 词数合计=%s\n" "$v" "$(cat out/$v-*.txt | wc -w)"
    done
    python3 - <<'PY'
    import glob
    w = lambda p: sum(len(open(f, encoding="utf-8").read().split()) for f in glob.glob(p))
    cot, cod = w("out/cot-*.txt"), w("out/cod-*.txt")
    print("草稿变体占完整思维链的词数比 = %.1f%%" % (100.0 * cod / cot))
    PY

    预期观察:极简变体的词数比应明显低于 100%,但它只是成本侧的一半读数:必须与判分脚本给出的准确率同表比对,且若该比值远低于跨域实测的 55.4% 量级,要先确认样本域是否偏简单而非宣布胜出;词数比与质量保持率任一缺失,本次实验都不作结论。

05证据

主张原报告的核心主张:极简草稿在准确率上不输完整思维链,而 token 用量最低可降到 7.6%。

分级paper

来源S-0054 https://arxiv.org/abs/2502.18600

原文

展开原文关键句
CoD matches or surpasses CoT in accuracy while using as little as only 7.6% of the tokens

主张跨域复现显示节省幅度远小于原报告的极值,且伴随质量损失:最省时的变体只用到完整思维链的 55.4% token,仅保持九成以上代码质量。

分级paper

来源S-0055 https://arxiv.org/abs/2506.10987

原文

展开原文关键句
Baseline CoD being most efficient at 55.4% of CoT's tokens ... this differs from the extreme 7.6% reported in the original CoD paper ... CoD variants maintain over 90% of CoT's code quality

主张另一条压缩路线是在提示中声明 token 预算来压缩推理长度,而压缩成效取决于预算取值,因此预算本身是需要实测调参的对象。

分级paper

来源S-0056 https://arxiv.org/abs/2412.18547

原文

展开原文关键句
the reasoning process of current LLMs is unnecessarily lengthy ... the choice of token budget plays a crucial role in the actual compression effectiveness

06术语

术语极简推理草稿 Chain of Draft, CoD

界定以极短草稿替代完整推理步骤的低成本推理形态;判据是同一批样本上 token 用量与准确率的成对读数,其节省幅度强烈依赖任务域,代码任务上远不及原论文报告值。

相关节点—

术语推理努力档 Reasoning Effort

界定推理模型上控制思考深度的参数档位;当极简草稿的质量损失不可接受时,它是一条回退路径,启用非 none 档位时通常须移除温度与 top-p 等采样参数。

相关节点—

术语思维链 Chain-of-Thought, CoT

界定引导模型先写出中间推理步骤再给答案的技巧;它是极简草稿的比较基线,压缩比只有相对它读才有意义。

相关节点—

07失效模式

08在本站知识结构中的位置

所属分组
G02推理增强
依赖深度
第 14 层(同层节点彼此无先后约束)
前置PE-R-05→PE-R-06 本节点→后继PE-R-07

在 交互全景图 中定位本节点。