新一代提示词工程 · 知识全景图面向有工程基础、提示词工程尚未系统化的工程师
显示设置

推理与格式的冲突

Reasoning–Format Conflict

PE-S-03内容已写满G01确定性输出第 8 层

确定性输出推理格式约束

一句话结论

需要推理的任务应把自由推理与结构化整理拆成两次调用,只有不需要推导的抽取类任务才适合直接上最严约束。

本页结构(可跳转)

Q 同一个任务 要推理 + 要结构化输出 A1 形态 A:先自由推理 输出契约不参与解码 Q->A1 B1 形态 B:边推理边守 schema 每一步都屏蔽大部分候选 Q->B1 A2 再一次调用格式化 按 schema 整理结论 推理质量完整保留 A1->A2 N 代价与收益 A:调用次数与延迟上升 B:一次调用,但推理表现下降 A2->N B2 中间状态无法自由试探 格式约束挤占推理预算 ⇒ 质量可差一截 B1->B2 B2->N
对照图:同一任务在「先自由推理后格式化」与「边推理边守 schema」两种形态下的推理预算与质量差异。 (本站自制)

01为什么需要它

强格式约束与推理能力之间存在真实冲突:同一条需要多步推导的任务,在「先自由推理再格式化」与「边推理边遵守 schema」两种形态下质量可以差一截,且约束越严退化越大。

适用边界

这条冲突的前提是任务本身需要推导:抽取、分类、改写这类不需要推理的任务,强结构几乎没有代价,直接一次强约束即可。冲突的实证对象是生成空间受限的约束解码与强格式指令,不含两阶段模式——两阶段之所以有效,正是因为它把推理与格式化在时间上分开了。

02机制说明

冲突的机制有三个候选层面。

03何时该用 / 何时不该用

按场景对照:先看条件,再看该怎么做。
类别场景 / 条件(总结)具体做法(细节)
该用需要多步推导且输出要结构化拆成推理与格式化两次调用,中间结果以自然语言或无约束草稿传递。
该用抽取、分类、改写这类不需要推导的任务直接上最严约束,一次调用完成,不为两阶段付延迟。
不该用把两阶段当默认简单任务上多一次调用只增加成本与延迟,不带来质量收益。
不该用只测结构通过率格式合法而语义错误的输出会通过结构校验,须同时统计语义正确率。

04实验台

  1. shellbash

    查看代码
    # 同一批需要多步推导的题,两种形态各跑一遍,分别统计语义正确率、结构合法率与平均输出 token
    # schema_only:一次调用,直接要求输出符合 schema 的 JSON
    # two_stage:第一次自由推理,第二次只把结论整理进 schema
    for shape in schema_only two_stage; do
      echo "== shape=$shape =="
      for i in $(seq 1 30); do
        curl -s "$API_ENDPOINT" -H 'content-type: application/json' \
          -d @"req-$shape-$i.json" > "out-$shape-$i.json"
      done
      python3 score.py --shape "$shape"   # 打印 语义正确率 / 结构合法率 / 平均输出 token
    done

    预期观察:schema_only 档的结构合法率通常接近满分、语义正确率明显更低;two_stage 档把语义正确率补回来,代价是调用次数与总 token 上升。两次读数的差值就是这个冲突在本模型与本题集上的量级,也是判断是否值得拆调用的依据。

  2. filemarkdown

    查看代码
    schema 压扁清单:对着现有 schema 逐字段问四句
      下游真的会读这个字段吗 | 能否由其它字段推导出来 | 是否只是文档性说明 | 能否从嵌套对象提升为平铺标量
    判据:四句里有一句答「否」就删掉该字段;删完重跑上一步的两形态对照,看语义正确率的差距是否缩小。
    注意:压扁只降低格式约束的占用,替代不了两段式——需要长推导时仍要拆调用。

    预期观察:读者能把自己的 schema 砍到只留下游真正消费的字段,并能量出压扁之后两形态之间的差距收窄了多少。

05证据

主张格式约束下模型的推理能力出现显著下降,且约束越严退化越大——这是本节点核心结论的一手实证。

分级paper

来源S-0053 https://arxiv.org/abs/2408.02442

原文

展开原文关键句
we observe a significant decline in LLMs reasoning abilities under format restrictions. ... stricter format constraints generally lead to greater performance degradation

主张推理过程本身在 token 上是有长度的,且推理预算的取值直接决定效果——支持「格式占用与推理展开相互挤占」这一解释路径。

分级paper

来源S-0056 https://arxiv.org/abs/2412.18547

原文

展开原文关键句
the reasoning process of current LLMs is unnecessarily lengthy ... the choice of token budget plays a crucial role in the actual compression effectiveness

主张推理增益取决于任务深度:深任务上 CoT 带来 +54 至 +68 个百分点的回升,浅任务上 CoT 在结构上是冗余的——支持「不需要推理的抽取类任务几乎不承受格式代价」这一适用边界。

分级paper

来源S-0039 https://arxiv.org/abs/2608.09942

原文

展开原文关键句
On high-depth P-complete tasks (GSM8K, MATH), CoT gives a +54 to +68 pp recovery gap across all models. On shallow TC^0 tasks (MMLU, ARC), CoT is structurally redundant (Delta in [0.0, +4.6] pp).

06术语

术语推理与格式的冲突 Reasoning–Format Conflict

界定在生成空间受限的格式约束下,模型的推理表现会下降,且约束越严退化越大;本节点给出的处置是把推理与格式化在时间上拆开,而不是在两者之间二选一。

相关节点—

术语约束解码 Constrained Decoding

界定在采样阶段按文法或 schema 屏蔽不合法的 token 路径,使输出在结构上必然合法;本节点关注的正是这种逐 token 屏蔽对中间推理步骤的挤压。

相关节点—

术语结构化输出 Structured Output

界定以 JSON Schema 等模式约束模型输出结构的机制;严格模式通常要求全部字段必填且禁止额外属性,字段与嵌套越多,被压缩的自由生成空间越大。

相关节点—

07失效模式

08在本站知识结构中的位置

所属分组
G01确定性输出
依赖深度
第 8 层(同层节点彼此无先后约束)
前置PE-S-02→PE-S-03 本节点→后继PE-S-04

在 交互全景图 中定位本节点。