这是本教程要讲清的第一条被证伪的技巧形态:在具备原生思考的推理模型上,手写「一步一步思考」式思维链与堆砌示例不仅收益趋零,还可能降低指令遵循能力并显著推高延迟与 token。
反转的机制来自分工变化:推理模型把多步推导内化进底座,思考深度由模型按需分配,外部再写一遍步骤既重复又可能与内部策略冲突,表现为指令遵循下降、延迟与 token 上升。
主张推理模型上思维链提示的增益仅边际(o3-mini 2.9%、o4-mini 3.1%),而 Gemini Flash 2.5 上为负 3.3%,同时耗时增加 20% 至 80%;边界是 GPQA Diamond 198 题、每条件 25 次重复,非推理模型上 CoT 仍有小增益。
分级paper
来源S-0035 https://arxiv.org/abs/2506.07142
原文展开原文关键句 原文截断
For models designed with explicit reasoning capabilities, CoT prompting often results in only marginal, if any, gains in answer accuracy. However, it significantly increases the time and tokens …
主张官方明确建议避免思维链提示:推理模型内部已执行推理,因此要求「一步一步思考」或「解释你的推理」既不必要,且可能不但无益反而有害。
分级official
来源S-0010 https://developers.openai.com/api/docs/guides/reasoning-best-practices
原文展开原文关键句 原文截断
These models perform best with straightforward prompts. Some prompt engineering techniques, like instructing the model to "think step by step," may not enhance performance (and can sometimes hinder …
主张官方现行口径把偏好一般性指令而非规定性步骤写成原则,并把手写思维链降级为思考关闭时的兜底;在部分新模型上要求模型写出推理内容可能被拒绝。
分级official
来源S-0001 https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices
原文展开原文关键句 原文截断
Prefer general instructions over prescriptive steps. A prompt like "think thoroughly" often produces better reasoning than a hand-written step-by-step plan. ... Manual chain-of-thought (CoT) …
主张任务域反例:在高串行深度任务(GSM8K、MATH)上 CoT 相对无 CoT 有 54 至 68 个百分点的恢复差,浅层任务上结构性冗余,代码任务上随模型规模符号翻转;该结论来自单作者预印本,样本为三个 7B 至 32B instruct 模型。
分级paper
来源S-0039 https://arxiv.org/abs/2608.09942
原文展开原文关键句 原文截断
On high-depth P-complete tasks (GSM8K, MATH), CoT gives a +54 to +68 pp recovery gap across all models. On shallow TC^0 tasks (MMLU, ARC), CoT is structurally redundant (Delta in [0.0, +4.6] pp). …
主张可恢复性反例:经验证器强化学习训练的推理模型上少样本思维链常劣于直接作答且增加示例持续降准,但把示例转成显式要点后可重新获益(AIME'25 上 GPT-4.1 提升 14.0 个百分点)——故「有害」是默认用法的结果,不是示例本身无用。
分级paper
来源S-0038 https://arxiv.org/abs/2509.23196
原文展开原文关键句 原文截断
Recent reasoning LLMs (RLMs), especially those trained with verifier-based reinforcement learning, often perform worse with few-shot CoT than with direct answering. ... adding more exemplars …
主张第三家厂商交叉验证:新一代模型自动生成内部思考文本,通常不需要让模型在返回内容里再概述、规划或详述推理步骤;并建议避免不必要的说服性语言。
分级official
来源S-0018 https://ai.google.dev/gemini-api/docs/prompting-strategies
原文展开原文关键句 原文截断
Gemini 2.5 and 3 series models automatically generate internal "thinking" text ... it's generally not necessary to have the model outline, plan, or detail reasoning steps in the returned response …
术语思维链 Chain-of-Thought, CoT
界定引导模型先写出中间推理步骤再给答案的技巧;在具备原生思考的推理模型上其边际收益趋零甚至为负,在非推理模型与高串行深度任务上仍有效。
相关节点—
术语范式反转 Paradigm Reversal
界定同一技巧在新一代模型上由增益转为无增益或负增益的现象;判定须限定任务域与模型类别,不可外推为普遍规律。
相关节点—
术语串行深度 Serial Depth
界定任务解题所需的串行推理步数;它是判断 CoT 是否有用的可证伪变量——高串行深度任务上 CoT 仍有大幅增益,浅层任务上则结构性冗余。
相关节点—
术语少样本提示 Few-shot Prompting
界定在提示中给出若干输入输出示例以约束格式、语气与歧义消解;现行口径为少量、多样、结构化,并反对穷举边界案例。
相关节点—
术语未证实与已证伪之别 Unevidenced vs. Falsified
界定「未被现行厂商实践或权威来源收录」只是证据缺席,「已被反证推翻」才有反证;两者判定不同,混用会让读者把未证实当成已证伪。
相关节点—