新一代提示词工程 · 知识全景图面向有工程基础、提示词工程尚未系统化的工程师
显示设置

换模型即失效与重编译

Model Swap Invalidates and Requires Recompilation

PE-M-03内容已写满G07模型差异与迁移第 19 层

模型迁移重编译回归

一句话结论

提示词不是可移植资产:换代、参数改型或能力收回发生后,必须重建基线、只重做与模型相关的部分并跑全量回归,同时保留可回滚的版本。

本页结构(可跳转)

S1 ① 建立新基线 跑现有评测集 S2 ② 分离差异 模型差异与提示词问题 S1->S2 S3 ③ 针对性调整 只改失败项 S2->S3 N 须重建的部分(与模型绑定) 指令措辞 · 示例 · 参数档位 · 格式约束强度 S2->N K 可复用的部分(与模型无关) 任务定义 · 输出契约 · 评测集 · 校验器 S4 ④ 跑全量回归 确认没有新增失败 S3->S4 C 声明式编译路线:换模型后重跑编译即可产出新配置 这正是编译路线相对手工改提示的价值 N->C
流程图:换模型后的四步固定动作(建新基线 → 分离差异 → 针对性调整 → 跑全量回归),以及「哪些必须重建、哪些可以复用」。 (本站自制)

01为什么需要它

换模型常被当成改一个字符串的轻量操作,实际上提示词中的多数经验都与具体模型绑定:同一段指令在旧模型上稳定通过,换到新模型后可能整段失效,而失败现场往往被误读成提示词写法退化。

适用边界

需要重建的只限于与模型相关的部分:指令措辞、示例选择、参数档位与格式约束强度;任务定义、输出契约、评测集与校验器这些与模型无关的部分应当复用,这也正是提示词工程值得投入的地方。

02机制说明

提示词不是可移植资产,原因有四条

  1. 模型对指令措辞的敏感度不同,同一句强调在旧模型上有效,在新模型上可能被直接忽略
  2. 模型对示例的依赖程度不同,有的模型靠少量示例即可对齐格式,有的需要更完整的示例,有的已经不需要示例
  3. 模型对格式约束的耐受度不同,把强约束加在已经内化格式的模型上反而会干扰推理
  4. 推理能力的内化程度不同,这决定了显式推理指令是增益还是冗余。

03何时该用 / 何时不该用

按场景对照:先看条件,再看该怎么做。
类别场景 / 条件(总结)具体做法(细节)
该用更换底座模型或模型版本时先冻结模型版本与提示词版本,用同一评测集建立新基线,再决定改动范围。
该用厂商发布弃用通告或收回能力时逐条核对现有提示词中用到的技巧与参数,先迁移到现行写法,再评估效果。
该用使用声明式编译框架时换模型后重跑编译产出新配置,而不是手工逐句改写提示词。
不该用沿用旧模型上的基线数字那会把模型侧的能力差异记成提示词改动的涨跌。

04实验台

  1. shellbash

    查看代码
    cd prompts/
    git rev-parse --short HEAD    # 提示词与评测集的版本标识
    python3 evals/run_eval.py --model "$OLD_MODEL" --out reports/old.json
    python3 evals/run_eval.py --model "$NEW_MODEL" --out reports/new.json
    python3 evals/diff_reports.py reports/old.json reports/new.json --by-case

    预期观察:两次运行使用同一评测集与同一校验器,只有模型标识不同;输出逐样本对比并按用例分组列出新增失败项,用于区分模型差异与提示词问题。若两份报告缺少同一评测集版本标识,则本次对比判定为不可比,不给出涨跌结论。

  2. promptmarkdown

    查看代码
    你是一名提示词迁移分析员。输入是同一评测集上旧模型与新模型的两份逐样本结果,以及当前提示词的版本标识。请只依据输入作答,不引入外部知识。要求:一,列出新模型上新增的失败用例,并标注它们共同依赖的提示词特征,例如措辞强调、示例数量、格式约束强度、显式推理指令;二,把每个失败项归因为模型差异、提示词问题或能力收回三类之一,并给出依据;三,对需要改写的部分给出最小改动建议,对与模型无关的部分明确写出可以复用;四,若两份结果的评测集版本标识不一致,直接判定为不可比并停止分析。

    预期观察:输出把新增失败用例逐条归因到模型差异、提示词问题或能力收回三类之一,给出最小改动建议,并显式列出可以复用的与模型无关部分;当两份结果的评测集版本标识不一致时,回答必须判为不可比,而不是继续比较分数。

05证据

主张厂商在换代时直接收回能力:新模型不再支持末轮助手消息预填充,带预填充的请求返回错误,依赖该技巧的提示词必须重写。

分级official

来源S-0001 https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices

原文

展开原文关键句
Starting with Claude 4.6 models and Claude Mythos Preview ... on the last assistant turn are no longer supported. Requests with prefilled assistant messages to these models return a 400 error.

主张推理参数在换代时改型:旧的思考开关写法与手动预算参数被弃用,新模型上直接报错,必须迁移到新的参数形态与档位。

分级official

来源S-0003 https://platform.claude.com/docs/en/build-with-claude/extended-thinking

原文

展开原文关键句
You need to migrate off `type: "enabled"` if: You use Claude Opus 4.6 or Sonnet 4.6, where `budget_tokens` is deprecated. ... where `type: "enabled"` returns a 400 error.

主张厂商把可复用的提示对象 API 标记弃用并给出关停时间线,提示词因此必须作为应用代码的一部分被版本化与回滚。

分级official

来源S-0011 https://developers.openai.com/api/docs/guides/prompt-engineering

原文

展开原文关键句
OpenAI is deprecating reusable prompt objects in the API. Prompt creation will be de-emphasized beginning June 3, 2026, and `v1/prompts` is scheduled to shut down on November 30, 2026.

06术语

术语换模型即失效与重编译 Model Swap Invalidates and Requires Recompilation

界定提示词中的多数经验与具体模型绑定;更换模型后必须重跑评测并重做优化,而不是沿用旧结论。

相关节点—

术语声明式编译与签名 Declarative Compilation and Signatures

界定把 LLM 调用声明为带输入输出字段的签名,再由编译器在指令与示例空间中搜索最优配置;代表实现为 DSPy。

相关节点—

术语提示词版本化与回归 Prompt Versioning and Regression

界定把提示词当作代码资产纳入版本控制,并在每次改动后跑同一评测集对比基线,防止无声退化。

相关节点—

07失效模式

08在本站知识结构中的位置

所属分组
G07模型差异与迁移
依赖深度
第 19 层(同层节点彼此无先后约束)
前置PE-M-02→PE-M-03 本节点→后继PE-M-04

在 交互全景图 中定位本节点。