新一代提示词工程 · 知识全景图面向有工程基础、提示词工程尚未系统化的工程师
显示设置

标记敏感度的迁移性

Transferability of Markup Sensitivity

PE-M-02内容已写满G07模型差异与迁移第 8 层

模型迁移标记可迁移性

一句话结论

标记写法是按模型重测的配置项:换模型时用带标记与不带标记的对照测试重新确认,并把标记是否泄漏纳入判据。

本页结构(可跳转)

M 同一套标记写法(例如用 XML 标签包裹各段) A 模型甲:对齐训练覆盖此类标记 ⇒ 标签被当作结构信号,收益明显 M->A 敏感 B 模型乙:未覆盖此类标记 ⇒ 忽略标签,甚至把标签当正文打印 M->B 不敏感 J 测试判据不只看准确率 还要看标记是否泄漏到输出 泄漏通常意味着结构信号未被识别 B->J N 三个来源 训练数据中该类标记的出现频率 · 指令微调阶段是否用过这类标记 分词器对标记的切分方式(可能切成不利于整体识别的片段)
对照图:同一套标记写法在两个模型上收益相反、标记泄漏这一判据,以及按模型维护标记配置的应对。 (本站自制)

01为什么需要它

同一套标记写法在不同模型上的收益并不可迁移:某个模型对 XML 标签、分节标题这类结构响应明显,换到另一个模型后同样的标签可能被完全忽略,甚至被当作正文原样打印出来。

适用边界

本节点限定的是标记与结构写法的可迁移性:它不否定标记在多部分提示中的消歧价值,只说明这种价值的强度必须逐模型实测;同一模型族内不同版本的标记敏感度同样需要重新确认,不能按版本号外推。

02机制说明

标记敏感度的差异有三个来源:训练数据中该类标记的出现频率、指令微调阶段是否使用过这类标记、以及分词器对标记的切分方式(部分标签会被切成不利于整体识别的片段)。

03何时该用 / 何时不该用

按场景对照:先看条件,再看该怎么做。
类别场景 / 条件(总结)具体做法(细节)
该用换模型或引入新模型时对标记写法做一次带标记与不带标记的小规模对照测试,再决定是否沿用。
该用多模型共存的产品中为每个模型维护一组已验证的标记写法,把标记体系做成可替换的配置。
不该用把标记写法当跨模型通用经验敏感度取决于该模型是否针对此类标记做过对齐训练。
不该用只看准确率就判定标记有效还要检查标记是否泄漏到输出中。

04实验台

  1. filepython

    查看代码
    # 标记敏感度对照:同一任务、同一评测集,只切换标记写法,逐模型各跑一遍
    VARIANTS = {
        "markup": "资料放进 <context> 标签,示例放进 <example> 标签,格式约束单独分节",
        "plain": "资料、示例、格式约束三段平铺,不使用任何标签",
    }
    
    def leaked(text):
        # 标记泄漏:标签出现在输出里,通常说明结构信号未被识别
        return any(t in text for t in ("<context>", "</context>", "<example>", "</example>"))
    
    rows = []
    for model in MODELS:
        for name, style in VARIANTS.items():
            out = call(model, build(style, task))   # build 只改标记写法,不改内容
            rows.append({"model": model, "style": name,
                         "score": score(out, task), "leaked": leaked(out)})
    print_table(rows)

    预期观察:逐模型得到一张对照表:只有当某个模型上 markup 变体的得分不低于 plain 且未出现标记泄漏时,才把该标记写法登记为该模型的已验证配置;若两个变体差异不显著,说明该模型对这套标记不敏感,不能把别处模型的收益当作它也会受益。

  2. filemarkdown

    查看代码
    # 标记写法登记表(按模型维护;换模型新增一行,不覆盖旧行)
    
    | 模型 | 标记写法 | 对照结论 | 标记泄漏 | 登记日期 |
    |---|---|---|---|---|
    | <model-a> | `<context>` / `<example>` 分节 | 优于平铺 | 无 | <date> |
    | <model-b> | 不用标签,改分节标题 | 与平铺持平 | 无 | <date> |
    | <model-c> | 尚未对照 | 无结论 | 未测 | <date> |
    
    对照记录须写明:任务、评测集、两个变体的得分、以及是否出现标记泄漏。

    预期观察:读者能产出一张按模型分行的登记表,同一标记写法在不同模型上可以有不同结论;表中没有任何一行是从别的模型复制而来,换模型时只新增行而不改旧行。

05证据

主张生产案例:某工具厂商发现其提示中过去对更早模型有效的段落需要重新调校,其中一处强调式标签在新模型上被判定为适得其反,说明同一标记写法跨模型不可沿用。

分级official

来源S-0015 https://raw.githubusercontent.com/openai/openai-cookbook/main/examples/gpt-5/gpt-5_prompting_guide.ipynb

原文

展开原文关键句
Cursor found that sections of their prompt that had been effective with earlier models needed tuning ... <maximize_context_understanding> Be THOROUGH ... they found it counterproductive with GPT-5

主张官方口径按模型族区分指令的具体程度:推理型模型在只给高层指引时表现更好,而另一类模型需要非常精确的指令,因此结构与指令写多细的收益随模型族而变。

分级official

来源S-0011 https://developers.openai.com/api/docs/guides/prompt-engineering

原文

展开原文关键句
Generally speaking, reasoning models will provide better results on tasks with only high-level guidance. This differs from GPT models, which benefit from very precise instructions.

主张标记用法的官方说明本身以单一模型族为对象表述(帮助该模型解析复杂提示),说明标记收益的结论是按模型族给出的,不能直接外推到其他模型。

分级official

来源S-0001 https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices

原文

展开原文关键句
Wrap examples in `<example>` tags (multiple examples in `<examples>` tags) so Claude can distinguish them from instructions. ... XML tags help Claude parse complex prompts unambiguously

06术语

术语标记敏感度的迁移性 Transferability of Markup Sensitivity

界定对某种标记(如 XML 标签)的响应强度取决于该模型是否针对此类标记做过指令对齐训练,因此同一标记在不同模型上的效果不可假定一致。

相关节点—

术语分隔符与上下文隔离 Delimiters and Context Isolation

界定用 XML 标签、专用分节标记等把指令、示例、资料与用户输入在文本上划出边界,使模型能无歧义解析多部分提示。

相关节点—

术语换模型即失效与重编译 Model Swap Invalidates and Requires Recompilation

界定提示词中的多数经验与具体模型绑定;更换模型后必须重跑评测并重做优化,而不是沿用旧结论。

相关节点—

07失效模式

08在本站知识结构中的位置

所属分组
G07模型差异与迁移
依赖深度
第 8 层(同层节点彼此无先后约束)
前置PE-M-01→PE-M-02 本节点→后继PE-M-03

在 交互全景图 中定位本节点。