校验与修复回路

Validation and Repair Loop

PE-S-05内容已写满G01确定性输出第 10 层

01为什么需要它

模型给出坏结构不是偶发故障，而是当前生成方式下的固有概率：字段类型写错、枚举值越界、必填项留空、引用不存在的 id。

• 校验与修复回路把这类失败当作常规分支处理，即生成、用 schema 与业务规则校验、把具体错误回喂、重新生成，直到通过或触顶。
• 没有这条回路，每一次坏输出都要靠人工发现与人工重跑，成本随调用量线性增长，而失败样本也无法被计数与归类。

02机制说明

一条可用的修复回路由四个部件构成。

• 其一是校验器，既做结构校验（JSON 是否合法、字段类型与必填项、是否出现额外属性），也做业务规则校验（枚举取值、引用是否存在、数值区间）。
• 其二是错误回灌，把校验器的错误信息重新作为输入的一部分送回去，并且必须具体到位置与期望值：只回一句「JSON 非法」几乎不改变下一次采样的结果，而「第 3 个字段 type 应为 integer，实际是 string」把待修正的自由度收窄到一个点上。
• 其三是重试策略，包括次数上限、是否更换提示变体、以及触顶后的兜底动作；上限必须显式设定，否则预算会在无收敛的循环里被烧掉，故障也被延迟暴露。
• 其四是可观测指标，至少要区分首次通过率与最终通过率：前者反映提示词与 schema 的质量，后者反映回路的效率，两者混在一起看会掩盖真正的瓶颈。
• 工程上还有两条经验：校验器写成与模型无关的纯函数，换模型时不必重写；错误信息按结构化的字段路径组织，回灌时逐条列出而不是拼成散文。
• 外部工具链已经把这条回路产品化：promptfoo 把 is-json 这类结构断言做成可声明、可取反的评测项，instructor 在 API 侧提供 schema 校验与重试层，outlines 与 xgrammar 则把结构层面的同类问题前移到生成期解决。

03何时该用 / 何时不该用

04实验台

1. filepython

   查看代码

   import json, jsonschema
   
   MAX_TRIES = 3
   
   def validate(raw, schema):
       try:
           obj = json.loads(raw)
       except json.JSONDecodeError as e:
           return None, f"JSON 非法：第 {e.lineno} 行第 {e.colno} 列，{e.msg}"
       errs = [f"{'/'.join(map(str, p.absolute_path)) or '<root>'}：{p.message}"
               for p in jsonschema.Draft202012Validator(schema).iter_errors(obj)]
       return (obj, "") if not errs else (None, "\n".join(errs))
   
   def repair_loop(call_model, prompt, schema, max_tries=MAX_TRIES):
       errs = ""
       for attempt in range(1, max_tries + 1):
           ask = prompt if not errs else (
               f"{prompt}\n\n上次输出被校验器拒绝，错误如下：\n{errs}\n"
               "请只修正这些问题后重新输出完整 JSON。")
           obj, errs = validate(call_model(ask), schema)
           if obj is not None:
               return obj, attempt          # attempt = 重试次数 + 1
       raise RuntimeError(f"修复回路触顶：{max_tries} 次仍未通过；最后一次错误：{errs}")

   预期观察：首次即通过时返回 attempt=1；把某个字段的值改成字符串后，errs 应给出该字段的路径与期望类型，而不是笼统的「格式错误」；连续失败达到上限时抛出异常并计数，不得无限重试。

2. filemarkdown

   查看代码

   回路指标记录表（每次请求一行）
   列：请求 id / 首次是否通过 / 重试次数 / 最后一次错误类型（结构 / 语义）/ 最终是否通过
   派生指标：首次通过率 = 首次通过数 ÷ 请求数；修复成功率 = 重试后通过数 ÷ 首次失败数；平均重试次数 = 重试次数总和 ÷ 请求数
   纪律：触顶样本逐条留档并归类到具体错误类型，不得只统计最终通过率。

   预期观察：能区分首次通过率与最终通过率，并据此判断瓶颈在提示词与 schema 侧还是在回路效率侧；触顶样本可被归因到具体错误类型。

05证据

06术语

07失效模式

• 错误回灌过于笼统只把「JSON 非法」贴回去，模型只能在同一个自由空间里重新采样，修复成功率接近单次通过率。
• 重试没有上限失败样本反复消耗预算，故障被延迟到账单或下游系统才暴露。
• 只统计最终通过率提示词与 schema 的退化被回路的重试掩盖，直到平均重试次数与延迟一起上升才被察觉。
• 把无法被校验器表达的失败也塞进回路指令歧义或资料缺失导致的错误不会被错误信息修正，重试只是把同一次失败重复一遍。

08在本站知识结构中的位置

所属分组

G01确定性输出

依赖深度

第 10 层（同层节点彼此无先后约束）

在 交互全景图 中定位本节点。