评测与自动优化

Evaluation and Automatic Optimization

G05评测与自动优化组内节点 9 个层范围第 10 – 21 层组内边 9 条

一句话结论

本组先立判据再谈优化：没有评测集，任何「提示词变好了」的判断都不可复现。

本页结构（可跳转）

本组内部依赖与对外接口：组内 9 个节点、9 条内部边、9 条跨组边（层 10–21）；列自左向右按依赖深度递增，同一列为相邻层带。（本站自制）

01本组导读

本组先立判据再谈优化：没有评测集，任何「提示词变好了」的判断都不可复现。

内容包括评测集构造与判据设计、模型即裁判的偏差、评测工具链与红蓝对抗，再向上走到自动提示词工程、声明式编译与签名、文本梯度与反思式进化、元提示，最后落在提示词版本化与回归。
读者学完应能先回答「怎么知道变好了」，再决定是否引入自动优化，并知道自动优化的收益前提是执行轨迹可获取、评分函数可用。

02组内节点

按依赖深度（layer）升序；同层节点彼此无先后约束。

节点PE-E-01

名称为什么必须先建评测集 Why Build an Eval Set First

依赖深度第 10 层

内容状态内容已写满

节点PE-E-02

名称测试集构造 Test Set Construction

依赖深度第 11 层

内容状态内容已写满

节点PE-E-03

名称模型即裁判及其偏差 LLM-as-a-Judge and Its Biases

依赖深度第 13 层

内容状态内容已写满

节点PE-E-05

名称自动提示词工程 Automatic Prompt Engineering

依赖深度第 17 层

内容状态内容已写满

节点PE-E-06

名称声明式编译与签名 Declarative Compilation and Signatures

依赖深度第 18 层

内容状态内容已写满

节点PE-E-04

名称评测工具链与红蓝对抗 Evaluation Toolchain and Red Teaming

依赖深度第 19 层

内容状态内容已写满

节点PE-E-07

名称文本梯度与反思式进化 Textual Gradient and Reflective Evolution

依赖深度第 19 层

内容状态内容已写满

节点PE-E-08

名称元提示 Meta-prompting

依赖深度第 20 层

内容状态内容已写满

节点PE-E-09

名称提示词版本化与回归 Prompt Versioning and Regression

依赖深度第 21 层

内容状态内容已写满

03本组学习路径

第 10 层 · 1 个节点

PE-E-01 为什么必须先建评测集

前置PE-C-04 架构在册→PE-E-01理由：检索质量的教训是「先度量再优化」，这正是评测集的作用

第 11 层 · 1 个节点

PE-E-02 测试集构造

前置PE-E-01→PE-E-02理由：先建立评测集必要性，再谈如何构造才有区分度

第 13 层 · 1 个节点

PE-E-03 模型即裁判及其偏差

前置PE-E-02→PE-E-03理由：确定性判据不够用时，才引入模型裁判并处理其偏差

前置PE-O-05 架构在册→PE-E-03理由：评估者的可靠性问题正是模型裁判的偏差问题

第 17 层 · 1 个节点

PE-E-05 自动提示词工程

前置PE-E-02→PE-E-05理由：自动优化依赖评测集与可自动计算的判据

前置PE-R-08→PE-E-05理由：反思给出候选改进，自动提示词工程把候选筛选机制化

第 18 层 · 1 个节点

PE-E-06 声明式编译与签名

前置PE-E-05→PE-E-06理由：从「让模型改指令」升级为「声明签名并由编译器搜索配置」

第 19 层 · 2 个节点

PE-E-04 评测工具链与红蓝对抗
PE-E-07 文本梯度与反思式进化

前置PE-A-06→PE-E-04理由：隔离措施是否有效只能靠对抗评测度量，故接评测工具链

前置PE-E-03→PE-E-04理由：先理解裁判偏差，才能正确使用工具链中的模型辅助断言

前置PE-S-05→PE-E-04理由：校验器的判据与评测工具链的断言共用同一套表达方式

前置PE-E-06→PE-E-07理由：先有编译流程与指标，再引入以反馈为梯度的优化方式

第 20 层 · 1 个节点

PE-E-08 元提示

前置PE-E-07→PE-E-08理由：先能改进组件，再让模型生成或改写提示词本身

第 21 层 · 1 个节点

PE-E-09 提示词版本化与回归

前置PE-E-04→PE-E-09理由：工具链就位后，回归才有可执行的载体

前置PE-E-08→PE-E-09理由：批量改写产生大量候选，必须有版本化与回归来筛选

04组间前后继

上一组G04编排→G05本组→下一组G06安全与鲁棒性

指向组外的前置

来源分组G06安全与鲁棒性

组外节点PE-A-06

组内节点PE-E-04

关系FLOW

为什么先学前者隔离措施是否有效只能靠对抗评测度量，故接评测工具链

来源分组G03上下文工程

组外节点PE-C-04 架构在册

组内节点PE-E-01

关系PREREQ

为什么先学前者检索质量的教训是「先度量再优化」，这正是评测集的作用

来源分组G04编排

组外节点PE-O-05 架构在册

组内节点PE-E-03

关系PREREQ

为什么先学前者评估者的可靠性问题正是模型裁判的偏差问题

来源分组G02推理增强

组外节点PE-R-08

组内节点PE-E-05

关系PREREQ

为什么先学前者反思给出候选改进，自动提示词工程把候选筛选机制化

来源分组G01确定性输出

组外节点PE-S-05

组内节点PE-E-04

关系FLOW

为什么先学前者校验器的判据与评测工具链的断言共用同一套表达方式