零样本与少样本
Zero-shot and Few-shot Prompting
PE-F-04内容已写满G00地基:模型是概率采样器第 3 层
地基零样本少样本
一句话结论
先跑零样本基线,需要时再加少量多样化示例,并逐次评测增量收益。
本页结构(可跳转)
收益曲线图:示例从 0 到 3 到 10 的边际收益,以及它在推理模型上发生的符号反转。 (本站自制)
01为什么需要它
示例是提示词里最贵的部分,也是最容易被滥用的部分。
- 现行厂商口径已经从「示例越多越好」转向「先零样本、必要时才加少量高质量示例」,因为堆砌示例既推高 token 成本,又会在新一代模型上诱发过拟合。
- 掌握本节点是为了能回答一个具体问题:这次任务到底需不需要示例,需要几个,以及示例该用来说明什么。
适用边界
「少样本有害」的结论来自推理模型上的默认用法,示例本身并非无用,改写示例形态后仍可获益。
02机制说明
零样本提示以指令完成任务,成本最低;少样本提示通过若干输入输出示例约束格式、语气与歧义消解。
- 现行官方口径给出三条使用条件:示例要相关、要多样、要用标签结构化包裹,使模型能把示例与指令区分开;同时明确反对把一长串边界案例塞进提示。
- 经验值集中在三到五个示例,其作用主要是格式与语气对齐,而非知识注入。
- 在推理模型上,示例的边际价值进一步下降,部分研究报告增加示例会持续降低准确率,但同时给出反例——把示例转成显式要点后可重新获益。
03何时该用 / 何时不该用
04实验台
shellbash
查看代码
# 三档对比:零样本 / 三个示例 / 十个示例
# 逐档记录:评测集通过率、输入 token、输出的格式违规次数
for shots in 0 3 10; do
echo "== shots=$shots =="
for i in $(seq 1 5); do
curl -s "$API_ENDPOINT" -H 'content-type: application/json' \
-d "$(build_payload $shots)" > "out-$shots-$i.json"
check_contract "out-$shots-$i.json" # 自写的小校验器:格式是否合契约
done
done
预期观察:示例从 0 到 3 通常带来格式与语气的明显改善;从 3 到 10 的收益通常趋零,在推理模型上甚至可能转为负收益。读数是「通过率 / token / 格式违规」三列,而不是「看起来更像我想要的」。
filemarkdown
查看代码
示例筛选表:每个候选示例填三列
示例 | 它消除的是哪种歧义(格式 / 语气 / 边界判定) | 若删掉它,评测集上哪一类失败会回归
判据:说不出第二列的示例一律删掉——示例的职责是消歧,不是展示知识。
不得用示例替代检索:需要外部事实时,把资料塞成示例既不可靠又推高常驻成本。
预期观察:读者能把示例从「越多越好」改造成「每个都对应一类歧义」,并敢于删掉一半。
05证据
06术语
术语零样本提示 Zero-shot Prompting
界定不提供示例、仅以指令完成任务的方式;现行厂商口径主张先试零样本,必要时再引入示例。
相关节点—
术语少样本提示 Few-shot Prompting
界定在提示中给出若干输入输出示例以约束格式、语气与歧义消解;现行口径为少量、多样、结构化,并反对穷举边界案例。
相关节点—
07失效模式
- 把示例当知识注入需要外部事实时应走检索,堆示例既不可靠又推高常驻成本。
- 在推理模型上默认叠加示例增加示例可能持续降准,是否要示例、要几个都必须以评测集读数为准。
- 示例不加标签、与指令混排模型把示例读成指令,输出被示例内容带偏,返工成本高。
- 示例只追求数量三到五个多样化示例的作用是格式与语气对齐,穷举边界案例只会挤占注意力。
08在本站知识结构中的位置
- 所属分组
- G00地基:模型是概率采样器
- 依赖深度
- 第 3 层(同层节点彼此无先后约束)
在 交互全景图 中定位本节点。