新一代提示词工程 · 知识全景图面向有工程基础、提示词工程尚未系统化的工程师
显示设置

安全与鲁棒性

Security and Robustness

G06安全与鲁棒性组内节点 6 个层范围 第 2 – 18 层组内边 5 条

一句话结论

本组处理「不可信内容会改变模型行为」这一结构性问题:模型在架构上不区分指令与数据,因此提示词注入不存在可靠的拦截式预防,防御必须落在权限、隔离与校验上。

本页结构(可跳转)

grp n0 指令层级 (PE-A-01 · 第 2 层) n1 直接与间接提示词注入 (PE-A-02 · 第 3 层) n0->n1 stub_out 组外接口 出 3 条 n0->stub_out n2 大模型应用十大风险 (PE-A-03 · 第 13 层) n1->n2 n1->stub_out n3 过拒与安全—可用性权衡 (PE-A-04 · 第 16 层) n2->n3 n4 负向提示的失效 (PE-A-05 · 第 17 层) n3->n4 n5 不可信内容的标注与隔离 (PE-A-06 · 第 18 层) n4->n5 n5->stub_out stub_in 组外接口 入 7 条 stub_in->n0 stub_in->n2 stub_in->n3 stub_in->n5
本组内部依赖与对外接口:组内 6 个节点、5 条内部边、10 条跨组边(层 2–18);列自左向右按依赖深度递增,同一列为相邻层带。 (本站自制)

01本组导读

本组处理「不可信内容会改变模型行为」这一结构性问题:模型在架构上不区分指令与数据,因此提示词注入不存在可靠的拦截式预防,防御必须落在权限、隔离与校验上。

02组内节点

按依赖深度(layer)升序;同层节点彼此无先后约束。

节点PE-A-01

名称指令层级 Instruction Hierarchy

依赖深度第 2 层

内容状态内容已写满

节点PE-A-05

名称负向提示的失效 Failure of Negative Prompting

依赖深度第 17 层

内容状态内容已写满

03本组学习路径

第 2 层 · 1 个节点

前置PE-F-01→PE-A-01理由:采样器不区分指令与数据这一事实,是指令层级存在的根本原因
前置PE-F-02→PE-A-01理由:提示词分层是层级在工程上的落点,先学分层再学层级规则

第 3 层 · 1 个节点

前置PE-A-01→PE-A-02理由:先有层级概念,才能理解注入为何是「低特权覆盖高特权」

第 13 层 · 1 个节点

前置PE-A-02→PE-A-03理由:理解注入的结构后,再看它在风险清单中的位置与相关条目
前置PE-C-07 架构在册→PE-A-03理由:接入外部能力会扩大风险面,须回到风险清单核对

第 16 层 · 1 个节点

前置PE-A-03→PE-A-04理由:清单给出风险面,过拒讨论防御强度与可用性的取舍
前置PE-E-01→PE-A-04理由:过拒率要被度量才有意义,评测集是它的载体
前置PE-O-08 架构在册→PE-A-04理由:工具治理与安全策略共同决定过拒率的高低

第 17 层 · 1 个节点

前置PE-A-04→PE-A-05理由:安全约束的具体写法决定它是否真的生效,故接着学负向提示的失效

第 18 层 · 1 个节点

前置PE-A-05→PE-A-06理由:先掌握指令该怎么写,再学不可信内容该如何标注与隔离
前置PE-C-02 架构在册→PE-A-06理由:检索资料是不可信内容的主要来源,提示模式须与标注配套
前置PE-F-03→PE-A-06理由:分隔符是标注不可信内容的技术前提

04组间前后继

上一组G05评测与自动优化→G06本组→下一组G07模型差异与迁移

指向组外的前置

来源分组G03上下文工程

组外节点PE-C-02 架构在册

组内节点PE-A-06

关系PREREQ

为什么先学前者检索资料是不可信内容的主要来源,提示模式须与标注配套

来源分组G03上下文工程

组外节点PE-C-07 架构在册

组内节点PE-A-03

关系PREREQ

为什么先学前者接入外部能力会扩大风险面,须回到风险清单核对

来源分组G04编排

组外节点PE-O-08 架构在册

组内节点PE-A-04

关系PREREQ

为什么先学前者工具治理与安全策略共同决定过拒率的高低