节点PE-A-01
名称指令层级 Instruction Hierarchy
依赖深度第 2 层
内容状态内容已写满
Security and Robustness
一句话结论
本组处理「不可信内容会改变模型行为」这一结构性问题:模型在架构上不区分指令与数据,因此提示词注入不存在可靠的拦截式预防,防御必须落在权限、隔离与校验上。
本页结构(可跳转)
本组处理「不可信内容会改变模型行为」这一结构性问题:模型在架构上不区分指令与数据,因此提示词注入不存在可靠的拦截式预防,防御必须落在权限、隔离与校验上。
按依赖深度(layer)升序;同层节点彼此无先后约束。
节点PE-A-01
名称指令层级 Instruction Hierarchy
依赖深度第 2 层
内容状态内容已写满
节点PE-A-02
名称直接与间接提示词注入 Direct and Indirect Prompt Injection
依赖深度第 3 层
内容状态内容已写满
节点PE-A-03
名称大模型应用十大风险 Top 10 Risks for LLM Applications
依赖深度第 13 层
内容状态内容已写满
节点PE-A-04
名称过拒与安全—可用性权衡 Over-refusal and the Safety–Usability Tradeoff
依赖深度第 16 层
内容状态内容已写满
节点PE-A-05
名称负向提示的失效 Failure of Negative Prompting
依赖深度第 17 层
内容状态内容已写满
节点PE-A-06
名称不可信内容的标注与隔离 Tagging and Isolating Untrusted Content
依赖深度第 18 层
内容状态内容已写满
来源分组G03上下文工程
组外节点PE-C-02 架构在册
组内节点PE-A-06
关系PREREQ
为什么先学前者检索资料是不可信内容的主要来源,提示模式须与标注配套
来源分组G03上下文工程
组外节点PE-C-07 架构在册
组内节点PE-A-03
关系PREREQ
为什么先学前者接入外部能力会扩大风险面,须回到风险清单核对
来源分组G05评测与自动优化
组外节点PE-E-01
组内节点PE-A-04
关系PREREQ
为什么先学前者过拒率要被度量才有意义,评测集是它的载体
来源分组G00地基:模型是概率采样器
组外节点PE-F-01
组内节点PE-A-01
关系PREREQ
为什么先学前者采样器不区分指令与数据这一事实,是指令层级存在的根本原因
来源分组G00地基:模型是概率采样器
组外节点PE-F-02
组内节点PE-A-01
关系PREREQ
为什么先学前者提示词分层是层级在工程上的落点,先学分层再学层级规则
来源分组G00地基:模型是概率采样器
组外节点PE-F-03
组内节点PE-A-06
关系PREREQ
为什么先学前者分隔符是标注不可信内容的技术前提
来源分组G04编排
组外节点PE-O-08 架构在册
组内节点PE-A-04
关系PREREQ
为什么先学前者工具治理与安全策略共同决定过拒率的高低