多模态

Multimodal Prompting

G08多模态组内节点 3 个层范围第 9 – 11 层组内边 2 条

一句话结论

本组处理多模态输入特有的三个问题：交错输入的位置敏感性、视觉推理链与跨模态指令冲突、以及长序列中的注意力耗散。

本页结构（可跳转）

本组内部依赖与对外接口：组内 3 个节点、2 条内部边、5 条跨组边（层 9–11）；列自左向右按依赖深度递增，同一列为相邻层带。（本站自制）

01本组导读

本组处理多模态输入特有的三个问题：交错输入的位置敏感性、视觉推理链与跨模态指令冲突、以及长序列中的注意力耗散。

核心结论是同一组内容换一个模态顺序就可能改变结果，因此输入顺序必须固定并做对照测试；指令层级训练在跨模态冲突下只部分迁移，图像内的文字可能被当作指令执行。

02组内节点

按依赖深度（layer）升序；同层节点彼此无先后约束。

节点PE-V-01

名称交错输入 Interleaved Input

依赖深度第 9 层

内容状态内容已写满

节点PE-V-02

名称视觉推理链 Visual Reasoning Chain

依赖深度第 10 层

内容状态内容已写满

节点PE-V-03

名称位置敏感与注意力耗散 Positional Sensitivity and Attention Dissipation

依赖深度第 11 层

内容状态内容已写满

03本组学习路径

第 9 层 · 1 个节点

PE-V-01 交错输入

前置PE-M-02→PE-V-01理由：多模态交错顺序同样受模型特性影响，先学迁移性再学多模态输入

第 10 层 · 1 个节点

PE-V-02 视觉推理链

前置PE-A-01→PE-V-02理由：跨模态指令冲突是层级问题在多模态上的表现

前置PE-V-01→PE-V-02理由：先构造好交错输入，再引导模型先定位再推断

第 11 层 · 1 个节点

PE-V-03 位置敏感与注意力耗散

前置PE-C-05 架构在册→PE-V-03理由：纯文本的位置偏差是理解多模态位置敏感的基础

前置PE-V-01→PE-V-03理由：交错输入的另一面是位置敏感与注意力耗散，须一并掌握

04组间前后继

上一组G07模型差异与迁移→G08本组→下一组G09落地实践

指向组外的前置

来源分组G06安全与鲁棒性

组外节点PE-A-01

组内节点PE-V-02

关系PREREQ

为什么先学前者跨模态指令冲突是层级问题在多模态上的表现

来源分组G03上下文工程

组外节点PE-C-05 架构在册

组内节点PE-V-03

关系PREREQ

为什么先学前者纯文本的位置偏差是理解多模态位置敏感的基础

来源分组G07模型差异与迁移

组外节点PE-M-02

组内节点PE-V-01

关系PREREQ

为什么先学前者多模态交错顺序同样受模型特性影响，先学迁移性再学多模态输入