视觉推理链

Visual Reasoning Chain

PE-V-02内容已写满G08多模态第 10 层

多模态视觉推理跨模态安全

一句话结论

视觉推理链把看图作答拆成定位、读数、计算三步，用可复核的中间读数换取可归因的错误，并把不可信图像单独设防。

本页结构（可跳转）

两段图：把「先定位再推断」拆成可复核的中间读数，以及不可信图像与不可信文本同等设防。（本站自制）

01为什么需要它

把看图作答当成一次整体判断，中间过程就不可见：定位错行、读错数值、看错图例都无从发现，答案对错只能靠猜。

视觉推理链把任务拆成定位、读数、计算三段，并要求把中间读数写成文本，让多模态推理多出一层可逐项对照原图的中间产物；这一步是构造上的取舍，收益须按目标模型实测。
证据边界也要说清：文本侧关于思维链在显式推理模型上只剩边际增益的研究，其对象是文本知识型推理任务，不能据此推断视觉任务同样不必拆步骤。
图像本身则是不可信输入面：官方风险正文把图像与文本、工具返回、中间推理、持久记忆并列为注入输入面，图像内文字与文本落在同一条输入流里被同样消费，故图像要按不可信内容设防，而不是按普通资料处理。

适用边界

视觉推理链适用于需要从图像中取出可核对读数的任务；整体风格、情感倾向、构图评价这类没有唯一读数的判断，拆成步骤后收益有限。裁剪二次送入会增加调用次数与延迟，且图像本身清晰度不足时，放大并不能补回已经丢失的细节。

02机制说明

视觉推理链的机制是把一次整体判断拆成三步。

第一步定位：要求模型指出与问题相关的区域或元素，例如坐标框、图例、行列标题、数值所在位置。
第二步读数：把定位到的内容写成文本形式，包括数值、单位、标签与时间点，这一步的产物是可以被人工或程序逐项复核的中间量。
第三步计算：只在文本读数上做算术或比较，不再回看原图。
当目标区域过小、过密或分辨率不足时，把该区域裁剪出来二次送入，用放大后的局部图重做定位与读数，这是一条构造原则：裁剪只是把局部像素放大，能否比在整页图上读数更稳，要在目标模型上实测。
它与文本思维链的关系在于可验证性的来源不同：文本思维链的中间步骤读起来通顺却常常无法核对，多模态下的推理链则可以把中间读数对照原图逐项复核，错误因此能定位到具体某一步，而不是只看到一个错误结论。
注意，这一条同样是构造原则：多模态侧暂无对照实测可引，收益须按目标模型实测。
工程上应把读数与最终输出格式分阶段处理：先让读数以自由文本写出，再在最后一步套用严格格式。

03何时该用 / 何时不该用

按场景对照：先看条件，再看该怎么做。
类别	场景 / 条件（总结）	具体做法（细节）
该用	图表与文档截图类任务	先要求定位区域与逐项读数，再只基于读数计算，使错误可归因到具体一步。
该用	目标区域过小或过密时	裁剪该区域放大后二次送入，而不是要求模型在整页图上反复看。
该用	图像内容不可信时	按不可信内容处理，声明其非指令身份并限制其可触发的动作。
不该用	没有唯一读数的任务	风格、情感、构图这类整体判断缺少可核对的中间量，拆步骤的收益有限。

04实验台

promptmarkdown

查看代码

请只做第一步：定位与读数。
1) 指出与问题相关的区域，用文字描述其位置，例如「右下角图例」「第三行第二列」；
2) 逐项写出你在该区域读到的数值、单位与标签，一项一行；
3) 读不清的项写「无法读取」，不要推测。

完成后再进入第二步：只使用上面写出的读数做计算，不要重新查看原图。

预期观察：输出先给出区域位置与逐项读数，再在读数之上给出计算结果；读不清的项被显式标为无法读取，而不是被猜测填补，读数以可逐项对照的形式写出，使错误能落到具体某一步。

promptmarkdown

查看代码

这张图是上一步中「右下角表格」区域的放大裁剪。
请只针对本图重新读数：
- 逐行写出表头与数值，保留单位；
- 与上一步的读数逐项对照，列出不一致的项；
- 仍不确定的项标注为无法读取。
输出只包含读数与对照结果，不要给出结论。

预期观察：第二次送入只产出局部读数与差异清单，把两次读数的分歧摆到明面上，由人工或程序逐项裁决；放大后的局部图能否读出整页图上读不清的小字号数值，仍要在目标模型上实测。

05证据

主张预印本对视觉语言模型的研究显示，只用文本数据做指令层级训练只能部分迁移到多模态攻击，当模型必须跨模态解码、重建或推理指令时会失败，故跨模态冲突必须单独设防。

分级paper

来源S-0043 https://arxiv.org/abs/2609.22234

原文

展开原文关键句

text-only IH training partially transfers to multimodal attacks, failing when models must decode, reconstruct, or reason over instructions across modalities.

主张官方风险正文把图像、音频、视频内容与工具返回、中间推理、持久记忆并列为提示注入的输入面，说明图像应与不可信文本同等对待。

分级official

来源S-0032 https://raw.githubusercontent.com/GenAI-Security-Project/GenAI-LLM-Top10/main/2026/final/LLM01_PromptInjection.md

原文

展开原文关键句

input to a large language model (LLM), whether direct user input, retrieved content, tool output, image, audio, or video content, intermediate reasoning, or persistent memory

主张一手研究以具备显式推理能力的模型为对象、在文本知识型推理任务上报告思维链提示对答案准确率只剩边际增益，故其适用范围限于显式推理模型与文本知识型推理任务，不得跨模态外推到视觉任务；视觉推理链的价值主要落在中间读数可复核，而非提高准确率。

分级paper

来源S-0035 https://arxiv.org/abs/2506.07142

原文

展开原文关键句

For models designed with explicit reasoning capabilities, CoT prompting often results in only marginal, if any, gains in answer accuracy.

06术语

术语视觉推理链　Visual Reasoning Chain

界定在多模态任务中显式引导模型先定位再推断的推理链；指令层级训练在跨模态指令冲突下只部分迁移。

07失效模式

只问结论不问读数模型给出一个看起来合理的数字，实际定位错行或读错单位，错误既无法被发现，也无法归因到哪一步。
把定位结果当成事实区域或坐标一旦报错，后续所有计算都在错误读数上进行，最终答案错得很自信。
把读数与最终格式压在同一步要求模型边推理边输出严格结构，读数会为迁就格式而失真，可复核性反而下降。
把图像内文字当普通资料处理图像里的指令式语句会与正文落在同一条输入流里被消费，而文本侧的指令层级训练只部分迁移到跨模态冲突，这个缺口要由输入隔离、权限收窄与输出校验来兜，不能只靠提示层措辞。

08在本站知识结构中的位置

所属分组: G08多模态
依赖深度: 第 10 层（同层节点彼此无先后约束）

前置PE-V-01→PE-V-02 本节点→后继无（终点）

在交互全景图中定位本节点。