交错输入

Interleaved Input

PE-V-01内容已写满G08多模态第 9 层

01为什么需要它

交错输入把文本与图像混排进同一序列，排布本身就是输入的一部分：同一批素材按不同次序、不同粒度交错，送进模型的其实是两份不同的输入，结论也就无法互相比较。

• 若把次序当成排版细节、把图像随手堆在末尾，事后说不清模型究竟看的是哪一份输入，差异也无法归因到排布上。
• 把图文配对、交错次序与交错粒度写成可固定、可复现的构造，才能让同一任务在不同模型与不同序列长度上留下可比较的基线。
• 排布对结果的影响方向与幅度属于多模态侧断言，必须按目标模型实测，不能从纯文本经验外推。

02机制说明

交错输入的构造分三步。

• 第一步配对：把每张图像与它被引用的那段文字绑成一个图文块，图像紧跟本块文字出现，结论只建立在本块的图文上，跨块的图像不参与本块推断；配对关系由块结构本身确定，不靠相邻顺序去猜。
• 第二步定序：把指令段、素材段与图像段的先后固定下来，同一批素材可以铺出多种排布，每一种排布都当作一版输入登记，改动次序即换版，须用同一套样例重跑对照。
• 第三步定粒度：粒度指文字段与图像段交替的频次与每段长度，粒度越细，序列被切得越碎、总长度越长；长序列下跨模态引用是否仍然可靠，属于待按目标模型实测的问题，因此素材应先筛选压缩，必要时拆成多次调用，而不是靠反复交替来强调。
• 三步写成模板之后，交错输入才可复现、可对照；至于哪一种排布真的更好，必须用同一套样例在目标模型上测出差异，并把结果留作回归基线。

03何时该用 / 何时不该用

04实验台

1. shellpython

   查看代码

   BLOCKS = [
       ('A', '上线后日志出现超时，且集中在晚间。', '报错栈截图'),
       ('B', '同一天还改过网关配置。', '配置差异截图'),
   ]
   
   def interleave(blocks, granularity):
       """把图文块按指定粒度铺成交错序列。"""
       seq = []
       for head, body, image in blocks:
           seq.append(('text', head + ' ' + body))
           seq.append(('image', image))
       if granularity == 'paired':
           return seq
       return [seq[0], seq[2], seq[1], seq[3]]   # 文字段先集中、图像段后集中
   
   for g in ('paired', 'split'):
       print(g, '->', ' | '.join('%s:%s' % (k, v[:8]) for k, v in interleave(BLOCKS, g)))
   
   paired = interleave(BLOCKS, 'paired')
   adjacent = all(paired[i][0] == 'text' and paired[i + 1][0] == 'image'
                  for i in range(0, len(paired), 2))
   print('图文配对相邻：', adjacent)
   print('两档素材集合相同：',
         sorted(interleave(BLOCKS, 'paired')) == sorted(interleave(BLOCKS, 'split')))

   预期观察：脚本打印两种交错粒度下的排布，并确认「图文配对相邻」这一档里每张图都紧跟本块文字、两档由同一批素材构成：这说明配对关系与交错粒度都是可以固定下来的构造项；哪一种排布在目标模型上更好，必须用同一套样例实测，脚本本身不给出效果结论。

2. promptmarkdown

   查看代码

   [块 A · 文字]
   上线后日志出现超时，且集中在晚间。
   [块 A · 图] 报错栈截图
   [块 B · 文字]
   同一天还改过网关配置。
   [块 B · 图] 网关配置差异截图
   
   任务：判断超时更可能来自哪一个图文块，并复述所用块的第一句作为依据。
   
   构造要求：
   - 一个文字段与其对应图像构成一个图文块，图像紧跟本块文字，不跨块移动、不跨块引用；
   - 结论只建立在一个块的图文上，不把两个块的图文混合推断；
   - 交错粒度固定为「一段文字紧跟一张图」，改动块的先后顺序即视为换了一版输入，须用同一套样例重跑；
   - 本模板之外的图像不加入本次输入。

   预期观察：图像与其对应文字成对出现，配对关系由块结构确定，模型只需复述块首句即可说明依据来自哪一块；交错次序与粒度都写在模板里，换一版排布就是换一版输入，效果差异留待同一套样例在目标模型上对照。

05证据

06术语

07失效模式

• 图文配对错位素材以「一段文字加一批图」的形式给出，文字描述的图与紧随其后的图不是同一张，模型把结论绑到错误的图上，错误还会被当成事实沿用。
• 指代跨段失效图文块之间隔着别的块时，正文里指代某张图的说法会落到相邻块上，结论与依据对不上，事后也难以判断模型当时看的是哪一块。
• 交错粒度失控文字段与图像段交替过频，序列被切碎拉长，早期素材的引用是否仍然可靠无从判断，调用成本与延迟同时上升。
• 把纯文本侧经验整体外推跨模态迁移只部分成立，模型在必须跨模态解码、重建或推理指令时会失败，套用文本侧的排布与安全经验可能既无收益又留下缺口。

08在本站知识结构中的位置

所属分组

G08多模态

依赖深度

第 9 层（同层节点彼此无先后约束）

在 交互全景图 中定位本节点。