Positional Sensitivity and Attention Dissipation
一句话结论
位置规律在文本长上下文上已实测、在多模态侧仍是待验假设，工程上只当构造原则用：把最要紧的内容放在序列两头、对长输入做切分与编号引用，并在真实长度上实测，而不是靠重复来加权。
本页结构（可跳转）
输入各段在序列中的位置会系统性影响它被采信的程度：在文本长上下文上已实测到，首段与末段更容易被采信、中段容易被跳过，且当输入长度超过上下文窗口的某一占比之后，位置效应的形态本身还会改变。
适用边界
这条规律的适用面按证据强度分档：位置偏差与形态随长度改变，是文本长上下文上的实测结论，可直接用于纯文本输入；迁移到图像与文本交错的多模态输入时，它只提供构造原则，位置收益与耗散幅度都属未验项，必须在目标模型、目标序列长度与目标任务上重新测量之后才能写入结论。
机制分两条，两条的证据强度不同。
| 类别 | 场景 / 条件（总结） | 具体做法（细节） |
|---|---|---|
| 该用 | 长多模态序列构造 | 把最要紧的图像与指令放在序列首尾、中段只放可被牺牲的补充材料；这是由文本侧实测外推的构造原则，收益须在目标模型上实测确认。 |
| 该用 | 序列长度接近上下文窗口上限 | 文本侧实测显示位置效应的形态会随输入占比改变，因此应先筛选压缩或拆成多次调用，不要按短样本的经验直接铺满。 |
| 该用 | 图文混合输入 | 用编号显式建立文本与图像的对应关系，减少对位置指代的依赖；编号引用是构造层建议，其效果同样须在目标模型上实测。 |
| 不该用 | 用短序列的结论外推 | 位置规律随长度与模型变化，必须在该长度上实测。 |
| 不该用 | 靠重复同一句话来加权 | 重复会挤占注意力预算，正确做法是重排与切分。 |
python3 - <<'PY'
BODY = ['文档 %d：与任务无关的补充材料。' % i for i in range(12)]
NEEDLE = '关键约束：输出必须使用 JSON。'
def build(where):
rows = list(BODY)
pos = {'head': 0, 'middle': len(rows) // 2, 'tail': len(rows)}[where]
rows.insert(pos, NEEDLE)
return rows
for where in ('head', 'middle', 'tail'):
rows = build(where)
idx = rows.index(NEEDLE)
ratio = idx / (len(rows) - 1)
print('%-6s 关键句行号 %2d / %2d 相对位置 %.2f' % (where, idx, len(rows) - 1, ratio))
if where == 'middle':
assert 0.4 < ratio < 0.6, ratio
print('中间档相对位置落在 0.4 到 0.6 之间，确认关键句被埋在序列中段')
PY预期观察：脚本打印三种排布下关键句的行号与相对位置：首尾两档接近 0 与 1，中间档落在 0.4 到 0.6 之间并通过断言。这只证明排布构造正确；位置对采信度的实际影响必须在真实序列长度上调用模型测量，文本侧的实测结论不能直接当作多模态结论。
[图 1 · 关键] 整体架构截图
…… 此处为 10 张与结论无关的补充截图 ……
[图 12 · 关键] 报错栈截图
任务：对照图 1 与图 12，判断报错发生在架构的哪一层，并说明依据。
引用规则：正文只写「图 3」这类编号，不得写「上面那张图」「后面那张图」这类位置指代；补充截图仅供核对，不改变结论。预期观察：关键图分别位于序列首尾并以编号被引用，中段只放补充材料；正文引用一律走编号，位置指代被消除，指代关系不再依赖交错次序。这是输入构造层的检查项；编号引用能否降低定位错误，仍须在目标模型上实测。
主张一手论文在文本长上下文上实测：相关信息位于输入首尾时表现最好，必须到中段取用时显著退化；本条支持的是文本上下文的位置效应，不能直接当作视觉或多模态结论。
分级official
来源S-0063 https://aclanthology.org/2024.tacl-1.9/
原文展开原文关键句
performance is often highest when relevant information occurs at the beginning or end of the input context ... degrades when models must access relevant information in the middle of long contexts
主张该预印本在文本长上下文上给出阈值：位置偏差在输入占上下文窗口约一半以内最强，超过之后首因偏差减弱而近因偏差相对稳定，即位置效应的形态随占比改变；该结论同样只覆盖文本侧，多模态侧须另行测量。
分级paper
来源S-0064 https://arxiv.org/abs/2508.07479
原文展开原文关键句
the LiM effect is strongest when inputs occupy up to 50% of a model's context window. Beyond that, the primacy bias weakens, while recency bias remains relatively stable.
主张该复现研究指出，排序效应的测量结论受主题抽样影响很大，理想化设定下的结论不一定迁移到真实文本检索管线，因此位置类结论必须在真实长度与真实管线上复测。
分级paper
来源S-0065 https://arxiv.org/abs/2605.27105
原文展开原文关键句
topic sampling is a major source of variance: small topic sets can mask or exaggerate ordering effects ... conclusions drawn from idealised setups do not always transfer to real-world RAG pipelines.
术语位置敏感与注意力耗散 Positional Sensitivity and Attention Dissipation
界定输入各段在序列中的位置影响其被采信程度的规律；文本长上下文侧已有实测，多模态侧是否沿用同一机制仍属待验假设，幅度须按目标模型单独测量。
相关节点—
术语注意力预算 Attention Budget
界定模型在单个上下文窗口内可分配的有效注意力总量有限；token 越多，单位 token 可分得的注意力越少，这一约束构成上下文衰减的机制基础。
相关节点—
术语迷失在中间 Lost in the Middle
界定相关信息位于长上下文首尾时表现最好、位于中间时显著退化的位置偏差；该效应在输入接近上下文窗口上限时会被距离型偏差取代，现有实测均来自文本长上下文。
相关节点—
在 交互全景图 中定位本节点。