Attention Budget and Context Rot
一句话结论
窗口容量不等于有效注意力，目标是维持最小的高信噪比 token 集。
本页结构（可跳转）
上下文窗口变大不等于可以随便塞：窗口内的有效注意力是有限资源，token 越多，每个 token 分到的注意力越少，关键信息被忽略的概率随之上升。
适用边界
注意力预算是机制解释而非精确可计算量，工程上只能通过位置安排、压缩与检索精度来间接管理，不能把它当公式使用。
上下文衰减描述的是随上下文增长，模型对其中信息的实际可用性下降。
| 类别 | 场景 / 条件（总结） | 具体做法（细节） |
|---|---|---|
| 该用 | 上下文接近窗口上限时 | 优先压缩与筛选，而不是继续追加资料。 |
| 该用 | 资料很多时 | 把最相关的片段置于首尾并显式引用，避免关键信息落在中部。 |
| 不该用 | 把预算当精确公式 | 它只提供方向性判据，具体取舍须用评测集验证。 |
| 不该用 | 以「窗口很大」为由放弃筛选 | 窗口容量与有效注意力是两件事。 |
# 位置实验：同一句关键信息分别放在资料的首部 / 中部 / 尾部
# 三档各跑 20 次，统计「答案用到了该关键信息」的比例
for pos in head middle tail; do
echo "== pos=$pos =="
for i in $(seq 1 20); do
curl -s "$API_ENDPOINT" -H 'content-type: application/json' \
-d @"needle-$pos.json" | grep -o 'NEEDLE[_-]OK' | wc -l
done | awk '{s+=$1} END {print "命中率", s/NR}'
done预期观察：首部与尾部的命中率通常高于中部，且资料越长差距越明显——这一步把「位置偏差」从说法变成自己量出来的读数。
上下文预算表：把当前上下文逐块登记
块（资料 / 示例 / 历史 / 工具定义 / 记忆） | token | 标注（必要 / 可压缩 / 可删） | 删或压之后的评测读数
判据：任何标为「可删」的块都必须真的删掉并重跑评测，用读数说话。
不得用「窗口还没满」当作保留理由——窗口容量与有效注意力是两件事。预期观察：读者能对上下文做有依据的取舍，而不是把「检索到的东西」全部留在窗口里。
主张相关信息出现在输入的首部或尾部时表现最好，必须从长上下文中部取用时显著下降——且这一点对「显式长上下文模型」同样成立。
分级official
来源S-0063 https://aclanthology.org/2024.tacl-1.9/
原文展开原文关键句 原文截断
relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts
主张官方给出的长上下文技巧之一是「把长资料放在前部、query 与指令放在其后」——支持「位置安排是工程动作」这一推论。
分级official
原文展开原文关键句
Put longform data at the top: Place your long documents and inputs near the top of your prompt, above your query, instructions, and examples.
主张推理过程本身冗长且可通过在提示中给定合理的 token 预算来压缩，而预算取值的选取显著影响压缩效果——支持「压缩是维持信噪比的必要动作」。
分级paper
来源S-0056 https://arxiv.org/abs/2412.18547
原文展开原文关键句 原文截断
the reasoning process of current LLMs is unnecessarily lengthy and it can be compressed by including a reasonable token budget in the prompt
术语注意力预算 Attention Budget
界定模型在单个上下文窗口内可分配的有效注意力总量有限；token 越多，单位 token 可分得的注意力越少，这一约束构成上下文衰减的机制基础。
相关节点—
术语上下文衰减 Context Rot
界定随上下文长度增长，模型对其中信息的实际可用性下降的现象；表现为长上下文中关键信息被忽略或利用不充分。
相关节点—
在 交互全景图 中定位本节点。