摘要
DeepSeek Sparse Attention（DSA）以轻量 lightning indexer 为全部前文打分选 top-k（k=2048），把核心注意力从 O(L²) 压到 O(Lk)，但 indexer 自身需在每层独立运行、总成本 O(NL)，长上下文 prefill 中占比随长度急剧上升。作者实测发现相邻层 top-k 索引重叠率高达 70–100% 且呈块状结构——逐层重算索引大量冗余。据此提出 IndexCache：将层划分为保留 indexer 的 F 层与复用前置缓存索引的 S 层。训练无关路线以贪心搜索决定 F/S 分布，移除 75% indexer 计算时质量几乎无损；训练感知路线引入多层蒸馏，使均匀模式即可反超基线（Long Avg 51.6 vs 51.0）。系统收益：30B 模型 200K prefill 最高 1.82×（19.5s→10.7s），单请求 decode 吞吐 1.48×；生产级 GLM-5 上 1/2 保留性能持平、端到端约 1.2× 加速。该工作把「索引计算」本身变成可优化对象，是 DSA 生态中低成本、即插即用的推理加速节点。
一、问题定位：稀疏注意力的残余瓶颈
1.1 DSA 的收益与账单
DSA 用 lightning indexer（多头 ReLU 门控点积 + FP8 + 低秩，每 FLOP 成本比 MLA 低一个量级）为全部前文打分并选 top-k，将核心注意力由 O(L²) 降至 O(Lk)。但 indexer 需在每一层独立运行，对全部前文打分的总成本为 O(NL)；profiling 显示其在 prefill 中占比随上下文长度急剧上升。当上下文足够长时，「选 token」本身会成为新瓶颈，稀疏化的收益被索引计算部分吃掉。
1.2 关键观察：索引跨层高度冗余
论文出发点是一条直接测量结论（Abstract; Appendix A）：47 层 30B 模型、200K 校准集（768 样本）上所有层对的 top-k 重叠率 |T⁽ⁱ⁾∩T⁽ʲ⁾|/k 显示相邻层重叠达 70–100%，呈块状聚类——相邻各层「各自算一遍」得到的入选 token 几乎相同。
1.3 问题形式化
由此问题被精确定义：在不显著损伤质量的前提下，让一部分层不再自跑 indexer、直接复用最近保留层的缓存索引——以及，哪些层可以安全掏空、哪些必须保留？这是典型的结构化剪枝问题，但剪枝对象不是权重，而是推理时的计算步骤。
二、概念内核：F/S 划分与两次概念跃迁
2.1 F/S 层划分与索引缓存
N 层划分为 F（Full，保留自己的 indexer 并写缓存）与 S（Shared，不跑 indexer、直接读最近前置 F 层缓存：T←T_f(ℓ)，f(ℓ)=max{j<ℓ:c=F}）。推理循环只增加一个条件分支；缓存是覆盖式临时张量，无额外显存开销；首层恒为 F。设计不触碰注意力主体与 KV cache，只动 indexer 调度，与现有 DSA 推理栈天然兼容。
2.2 跃迁一：从「保留多少」到「保留哪些」
训练无关实验揭示反直觉结论：均匀交错次优。uniform 在 1/2、1/4 保留率使 Long Avg 从 50.2 掉至 47.4（−2.8）与 43.0（−7.2），而贪心搜索恢复至 50.3/49.9，与原 DSA 持平——网络早期/过渡区某些层对 indexer 移除远比其他层敏感，保留哪些比保留多少更关键。
2.3 跃迁二：训练可消解敏感性
经多层蒸馏训练后模型主动适应共享，uniform 即追平并超过搜索模式（Long Avg 51.6 vs 50.6），层特异性敏感性完全消失。「哪些层关键」是权重的性质而非架构必然；重训可以把这种脆弱性训练掉。
2.4 与相邻概念的辨析
- ≠ KV cache 复用：KV cache 缓存键值对，IndexCache 缓存的是 top-k 索引集合，作用于不同组件；
- ≠ 层剪枝：S 层注意力主体完整运行，只是不自算索引；
- ≠ 权重共享：无参数绑定，仅复用一次前向中的中间产物。
三、方法拆解：两条路线
3.1 Training-Free：贪心层选择（Algorithm 1）
- 为何均匀次优：重叠度热力图显示模型组织为功能块（层 3–5、6–8、17–30、31–36），块内选择高度一致；跨界处重叠骤降，少数「过渡层」大幅转移注意力焦点；早晚层关注根本不同的 token 子集（热力图角落重叠 ≤0.4）。均匀交错无视了这种结构。
- 贪心算法：从全 F 出发，每步试探将某 F 层翻转为 S，取校准集 LM loss 最小者提交，共 K 步（如 K=3N/4 对应保留 1/4）；流水线并行下按 P 个 stage 分块可将前向次数减少约 P×。
- 经验规律：loss 曲线区分「easy 层」（前 20 步即移除）与「critical 层」（35 步后才动）；结果对校准集稳定。
- 搜得模式（GLM-4.7-Flash 30B、保留 1/4，Appendix B）：F 层非周期分布且前段密后段疏——深层更可共享：
FSFSFSSSSFSSSFSSFFSSFSSFS SSSFSSSFSSSSFSSSSSSSSS
3.2 Training-Aware：多层蒸馏（§3.2）
- 损失设计：L_multi = Σ_j KL(p_t^(ℓ+j) ‖ q_t^(ℓ))，令每个保留 indexer 对其服务的 m+1 层联合负责；Proposition 1 证明其梯度等价于对各服务层注意力分布取平均后的单目标蒸馏（蒸馏到「质心」分布），非启发式正则。
- 训练流程：沿用 DSA 两阶段——warm-up 只训 indexer（冻结其余），sparse phase 联合训练加 LM loss；工程侵入性低。
- 相变现象：训练后 uniform 1/2 达 Long Avg 51.6，反超基线 51.0、超搜索模式 50.6。训练把「哪里必须自己看」重新分配给整个网络，共享成为被内化的常态。
| 维度 | Training-free | Training-aware |
|---|---|---|
| 前置条件 | 校准集 + 前向评估 | 两阶段重训管线 |
| 模式决策 | 贪心搜索 | uniform 即可 |
| 1/2 保留 Long Avg | 50.3 | 51.6（反超基线 51.0） |
| 主要风险 | 关键层脆弱；搜索需 N(N−1)/2 次前向 | 训练成本；GLM-5 未验证 |
四、证据链：观察 → 质量 → 系统 → 规模
4.1 质量—稀疏度权衡
| Training-free 配置 | Long Avg | vs 基线 50.2 |
|---|---|---|
| uniform 1/2 | 47.4 | −2.8 |
| searched 1/2 | 50.3 | +0.1 |
| uniform 1/4 | 43.0 | −7.2 |
| searched 1/4 | 49.9 | −0.3 |
| searched 1/8 | 46.1 | −4.1 |
Training-aware：uniform 1/2 Long Avg 51.6 反超基线 51.0；1/4 与基线差距 ≤0.4。消融：去跨层蒸馏后 51.6→49.8（AA-LCR 49.8→44.0），跨层蒸馏贡献实质增益。通用推理：除 uniform 1/8 外所有配置 G&R Avg 与基线 74.6 差距 <1 分；1/4 searched 甚至优于原 DSA（AIME2025 92.6 vs 91.0；GPQA-Diamond 78.6 vs 77.6）。
4.2 端到端系统收益（Table 1，SGLang + dp=8，单节点 H100）
- Prefill：200K 最高 1.82×（19.5s→10.7s）；10K 仍有 1.27×；
- Decode 单并发吞吐：1.48×（58→86 tok/s）；
- KV 打满时总 decode 吞吐：+22–51%（197→297 tok/s @200K，1.51×）。
4.3 规模化验证（GLM-5，744B-A40B，§4.5）
移除 50% indexer 计算，长上下文与推理任务性能持平：Long Avg 78.1 ≈ 基线 78.4，searched 78.7 略超；端到端约 1.2× 加速，>100K 时 prefill 与 decode 均 ≥1.3×；ArtificialAnalysis Index 全测与原 GLM-5 几乎无差。
4.4 实验底座与口径
底座 GLM-4.7-Flash（30B-A3B MoE、MLA、47 层），两阶段 DSA 化训练（1000 步 dense warm-up + 4000 步 sparse training，SFT 数据、200K 上下文）。评测 = 长上下文 5 项（MRCR v2、GraphWalks、LongBench v2、RULER、AA-LCR）+ 通用推理 4 项（AIME2025、GPQA-Diamond、LiveCodeBench v6、IFBench）。结论链闭环：①training-free 下「保留哪些」更关键；②training-aware 下「怎么分」不再敏感；③跨层蒸馏贡献实质增益。
五、批判性分析
5.1 强点
问题定义精准（先测重叠再谈复用，测量先行）；三视角系统测量（TTFT / 单并发吞吐 / KV 打满吞吐）避免单一指标美化；负结果（Appendix C）如实报告增强可信度。
5.2 弱点与边界
- 极限稀疏退化：1/8 保留即使配合搜索仍明显掉点（46.1 vs 50.2），安全边界约在 75% 移除以内；
- 搜索成本与脆弱性：全量贪心需 N(N−1)/2 次前向（可并行化约 P×），相似度代理已证伪，无法用廉价指标快速求解；冻结权重下少量关键 token 错配即可沿深层传播放大；
- 生产验证不完整：GLM-5 尚未应用 training-aware 变体（作者称「近期计划」）；当前生产收益来自较保守的 1/2 保留 + training-free；若 training-aware 的反超能力可迁移到 744B 规模，仍有可观收益空间。
- 适用面限定：前提是动态 token 选择型稀疏注意力；作者指出可推广至 MoBA/NSA 类块选择但未实验；对固定稀疏模式方法不直接适用。
六、启示与影响
6.1 对推理系统工程
- 加速器自身也是可优化对象：任何「引入辅助计算换主计算下降」的设计都应审视辅助计算自身的缩放行为——DSA 解决了 O(L²)，配套 indexer 的 O(NL) 却在长上下文成为新瓶颈。
- 复用优于重算：相邻计算输出高度相关（重叠 70–100%）时，缓存-复用最朴素有效，且本例做到零额外显存。
- 调度下沉到层粒度：F/S 串提供逐层二值的成本-质量旋钮。
6.2 对模型训练
跨层蒸馏给出通用范式：推理期做「共享/近似」，就在训练期让被共享方对服务质量负责（KL 到质心分布），把推理期的脆弱性转化为训练期的适应性。该思想或可迁移至 KV cache 压缩、投机解码等其他加速技术。
6.3 生态定位与跟踪清单
IndexCache 属于 DSA 落地后的第一波「架构内优化」：不改注意力数学、不改 KV 布局、不加显存，纯调度 + 可选微调即得 1.2–1.8× 长度依赖加速。建议跟踪：①GLM-5 上 training-aware 落地结果；②向 MoBA/NSA 类方法的推广实验；③推理框架对 F/S 调度的原生支持进展。