LongLoRA：长上下文大模型的高效微调

标题：LongLoRA: Efficient Fine-Tuning of Long-Context Large Language Models

作者：Yukang Chen, Shengju Qian, Haotian Tang, Xin Lai, Zhijian Liu, Song Han, Jiaya Jia（CUHK · MIT · NVIDIA）

发表：ICLR 2024（会议论文）；arXiv:2309.12307，v3 于 2024-03-08（初版 2023-09）

编号：E4 工程化 / B3_P1（2023-09 P1）

代码：github.com/dvlab-research/LongLoRA（代码 / 模型 / 数据集 / demo 全开源）

数据依据：本报告数字与结论一律以同目录 00-源数据提取.md 为唯一依据；凡非源数据直接给出、属推理加工处，均标注「（推断）」。

摘要

在大语言模型迈向实用化的关键节点上，长上下文能力成为衡量模型价值的重要指标，但直接扩展训练上下文长度面临三重代价：自注意力计算量随长度呈二次增长、全参微调单个周期耗时长且显存激增、以及开源场景下每扩展一档上下文都几乎需要完整重训。LongLoRA 给出的答案是「训练时稀疏、推理时稠密」。其核心贡献是两枚相互咬合的齿轮：其一，Shifted Sparse Attention（S²-Attn） 沿注意力头维度切分特征，对其中一半头沿序列方向 roll 半个组长度，再按组切分并 reshape 进 batch 维做标准自注意力——仅用两行 PyTorch 代码即实现，以约 1/4 目标长度的分组即可逼近全注意力的困惑度；其二，实验揭示了一个此前被忽视的关键发现——普通 LoRA（仅训练注意力投影层）即便把 rank 提到 256 也无法弥合与全参微调的长上下文差距，唯有放开 embedding 层与 normalization 层训练（LoRA+） 才能真正支撑上下文扩展。训练时用稀疏近似省计算，推理时回到标准全注意力以兼容 Flash-Attention2 等既有基础设施。最终单机 8×A100 即可把 Llama2-7B 扩至 100k、13B 扩至 65536、70B 扩至 32k 上下文，相对全参微调最高省约 1.8× 显存、提速约 1.8×。这一「稀疏训练 + 稠密推理 + 极小参数增量」的组合，成为低资源扩展长上下文的高性价比范式。

一、问题定位：长上下文扩展的「三座大山」

大语言模型的上下文长度，直接决定它能否处理长文档、长对话、长代码与整本书籍。LongLoRA 的问题意识非常清晰（§1, p1–2；Abstract）：长上下文微调之所以困难，是因为三条成本同时压顶——计算、显存、重训代价。

1.1 二次增长的注意力计算

自注意力的复杂度是 O(n²)，上下文长度翻四倍，计算量约翻十六倍。论文在摘要与 Figure 1（p1）直接给出了这个冷冰冰的数字：

训练 8192 上下文的自注意力计算量，是 2048 的 16×（主张 #1）。

这不是线性外推，而是二次爆炸。当上下文从 2k 增加到 100k，理论上是近乎两个数量级的计算增幅。若想在长上下文上做全参微调，对绝大多数实验室和企业而言，账单与排队时长都无法承受。

1.2 成本外显的显存与时长

全参微调在长上下文下会触碰显存天花板。Table 12（p18）清晰列出：在 32768 上下文的训练设定下，全参微调需 39.8 小时、68.8GB 显存；而一旦把长度推向 65536，全参微调直接 OOM（主张 #9）。这意味着「把现有开源模型扩到超长上下文」这个需求，用朴素的全参微调在很多硬件环境下根本无法落地。

1.3 全参微调 vs 效率调参的天然张力

如果选择参数高效微调（PEFT，如 LoRA），成本是降下来了，但长上下文会不会因此受损？这正是 LongLoRA 要正面回答的：PEFT 在长上下文扩展上「够不够用」。论文用严谨的实验给出了一个反直觉的答案——普通 LoRA 远远不够，但正确的 LoRA（LoRA+）可以（主张 #4）。

1.4 目标画像（推断）

综合来看，LongLoRA 的目标用户画像清晰：想在有限 GPU 资源（单机 8×A100，甚至作者提到 7B→8192 可用单张 3090 Ti 完成）条件下，把开源的 Llama2 家族模型扩展成长上下文模型的开发者与研究者。它要解决的不是「再训一个大模型」，而是「用最小的资源增量，把已有模型『撑长』」。这决定了它的技术路线必须同时满足：省计算、省显存、省参数、且不断性能。

二、概念内核：稀疏近似与参数高效的两条主线

要理解 LongLoRA，必须先理解两条在它身上交汇的技术主线，以及一个关于「长上下文」的底层基础假设。

2.1 中段核心理念：训练稀疏、推理稠密

LongLoRA 最关键的设计哲学，是把「训练时的近似」与「推理时的精确」解耦。绝大多数稀疏注意力方法（如 dilated / block-sparse / stride-sparse）为了节省注意力计算，会把稀疏模式写进模型架构里，导致训练和测试必须沿用同一套稀疏注意力模式。这带来一个致命缺点：它们与已有、经过高度优化的稠密注意力基础设施（尤其是 Flash-Attention2）不兼容，且稀疏模式本身在预训练模型微调场景下总是明显落后（Table 6, p9）。

LongLoRA 的洞察在于：如果稀疏近似只在训练阶段充当「快速通道」，而推理阶段仍回到标准全注意力，那么短程注意力的形态就与预训练时完全一致——因此它不仅能兼容 FA2，还避免了稀疏模式带来的性能损失。用一句话概括：「稀疏的是训练成本，稠密的是推理精度」。

2.2 LoRA 的参数高效内核

LoRA（Low-Rank Adaptation）通过在预训练权重旁注入低秩分解矩阵（ΔW = BA）来微调，训练时只更新这些低秩矩阵，推理时可将它们与原始权重合并，几乎不增加参数与延迟。LongLoRA 在 LoRA 之上做了关键的诊断与加固——它发现长上下文这个特定任务，会暴露出普通 LoRA 的「能力盲区」，从而发展出 LoRA+。

2.3 长上下文的基础假设：位置重缩放（Position Interpolation）

本方法的另一个隐含支撑是位置编码的缩放。LongLoRA 明确声明它依赖 Position Interpolation（PI）这一相对独立的组件，并认为 PI 与自身正交、可叠加（§4.1, p6–7）。即：先把 RoPE 的位置索引按目标上下文 / 训练上下文的比例重新插值，让模型在训练长度内先「能用」，再配合 LongLoRA 做高效的分布适配。这个依赖也埋下了后续局限的伏笔（见 §6）。

2.4 概念交汇点（推断）

把上述三条主线叠起来，就构成了 LongLoRA 的完整概念内核：位置层面靠 PI「把坐标压进已知区间」，注意力层面靠 S²-Attn「训练期省计算」，参数层面靠 LoRA+「极小增量撑起长上下文」，推理期则三者归位到标准架构。这不是单点创新，而是一套「如何低资源地把模型撑长」的组合拳。

三、方法拆解：S²-Attn 与 LoRA+ 两枚齿轮

LongLoRA 的方法可拆为两个独立但又相辅相成的组件，二者分别解决「训练算力」与「参数增量」两方面的瓶颈。

3.1 S²-Attn：两步式的稀疏注意力（§3.2, p5；Figure 2/3, p2–3）

S²-Attn 的完整名称是 Shifted Sparse Attention，其思想极其简洁，论文自豪地指出实现仅需两行 PyTorch 代码（chunk + roll，Algorithm 1, p5）。它的核心是三步：

1. Split（切分）：沿 head 维度把特征切成两半，使一半注意力头采用一种分组 pattern，另一半采用另一种 pattern（即「短程注意力」的两种变体）。
2. Shift（移位）：让其中一半的 token 沿序列方向 roll 半个组大小（G/2），从而让原本被「组边界」隔断的相邻 token 之间产生信息流动，弥补分组造成的跨组盲区。
3. Group（分组）：按组切分 token，并把组这一维度 reshape 进 batch 维，使各组内部独立地做标准自注意力。

用一个具体例子说明（论文给出，§3.2 p5）：假设总长 8192、group 大小 2048。则：

• pattern 1 按 [1–2048][2049–4096]… 这样的连续块分组；注意力只在各自块内进行。
• pattern 2 在 pattern 1 基础上将 token 沿序列方向偏移 1024（即 G/2），分组变为 [1025–3072]…，首尾 1024 个 token 落到同一组。

这两组 pattern 分别服务于一半的注意力头。于是每个 token 既能感受到本组内的局部信息（pattern 1），又能通过全局偏移的组（pattern 2）间接接触到更远的上下文。这正是「稀疏」但「不大面积丢失长程信息」的精妙之处。

关于泄漏的补救：shift 操作会把文档尾部 token 移入开头组，严格来说破坏了因果性直觉。论文承认这一隐患，但它用注意力 mask 的小改动（§B.3 variant 2/3 的实验）证明其对结果的影响可忽略——PPL 与原版相当（≈8.04）。这体现了一种「工程上近似正确、实证上容忍」的务实态度。

为什么推理期能用标准注意力：训练时的分组只是一种局部近似，它塑造出的短程注意力形态与预训练模型本来的形态一致，因此推理阶段自然可以换回标准全注意力。这一「交换」是 S²-Attn 区别于其他稀疏注意力方法的根本特征，也是它兼容 FA2、且性能保持的关键。

分组规模消融：Table 7（p13）显示，group 大小取目标长度的 {1/2, 1/4, 1/6, 1/8} 时，1/2 与 1/4 几乎无损，而 <1/4 开始劣化，因此默认取 1/4（主张 #3 相关）。这给出一个清晰的「成本-精度」权衡锚点：取目标长度的四分之一，就能在几乎不损失困惑度的情况下把训练注意力的计算密度减到约四分之一。

与全注意力的对照（主张 #3）：目标长度 32768 时，PG19 val 的 PPL，全注意力为 8.04，S²-Attn 为 8.08；而如果不加 shift（即纯 Short Attn），则恶化为 9.47。这一组数字有力地证明了 shift 是 S²-Attn 的核心价值所在——只分组不移位，长程信息会损失近 1.4 的困惑度；做了 shift，差距就能收敛到 0.04。

3.2 LoRA+：被普通 LoRA 忽视的两个层（§3.3, p5–6；Table 2, p6）

这是 LongLoRA 我认为最具「诊断价值」的一处洞察。论文一开始按惯例在 attention 的 Wq/Wk/Wv/Wo 上做 LoRA（普通 LoRA），结果在长上下文下的表现完全不同，进而展开了系统排查。

诊断链条（主张 #4）：目标长度 32768 的设定下：

• 全参微调 PPL 8.08（作为强基准）；
• 普通 LoRA（rank 8 → 256 逐级提升）PPL 为 11.44–11.98——这个差距之大、且提高 rank 无法弥合，说明问题不在低秩近似能力，而在「层覆盖范围」。

也就是说，即便把 rank 拉到 256，普通 LoRA 仍然比全参差 3.4 个困惑度——单靠增加低秩维度根本救不回来。

解法（LoRA+）：把 embedding 层（Llama2 7B 中 <2% 参数）与 normalization 层（≤0.004% 参数）也从冻结状态放开，让它们参与训练，即形成 LoRA+。结果 PPL 从 11.44–11.98 陡降到 8.12，几乎追平全参的 8.08。

为什么是这两层（推断）：沿着论文给出的数字与外推，embedding 层承担着 token 到向量空间的「入口映射」，而 normalization 层（RMSNorm）调制着各层的激活尺度。当上下文大幅拉长时，进入模型的 token 分布与位置统计会发生显著漂移；如果这两处「全局尺度」层保持冻结，即使注意力投影层在训练，其输入的统计分布也与训练期错位，于是长上下文下的表征难以自洽。放开这两层（虽参数占比极小）等于让模型的「全局尺度」也适应新的上下文分布，从而以极小的参数代价换回接近全参的性能。这一「参数占比小、但作用全局」的特性，正是 LoRA+ 高效的本质。

3.3 训练配置全景（§4.1, p6–7；§A.1, p13）

把两个组件装上车之后，整体的训练设置也值得记录：

• 底座：Llama2 7B / 13B / 70B；位置编码缩放采用 Position Interpolation（PI）。
• 数据：RedPajama，目标为 next-token prediction。
• 优化器：AdamW（β₁=0.9, β₂=0.95）；学习率 2e-5（7B/13B）、1e-5（70B）；linear warmup；weight decay = 0。
• 批大小：per-device batch 1 × grad-accum 8 × 8 GPU = 全局批 64；共 1000 步。
• 环境：PyTorch + DeepSpeed（常规长度用 stage 2，极限长度用 stage 3）+ Flash-Attention2；默认开启 gradient checkpoint；作者提示 7B→8192 甚至可用单张 3090 Ti 完成。
• SFT：自建 LongAlpaca 长指令数据集（涵盖技术论文 / 科幻 / 书籍等多类长问答），配合 LongLoRA 做监督微调（§B.6, p18）。

这套配置处处透着「面向单机、开箱即用」的工程取向：8 卡 A100 是很多高校实验室的标准配置，而「单张 3090 Ti 能跑 7B→8192」更是把硬件门槛压到了个人玩家也能接受的程度。

四、证据链：数据如何支撑主张

LongLoRA 的证据链相当扎实，覆盖了语言建模、检索能力、收敛行为、注意力模式对比与工程效率五个维度。下面按证据来源逐条组织。

4.1 语言建模：核心证据（Table 3/4, p6–7）

证明「S²-Attn + LoRA+ 能以远低的成本追平全参微调」的最强证据，是 proof-pile 上的困惑度：

• 主张 #5：Llama2 7B 训练 32768 / 评测 32768 → PPL 2.50（S²-Attn + LoRA+）；13B 同设定 → 2.32。这两个数字均与对应全注意力全参基线相当（7B 全参 2.49 / 13B 全参 2.33）。差距在 0.01–0.02，几乎可忽略——而代价是极低的参数增量与大幅缩减的训练计算量。
• 长度效应：同训练长度下，评测越长 PPL 越好。7B 从 8192→32768 的训练长度提升，使 32k 评测 PPL 由 2.72 → 2.50（−0.22）；13B 则为 −0.28。这说明训练的上下文长度本身就在塑造模型的长程建模能力。
• 主张 #6（极限扩展）：7B@100k PPL 2.52、13B@65536 PPL 2.38、70B@32768 PPL 2.17。这些极限设定依然有效，但论文如实指出短上下文侧出现轻微退化（继承自 PI 的已知问题）。

4.2 检索能力：下游任务验证（Table 5, p7–8；Figure 4, p8）

困惑度是「语言熟练度」，检索是「真正用上长上下文」。这方面的证据：

• 主张 #7（topic retrieval，≤16k）：Ours-13B 得分 1.0 / 0.98 / 0.98 / 0.98 / 0.94，与全参微调的 LongChat-13B（… / 0.90）持平或略优，尤其是在 16k 段反超。而它的训练成本远低于全参基准。这证明 LongLoRA 不是「省了成本但输掉效果」，而是「省了成本还小胜」。
• 主张 #8（passkey retrieval）：32k 微调后的模型在 33k–34k 仍保持高准确率；如果仅把位置插值上限扩到 48k（不额外训练），在 33k–45k 仍能维持 60%–90% 的准确率。这展示了「PI + LongLoRA」组合带给模型的一定外推能力——虽然外推段准确率有衰减，但并非断崖。

4.3 收敛行为（Figure 5, p8）

论文还细致地记录了收敛动力学：初始 PPL 15.82；全参微调在前期收敛更快，但约 200 步后两者逼近，终局差距很小。这个证据补充说明了：S²-Attn 的训练近似并没有拖慢最终的收敛水平，只是在初期的收敛速度上略逊于全参——这对「追求充分训练、时间充裕」的用户几乎不是问题。

4.4 注意力模式横向对比（Table 6, p9）

LongLoRA 还做了一张非常有说服力的「注意力模式体检表」，从反面衬托出自己的选择：

• S²-Attn 用全注意力来测试，PPL 8.12 为最优；
• cross-layer shift（跨层偏移）尚可；
• only-P1 / only-P2（即不做 shift、无组间通信）严重劣化——再次印证 shift 的必要性；
• dilated / block-sparse / stride-sparse 等为「从头训练」设计的稀疏模式，在预训练模型微调场景下全部明显落后。

这说明了长上下文扩展领域的一条关键规律：为预训练模型做微调，不能直接照搬专为从头训练设计的稀疏注意力架构，因为这些架构改变了模型本来的注意力分布，导致预训练积累的表征被破坏。LongLoRA 选择「训练期近似 + 推理期还原」正是为了规避这一陷阱。

4.5 工程效率（Figure 1, p1；Table 12/13, p18）

证据的最后一块拼图是把「省」量化出来：

• 主张 #9：在 32768 设定下，LongLoRA 训练 24.6 小时 / 46.4GB，全参微调 39.8 小时 / 68.8GB，普通 LoRA 36.5 小时 / 46.5GB。也就是说，LongLoRA 比全参省约 1.8× 时间、省约 1.8× 显存，同时也明显快于普通 LoRA（普通 LoRA 慢是因为它训练效果差，需要另想办法）。在 65536 下全参直接 OOM，而 LongLoRA 仍能以 52.4 小时 / 69.8GB 跑完。
• 主张 #10（无 FA2 时的收益）：没有 Flash-Attention2 时，S²-Attn 反而能带来 2.1× 加速、1.8× 省显存（在 8192 长度）；而一旦没有 S²-Attn + FA2，16384 就 OOM。这说明 S²-Attn 的价值在缺少高级算子时反而更大——它是「软件层的兜底」，不依赖特定算子的优化。

4.6 下游基准与总成本（§B.4, p14；主张 #11）

LongBench、LEval 上，7B（16384 微调）与 GPT-3.5-Turbo 及 Vicuna / LongChat 系列相当或更优，而训练开销极小——仅约 4 小时、约 0.3B tokens。这一条把「性价比」推到了极致：用不到半天的时间、约 3 亿 token，就能让开源模型在主流长上下文基准上达到与商业模型可比的程度。

证据链小结（推断）：LongLoRA 的证据链条里，A 类是「正面证明」（S²-Attn + LoRA+ 追平全参），B 类是「反面照妖」（普通 LoRA 不行、无 shift 不行、稀疏模式不行——从三个方向把「为什么必须这么做」讲透），C 类是「成本背书」（显存 / 时长 / 硬件门槛）。三类型证据互相咬合，构成一个自洽且完整的论证闭环。

五、批判性分析：它的局限与它没回答的问题

LongLoRA 的价值毋庸置疑，但作为严谨的解读，也必须直面它承认与未承认的局限。

5.1 方法自身的局限（论文自认）

1. 短上下文性能回退（§4.2, p7）：扩展后的模型在小上下文处有轻度 PPL 退化，作者归因于 Position Interpolation 的已知缺陷。这带来一个关键的思考：LongLoRA 本身并非自洽的长上下文方案，它底层依赖 PI 类位置重缩放。一旦 PI 自身有缺陷，LongLoRA 也会一起承担。
2. 移位信息泄漏的理论瑕疵（§3.2 p5；§B.3 p14）：S²-Attn 的 shift 会把文档尾部 token 移进开头组，严格意义上破坏因果性直觉。论文用 mask 变体实验证明影响可忽略，但这是训练期的近似，理论上的非严格因果是事实上的折衷。
3. 验证范围有限（§5, p9）：实验集中于 Llama2 家族 + RoPE/PI 组合，对其他架构、其他位置编码的泛化性被明确留作 future work。这意味着「LongLoRA 对任意长上下文模型都有效」这一推断尚缺乏充分的跨架构证据。

5.2 更深层的方法论质疑（推断）

跳出论文自我陈述，我补充几点批判性观察：

第一，评估以困惑度为主，真实长文任务证据仍偏弱。 除 topic retrieval / passkey / LongBench / LEval 外，缺少大规模真实长文任务的系统性评测。困惑度是「统计层面的流畅」，但长上下文真正的价值在于「跨 10k+ 词元的真实信息整合」——后者需要海量真实长文的问答 / 摘要 / 引用证据。LongAlpaca 数据规模较小、SFT 部分仅在附录给出，说明监督微调对任务能力的增益并未被充分验证。

第二，对「推理期恢复稠密」的成本可能被低估。 论文强调推理期兼容 FA2、性能无损，这一点很漂亮，但需注意：训练期省下来的注意力计算，在推理期又全部回来。长上下文推理本身的 KV-cache 与全注意力成本并未被 LongLoRA 消除。因此 LongLoRA 优化的是「训练 / 微调」成本，而非「推理」成本——如果用户的痛点主要在线上长上下文推理吞吐，LongLoRA 的收益有限（推断）。

第三，「省约 1.8×」的对比基准需要审视。 主张 #9 的 1.8× 是相对全参微调而言。但 LongLoRA 与普通 LoRA + 合理训练的比较口径，可能比与全参比较更能说明问题——论文在效率表里普通 LoRA 反而更慢（36.5h > 24.6h），这一反常现象其实反映的是：普通 LoRA 在长上下文下效果不够，作者并未在同一「有效效果」标准下比较，故 1.8× 的「提速」更多是相对「昂贵且慢的强基线」而言。

第四，对位置编码扩展的依赖是隐性前提。 整篇论文把 LongLoRA 与 PI 视为「正交可叠加」，但实际部署时必须同时实现 PI，否则长位置坐标会超出训练分布。这让「LongLoRA 开箱即用」打了折扣——它是一个「组件」，而非「完整方案」。

5.3 批判性小结（推断）

LongLoRA 用极简的手段（两行代码 + 放开两个层）实现了昂贵任务（长上下文微调）的大幅降本，这是它最了不起之处。但它同时是「站在 PI 肩膀上」的方法，其核心创新更多在「工程降本」与「诊断修复」层面，而非长上下文建模基本原理的突破。对于追求「低资源扩展」的工程团队，它是高性价比利器；对于研究「长上下文本质」的学者，它更像一面镜子，照出的是 LoRA 这类 PEFT 在长上下文下的「能力边界究竟在哪」。

六、启示与影响

6.1 学科与技术脉络中的定位

LongLoRA 处于一条清晰的技术演进线上。它诞生在「既想长上下文、又养不起大训练」的十字路口：一边是全参微调的高成本，一边是稀疏注意力与 FA2 等基础设施的成熟。它聪明地把两者嫁接——用稀疏近似训练（降低成本）、用稠密架构推理（保住兼容与性能）。在 2023 H2 这个节点（B3_P1），它几乎是和位置插值（PI）、LongChat、LongBench 等同期出现的长上下文热潮中的一股「工程化」力量，显著降低了长上下文微调的门槛。

6.2 对后续研究的直接影响

1. 确立「参数高效微调也能撑长上下文」的信心。 LongLoRA 用 LoRA+ 证明了 PEFT 在长上下文上并非先天不足，只要把 embedding / normalization 层纳入训练即可。这一「层覆盖范围」的洞察，后来被诸多长文 PEFT 工作沿用。
2. 「训练稀疏、推理稠密」成为长效设计模式。 既省训练算力、又不破坏推理期与既有算子兼容性的思想，在后续大量高效微调与长上下文工作中被反复借鉴。
3. 长上下文扩展开始「组件化」。 位置缩放、稀疏注意力、PEFT 逐步解耦为可独立选择、可叠加的组合件，LongLoRA 是这一思路的忠实执行者。

6.3 对工程实践者的可操作启示

• 硬件门槛大幅下调：单机 8×A100 即可扩展到 100k（7B）甚至 70B 到 32k；若要训练 7B→8192，单张 3090 Ti 即可。这使「个人 / 小团队拥有一站长上下文模型」成为现实。
• 照抄「LoRA+」的可落地技巧：任何想用 LoRA 微调长上下文的团队，都应优先检查是否已把 embedding 与 normalization 层放开——这是本次论文最直接、最廉价的工程红利。
• 优先读 S²-Attn 的 group size 规则：取目标长度的 1/4 作组大小，是「成本-精度」的最优锚点，可避免盲目试参。
• 警惕隐性依赖：部署 LongLoRA 时要同步实现 PI 等位置重缩放，否则模型无法真正用上长上下文。

6.4 一句话总结（推断）

LongLoRA 用「两行代码的稀疏近似 + 两个被忽视的层」把长上下文微调的成本砍掉了近半，让开源模型在有限资源下也能触及 100k 的长上下文；其真正深远的影响，或许不在于它把 Llama2 撑得多长，而在于它证明了——长上下文的能力瓶颈，很多时候不在「注意力够不够稠密」，而在「工程降本做得够不够聪明」。当稀疏训练与稠密推理被巧妙解耦，昂贵的长上下文就不再是少数巨头的专利。

参考：源数据 00-源数据提取.md；论文 arXiv:2309.12307（v3, 2024-03-08）。报告中关键数字均可在源数据「§3 核心主张与关键数字」表（主张 #1–#11）与「§4 方法细节」「§5 实验结果要点」中溯源。