《DeepSeek-OCR: Contexts Optical Compression》深度解读报告

数据依据：pdf-worker 源数据提取文件（00-源数据提取.md），全部数字与原文一致；文中标注“（推断）”处为分析者推理补充。

摘要

本文解读 DeepSeek-AI 于 2025-10-21 发布的《DeepSeek-OCR: Contexts Optical Compression》（arXiv:2510.18234v1，Haoran Wei、Yaofeng Sun、Yukun Li）。论文的核心论断是：LLM 长上下文的根本瓶颈是文本 token 序列的平方复杂度，而视觉可以充当文字的高效压缩介质——用极少的 vision tokens 解码远多于其数量的 text tokens。为此作者构建了统一端到端 VLM：自研 DeepEncoder（约 380M 参数 = 80M SAM-base 窗口注意力 + 300M CLIP-large 全局注意力，中间以 16× 卷积模块下采样）串联 DeepSeek3B-MoE-A570M 解码器（64 个 routed 专家激活 6 个 + 2 个 shared），实现“3B 的表达能力 + 500M 级的推理效率”。Fox 压缩研究给出核心数字：压缩比 <10× 时文档解码精度约 97%，10–12× 约 90%，20× 仍保留约 60%（59.1%）。实用侧战绩同样激进：仅 100 个 vision tokens 即在 OmniDocBench 上超过消耗 256 tokens 的 GOT-OCR2.0（ED 0.221 vs 0.287）；<800 tokens（Gundam 795）即超 6000+ tokens 的 MinerU2.0（0.127 vs 0.133）；Gundam-M 以 1853 tokens 达到全场最优 0.123。配套数据引擎单张 A100-40G 日产 200k+ 页标注数据，20 节点集群理论日产 33M 页。论文末章进一步抛出“遗忘机制”（forgetting mechanism）猜想——高压缩比下的精度衰减恰似人类记忆的自然衰减，为多轮对话历史的光学压缩埋下伏笔。本报告按“问题—概念—方法—证据—批判—启示”六层结构逐层拆解。

一、问题定位：从序列长度危机到“光学上下文”

1.1 论文要解决的问题

论文的出发点不是“把 OCR 做得更好”，而是一个更宏观的问题：LLM 处理长上下文的计算代价随文本 token 数呈平方增长（§1 动机）。历史对话、长文档、知识库若都以离散文本 token 形式驻留在上下文中，注意力的开销会迅速变得不可承受。作者的破题思路是反向的——既然图像可以被压缩为极少量 token 而信息基本保真（vision tokens ≪ text tokens），那么文字本身也可以先“渲染成图像”、再以视觉通道进入模型，从而用几十至几百个 vision tokens 承载原本数千个 text tokens 的信息量。这就是标题中 “Contexts Optical Compression”（上下文光学压缩）的含义：把“上下文”这个 LLM 最贵的资源，转移到光学（像素）介质上存储。

1.2 在两条研究谱系中的定位

论文的相关工作章节划出两条脉络，本文同时与两者对话又保持距离：

• VLM 视觉编码器谱系（§2.1）：论文将既有典型视觉编码器归为三类并指出各自缺陷（源数据未记录具体类目名目）。DeepEncoder 的设计正是对这些缺陷的系统性回应——高分辨率、高分辨率低激活、少 vision tokens、多分辨率、适中参数量五大需求一次满足。
• 端到端 OCR 模型谱系（§2.2）：Nougat、GOT-OCR2.0 等证明了端到端路线可行，但它们的 vision token 开销仍然偏高（GOT-OCR2.0 为 256 tokens/页）。本文把“每页消耗多少 vision tokens”压到新的量级，并在同等或更少 token 下反超其精度。

一句话小结：本文的问题域比 OCR 大一圈——OCR 只是“光学压缩”假设的试验场；真正的靶子是 LLM 长上下文的 token 经济学，视觉被重新定义为文字的压缩编码格式。

二、概念拆解：五个核心概念逐一定义

2.1 Contexts Optical Compression（上下文光学压缩）

术语定义：将文本内容渲染为图像、以少量 vision tokens 进入模型解码还原，从而实现“少 token 存多文本”的上下文压缩范式。

拆解：这是全文的“新词”，本质是把压缩问题从离散符号空间搬到连续像素空间。它的成立依赖一个可测量的命题：存在一条"text tokens → vision tokens → text tokens"的有损编解码链路，且在中低压缩比下损失可忽略。Fox 实验（§4.1）就是对这个命题的直接测量：<10× 时精度约 97%，意味着十倍压缩几乎无损。（推断）这条链路可以类比为一台“光学编解码器”：渲染管线是编码器，DeepSeek-OCR 是解码器，压缩比与保真度的权衡曲线则是 codec 的率失真曲线。

2.2 压缩比与精度边界（97% / 90% / 60%）

定义：压缩比 = text tokens ÷ vision tokens；三个锚点数字刻画其率失真边界——<10× 约 97%，10–12× 约 90%，20× 约 60%（59.1%）。

拆解：这三个数字是论文最常被引用的部分，理解它们需要三点补充。① 它们来自 Fox 上 100 页英文文档、仅测试 Tiny（64）/Small（100）两档模式的受控实验，且作者注明实际精度比报告更高（输出格式与 Fox 无法完全对齐导致低估）；② 从 Table 2 看，精度下降是随压缩比渐进而非突变的——Small 档从 98.5%（6.7×）平滑滑落至 87.1%（12.6×），没有悬崖；③ 两个下降原因被明确归因：其一，长文档布局更复杂（可通过渲染为单页布局缓解，属工程问题）；其二，512/640 低分辨率下长文本变模糊（属物理限制，作者将其正面解读为“遗忘机制”的特征）。

2.3 DeepEncoder：双注意力分工 + 中置压缩

定义：约 380M 参数的三段式编码器——80M SAM-base（patch 16，window attention 主导的视觉感知组件）→ 2 层卷积 16× 下采样 → 300M CLIP-large（移除首个 patch embedding 层，dense global attention 的视觉知识组件）。

拆解：这是架构上最精巧的设计决策。注意力算力的大头本应出现在 token 数最多的位置，而 DeepEncoder 把窗口注意力的 SAM 放在高 token 数的前段（局部感知不需要全局交互），把昂贵的全局注意力 CLIP 放在 16× 压缩之后——此时 token 已缩减 16 倍，全局建模的成本被大幅摊薄。卷积压缩模块采用 Vary 风格：2 层卷积，kernel 3 / stride 2 / padding 1，通道 256→1024。以 1024×1024 输入为例：4096 个 patch tokens 经压缩变为 4096/16 = 256 vision tokens，激活内存可控。五大设计需求（高分辨率、低激活、少 tokens、多分辨率、参数适中）在这条流水线上各得其所。

2.4 MoE 解码器：表达力与效率的解耦

定义：DeepSeek3B-MoE-A570M——总参 3B 的 MoE 语言模型，64 个 routed 专家中每 token 仅激活 6 个，另有 2 个 shared 专家，激活参数约 570M。

拆解：解码映射的形式化表达是 f_dec: R^{n×d_latent} → R^{N×d_text}，其中 n ≤ N——latent 维度小于文本维度，这正是“压缩解码”的数学表述。（推断）选择 MoE 而非稠密小模型的意图很清晰：OCR 解码需要覆盖近 100 种语言、公式、表格、几何等异构知识分布，稀疏专家让不同领域知识分桶存放，而 570M 的激活量保住了部署经济性。Tokenizer 词表约 129k（§4.1）。

2.5 Forgetting Mechanism（遗忘机制）

定义：作者提出的猜想——高压缩比/低分辨率下模型“看不清”旧文本的现象，与人类记忆随时间自然衰减同构（§5 Discussion，Fig 13）。

拆解：这是论文从工程走向认知科学的一步跨越。其观察基础有二：① 压缩比超过阈值后精度持续衰减；② 512/640 分辨率下长文本变模糊。作者没有把这两点单纯当作缺陷，而是提出：若把多轮对话历史按时间远近赋予递减的分辨率（越久远越模糊），就能模拟“记忆衰减”，让模型像人一样记住要点、忘掉细节。（推断）这一构想的实质是把“信息丢弃”从被动损失转变为可控的记忆管理策略——但目前仅为 Fig 13 的初步设想，尚无对应实验。

一句话小结：五个概念构成一条完整链条——光学压缩提出范式、率失真边界划定可行性、DeepEncoder 解决“怎么压”、MoE 解码器解决“怎么解”、遗忘机制则把“压不掉的部分”升华为认知特性。

三、方法还原：架构—数据—训练的完整技术体系

3.1 架构侧：一条 16× 压缩的视觉流水线

整体结构为统一端到端 VLM：DeepEncoder 编码图像 → vision tokens 作为前缀 → DeepSeek3B-MoE 自回归解码文本（Fig 3）。关键链路逐步推导：

1. 感知前段（SAM-base，80M）：patch 16 切分，1024×1024 输入产生 (1024/16)² = 4096 个 patch tokens；window attention 为主，处理高 token 数的局部感知；
2. 压缩桥（16× 卷积模块）：2 层卷积逐级 2× 下采样（stride 2），通道 256→1024，4096 tokens → 256 vision tokens；
3. 知识后段（CLIP-large，300M）：接收压缩后的 token 序列（首个 patch embedding 层被移除），以 dense global attention 完成全局语义整合——此时全局注意力的开销仅为未压缩方案的 1/256。

（推断）这一“先局部后全局、中间硬压缩”的结构是全文激活效率的来源，也是它敢宣称“高分辨率低激活”的资本。

3.2 多分辨率体系：六档模式一张网

通过位置编码动态插值实现单模型多分辨率（Table 1）：

三条设计规则值得展开：

• resize vs padding 的取舍：Tiny/Small 直接 resize 到固定分辨率（避免浪费 token 预算）；Base/Large 保持原生比例、等比 padding，有效 token 数由式 1 给出：N_valid = ⌈N_actual × [1 − (max(w,h)−min(w,h))/max(w,h)]⌉——宽高比越接近 1，浪费越少。
• Gundam 的 tiling 组合（InternVL2.0 式）：n 个 640×640 local tiles + 一个 1024×1024 global view，n∈[2,9]；若 w、h 均 <640 则 n=0，自动退化为 Base。vision tokens = n×100 + 256。“local 保细节、global 保布局”的双视图思想在此落地。
• Gundam-master 的特殊待遇：1024 local + 1280 global 的最大档不在主训练中学，而是在已训练模型上继续训练获得（6M 采样数据）——原因是 load balancing：过大分辨率会拖慢整体训练。（推断）这暗示最大档位对专家路由负载分布有扰动，工程上选择了“主干冻结式增量训练”的折中。

3.3 数据侧：70/20/10 的三源混合引擎

训练配比：OCR 数据 70%、general vision 20%、text-only 10%。这是全文工程含量最高的部分。

3.3.1 OCR 1.0：30M 页传统文档

• 主体：30M 页 PDF（约 100 语言），中英约 25M、其他语言 5M。
• 双层标注：Coarse annotations 用 fitz 从全量数据直接抽取（顺带教会模型识别教学小语种）；Fine annotations 对中英各 2M 页，用 PP-DocLayout、MinerU、GOT-OCR2.0 生成 layout/text 交错标注，坐标归一化到 1000 bins。
• 小语种模型飞轮：fitz 造 patch → 训练 GOT-OCR2.0 → 用它标注 small patches，产出 600K 样本——用模型自举解决人工标注无法覆盖的长尾语种。
• 补充源：3M Word 数据（无 layout 的高质量图文对，利于公式与 HTML 表格学习）；自然场景 OCR 取 LAION + Wukong、PaddleOCR 标注，中英各 10M。

3.3.2 OCR 2.0：结构化内容的合成制造

• 图表（10M）：pyecharts + matplotlib 渲染，输出格式定义为 image→HTML table——刻意不用 OneChart 式 dictionary 以节省 token，覆盖 line/bar/pie/composite。
• 化学公式（5M）：PubChem SMILES + RDKit 渲染图文对。
• 平面几何（1M）：follow Slow Perception，perception-ruler=4 逐线段建模，配合几何平移不变增强；ground truth 采用 dictionary 格式（线段/端点坐标/类型等）。

3.3.3 General 与 Text-only

General vision 数据 follow DeepSeek-VL2（caption/detection/grounding，占 20%），目的是维持 CLIP 的通用视觉知识（KLCIP 目标）不被 OCR 任务带偏；Text-only 占 10%，取内部纯文本预训练数据，序列长度 8192 tokens——这也是 DeepSeek-OCR 的序列长度。

3.4 训练管线：两阶段 + 四段流水线并行

阶段一：独立训练 DeepEncoder（§3.5.1）。follow Vary，用 compact LM 的 next-token prediction 框架训练编码器；数据为全部 OCR 1.0/2.0 + 100M LAION 采样；2 epochs，batch 1280，AdamW + cosine annealing，lr 5e-5，序列 4096。

阶段二：训练 DeepSeek-OCR 整体（§3.5.2）。HAI-LLM 平台，pipeline parallelism 分 4 段，冻结策略极具信息量：

• PP0：SAM + compressor，作为 vision tokenizer 冻结——压缩语义一旦学成就不再动；
• PP1：CLIP，作为 input embedding 层，不冻结——视觉表征继续向语言空间对齐；
• PP2 / PP3：各 6 层语言模型，正常训练。

规模配置：20 节点 × 8 张 A100-40G，DP 40，global batch 640，AdamW + step-based scheduler，初始 lr 3e-5。吞吐：纯文本 90B tokens/天，多模态 70B tokens/天。

一句话小结：方法体系是“三头并进”——架构上用双注意力分工 + 中置 16× 压缩把激活成本打下来；数据上用 fitz 粗标 + 模型飞轮 + 渲染合成的组合拳把 30M 页级语料的标注成本打下来；训练上用四段流水线的差异化冻结策略把 20 节点的利用率提上去。

四、证据评估：Fox 压缩曲线与 OmniDocBench 实战

4.1 Fox 压缩研究（Table 2）：率失真曲线的完整形状

实验设置：Fox 集 100 页英文文档，text tokens 落在 600–1300 区间，仅测 Tiny（64 tokens）与 Small（100 tokens）两档：

逐层解读：

1. 100-token 曲线的“甜点区”：6.7×–9.7× 区间稳定在 96.8–98.5%，跨入 10× 后仍守住 87% 以上直至 12.6×。这就是“<10× 约 97%、10–12× 约 90%”两个 headline 数字的出处。64-token 曲线则在 13.2× 处率先跌破 84%，19.7× 时跌至 59.1%——两档曲线共同勾勒出“预算换保真”的连续谱。
2. 衰减的两个可控性不同的成因：布局复杂性上升属工程问题（渲染为单页布局即可缓解）；低分辨率文本模糊属物理约束。前者可修、后者只能靠加 token 或加分辨率——这决定了率失真曲线的“地板”位置。
3. 测量口径偏保守：作者注明实际精度高于报告值（输出格式与 Fox 无法完全对齐）。即真实曲线大概率在表列数字之上。

4.2 OmniDocBench（Table 3）：以少胜多的正面战场

OmniDocBench 编辑距离（ED，越低越好）对比，对照 pipeline 模型（Dolphin/Marker/Mathpix/MinerU-2.1.1/MonkeyOCR-1.2B/PPstructure-v3）与端到端模型（Nougat/SmolDocling/InternVL2-76B/Qwen2.5-VL-7B/OLMOCR/GOT-OCR2.0/OCRFlux-3B/GPT4o/InternVL3-78B/Qwen2.5-VL-72B/dots.ocr/Gemini2.5-Pro/MinerU2.0 等）。四个关键档位：

解读：

1. 100 vs 256 的正面击杀最具象征意义：GOT-OCR2.0 是上一代端到端标杆，DeepSeek-OCR 用其 39% 的 token 量取得明显更低的 ED——这是“光学压缩”范式对传统端到端路线的直接胜利。
2. 795 vs 6790 的量级碾压：MinerU2.0 是强 pipeline 代表，Gundam 用不到其 12% 的 tokens 反超（0.127 vs 0.133）。注意此时已超出 "<800 tokens" 的宣传边界不多，说明该档位是性价比拐点附近的最优解。
3. Gundam-M 的 0.123 是“不计 token 成本”的上限证明：1853 tokens 已超出“少 token”叙事范围，但它压过了 dots.ocr 的 5545 tokens（0.125），说明高分辨档位仍有榨取空间。
4. 中英分项：Chinese overall 最优为 Gundam 0.181 / Gundam-M 0.157；English 各档均优于中文。（推断）中文密排字形与更大字符集是常见归因方向，但论文未给出机制解释。

4.3 类别适配（Table 4)：token 档位 × 文档类型的匹配矩阵

• 幻灯片：64 tokens 即达标（Tiny 0.116）——版面稀疏、字号大的文档天然适合极限压缩；
• 书籍/报告：100 tokens 足够好（Small 0.085 / 0.079）；
• 报纸：必须上 Gundam 档——其文本 token 达 4–5,000，远超 10× 压缩边界；同一报纸上精度从 Tiny 的 0.94 恶化到 Gundam-M 的 0.077，跨度逾 12 倍；Gundam overall 0.083。

这张表揭示了一个重要的实践结论：“最优档位”是文档类型的函数而非全局常数。幻灯片与报纸之间隔着一整个数量级的 token 需求，单一档位必然顾此失彼——六档模式体系正是为此设计。（推断）Table 4 中 Financial Report 一列 Gundam 得分异常（0.289，反而不如其他类别正常水平），提示 Gundam 档在该文档类型上的 tiling 策略或训练分布存在短板。

4.4 定性证据（Fig 7–12）：能力外溢的三条边

1. 深度解析（deep parsing，Fig 7–10）：可对图内嵌套元素二次调用解析——图表、平面几何、化学公式、乃至自然图像都能再走一遍解析流程，形成“解析的递归”。
2. 多语言覆盖（Fig 11）：支持近 100 种语言的识别演示（含阿拉伯语、僧伽罗语等低资源语种）——30M 页多语语料 + 模型飞轮的数据侧投入在此兑现。
3. 通用视觉保留（Fig 12)：描述、检测、grounding 能力仍在（演示含《将进酒》书法识别、6月香豆瓣酱标签解析、消防栓描述、中文 grounded OCR 等）。但须注意：模型无 SFT 阶段、非 chatbot，部分通用能力需要特定 completion prompt 激活。

4.5 吞吐卖点：数据引擎自身的工业化证明

单张 A100-40G 日产 200k+ 页标注数据；20 节点（160 卡）理论产能 33M 页/天（§1）。这两个数字的意义常被忽视：光学压缩范式要成为基础设施，前提是“渲染-标注-训练”的整条产线能规模化运转——200k 页/天的单位经济性是该范式可复制的前提条件。

一句话小结：证据体系呈“内外双环”——内环 Fox 曲线证明压缩命题本身成立（<10× ≈97%），外环 OmniDocBench 证明压缩范式在实战中以少胜多（100 tokens 胜 256、795 胜 6790、1853 登顶全场），类别矩阵与定性能力则圈定了适用边界。

五、批判审视：局限的深层含义与独立疑点

5.1 作者自述局限的深层含义

1. 仅是概念验证（proof of concept）：作者明确承认，OCR 单一场景无法充分验证真正的“上下文光学压缩”，未来需要 digital-optical text interleaved pretraining 与 needle-in-a-haystack 测试。深层含义是：当前所有证据都发生在“渲染文本→解码还原”的闭环内，而“光学压缩”的终极价值主张（把对话历史、检索语料光学化后仍可推理问答）尚未被触碰。97% 还原 ≠ 97% 可用——文本被还原出来之后能否支撑下游推理，是完全独立的命题。
2. 20× 处精度跌至约 60%：无损边界清晰（10× 内），超过即明显劣化。这说明该范式的适用区间是“中低压缩比”，指望一个 vision token 扛十个以上 text token 的极端场景目前不成立。
3. 高分辨率长文本模糊：512/640 下长文本变模糊被作者称为难以逾越的瓶颈。值得注意的是叙事的双重性：同一个现象既被正面包装为“遗忘机制”特征（§5），又被如实承认为精度限制（§6）。（推断）这种“缺陷认知化”的话术值得读者警惕——它是洞察还是修辞，取决于后续是否真的出现可控记忆衰减的实验证据。
4. 无 SFT、非 chatbot：模型未经指令微调，部分能力需特定 completion prompt 激活，复用性受限；作者亦声明“不是通用 VLM”（general vision 数据仅占 20%）。
5. 超长文档优势弱化：报纸类文档（4–5,000 text tokens）必须使用高 token 的 Gundam/Gundam-master 模式——此时“少 token 卖点”相对 pipeline 方案的优势收窄（1853 vs 5545 仍是优势，但不再是数量级差距）。

5.2 独立观察到的六个疑点

① 基线对比矩阵不完整：源数据明确记录 Dolphin、Mathpix 等 pipeline 模型与 Gemini2.5-Pro 等专有模型在 Table 3 中部分列缺失，且表内部分基线为专有/第三方模型、无法复现。这意味着“全场最优 0.123”是在一个有空格的棋盘上取得的——缺席者中可能存在更强对手。（推断）对一篇以基准击败为核心卖点的论文，这是证据链上最直接的折扣项。

② valid tokens 依赖近似公式：Table 3 中 DeepSeek-OCR 的有效 token 数（如 182/285）由式 1 近似计算，实际与理论存在差别。当对比双方以 token 效率为核心叙事时，分母本身的口径误差会被放大解读——虽然偏差方向未必不利于本文，但严谨的效率对比应报告实测值。

③ 分档性能非单调稳定：Financial Report 列 Gundam 异常（0.289）暴露了 tiling 档位的脆弱性。可能的机理是金融报表的密集表格与 Gundam 的 640 局部 tile 尺寸冲突（表格行被切断后全局视图又不足以精读）。（推断）这类“档位错配”故障在真实部署中会表现为不可预测的质量波动，需要路由层兜底。

④ “更大 LLM 同样能习得压缩解码”只是推测：作者对 3B-MoE 之外更大语言模型能否自然习得该能力仅作“合理推测”，（推断）此推测存在明显的过拟合风险——570M 激活的解码器与数十亿级稠密模型的容量分布差异巨大，压缩解码能力的可扩展性未被任何实验支撑。

⑤ 人类记忆类比停留在图示层面：Fig 13 的 memory decay 构想（多轮对话历史光学压缩、超长上下文架构）没有任何配套实验。它作为 research agenda 无可厚非，但传播过程中极易被误读为已完成的工作——“AI 遗忘机制”的标题党风险由论文自身埋下。

⑥ Fox 实验只覆盖英文短文档：100 页、600–1300 text tokens、仅 Tiny/Small 两档。中文文档、公式密集文档、多栏排版的压缩特性均未在该实验中出现；（推断）结合 OmniDocBench 中文分数系统性低于英文的事实，97% 这一核心数字在中文语境下的外推应当打折。

一句话小结：这篇论文的批判焦点不在数据造假而在主张边界——所有硬证据都成立于“文本渲染→还原”的闭环之内，而真正改变 LLM 格局的主张（对话历史光学压缩、可推理的光学记忆）恰好都停在猜想与图示阶段；叠加基线缺口与口径近似，“范式革命”的定论应推迟到 NIAH 测试与 interleaved pretraining 完成之后。

六、启示提炼：可迁移的经验与未来走向

6.1 五条可迁移启示

1. 把“模态转换”当作压缩算法来设计：本文最大的观念贡献是给“上下文贵”提供了一个新坐标系——与其在文本空间里做摘要/裁剪/检索，不如把信息整体搬进像素空间再压缩。这个思路可推广到其他“高带宽物理介质”：（推断）音频谱、时序信号、甚至代码执行轨迹的可视化快照，都可能充当特定信息类型的光学压缩载体。判断标准是论文给出的那条率失真曲线——只要“编码-解码”往返保真度够高，介质切换就划算。
2. 注意力分工前置压缩的编码器模板：SAM（窗口注意力，管便宜的高 token 段）→ 卷积硬压缩 → CLIP（全局注意力，管昂贵的低 token 段）这一“先局部后全局、中间卡脖子”的结构，可迁移到任何“token 多但全局交互非必需”的编码场景（长音频、视频帧序列、高维点云）。核心原则：把全连接开销放在 token 数最小的位置。
3. MoE 作为“表达力/推理成本”旋钮：64 选 6 + 2 shared 的配置展示了如何在 3B 参数的表达力与 570M 激活的成本之间自由取点。对任何“知识广但单次任务窄”的应用（多语种 OCR 正是如此），稀疏专家是比加大稠密模型更经济的路径。
4. 数据引擎的分层自动化：fitz 免费粗标（全量）→ 现成模型细标（中英各 2M）→ 模型飞轮自举长尾（小语种 600K）→ 程序化渲染合成（OCR 2.0 的 16M 样本零人工）。这套“成本阶梯”把 30M 页级语料的人工标注需求压到近乎为零，是所有需要大规模弱监督数据的领域的通用 playbook。
5. 档位化产品思维：Tiny/Small/Base/Large/Gundam/Gundam-M 六档 + 有效 token 公式的组合，本质是把“精度-成本”权衡做成显式 API 供上层调度。Table 4 证明了不存在万能档位——幻灯片用 64 tokens、报纸用上千 tokens，按输入特征自适应选档应成为多分辨率模型部署的标准姿势。

6.2 可能的局限走向

• 从还原到推理（与局限①对应）：digital-optical interleaved pretraining 让模型在“数字文本+光学文本”混合流上预训练，再辅以 NIAH 测试，才能回答“光学化的上下文能否支撑推理”这一终极问题；
• 可控记忆衰减（与遗忘机制构想对应）：把 Fig 13 从图示变成实验——按时间轴给对话历史分配递减分辨率，验证模型是否表现出类似人类的“要点留存、细节遗忘”行为；
• 中文与密集排版补强（与疑点⑥对应）：中文档位的分辨率-精度关系值得单独测绘，密集表格类文档可能需要专门的 tiling 策略；
• 规模扩展验证（与疑点④对应）：在更大语言模型上重复压缩解码训练，检验“合理推测”是否成立。

总结

《DeepSeek-OCR》是一次目标明确的范式试探：它把“视觉”从 LLM 的输入负担重新定义为文字的压缩介质，并用一套完整的技术闭环证明了这个命题的中低压缩比区间成立——DeepEncoder 以“窗口注意力管高 token 段、16× 卷积硬压缩、全局注意力收尾”的三段式把激活成本打下来，DeepSeek3B-MoE-A570M 以 64 选 6 的稀疏激活保住解码表达力，数据引擎以 fitz 粗标 + 模型飞轮 + 渲染合成的成本阶梯喂出 30M 页级语料。证据侧呈现清晰的“内外双环”：内环 Fox 曲线给出 97% / 90% / 59.1% 三锚点的率失真边界，外环 OmniDocBench 实现了 100 tokens 胜 256（vs GOT-OCR2.0）、795 胜 6790（vs MinerU2.0）、1853 登顶全场（0.123）的以少胜多。但必须清醒的是：作者自己承认这只是概念验证——所有硬证据都在“渲染→还原”闭环内，对话历史光学压缩、遗忘机制、更大模型的扩展性均停在猜想层面，基线矩阵尚有空格，中文场景分数系统性偏低。方法论层面的启示（模态转换即压缩、注意力分工前置、MoE 旋钮、数据成本阶梯、档位化部署）具有高度可迁移性；而这个范式的最终成败，取决于 digital-optical interleaved pretraining 与 NIAH 测试能否证明一件事：被光学压缩的不只是文字本身，还有文字所承载的可推理意义。