Qwen3.5 深度解读报告
Towards Native Multimodal Agents

壹问题定位

节点坐标：开源竞争公式的改写时刻

本文档所属的 B2_P2 节点，处于开源阵营从「总参数军备竞赛」转向「架构级效率」的转折点上。在 Qwen3.5 之前，开源旗舰的竞争力公式是1T 级总参对冲激活不足（如 K2-1T-A32B）；Qwen3.5 发布博客提出的命题则是：在不牺牲能力的前提下优化速度与成本。（推断：这一命题转换是对闭源旗舰 API 定价体系的正面攻击——性能进入同一梯队后，「开源权重 + 低推理成本」构成组合拳。）

博客的五问结构

1. 是什么——397B 总参 / 每 token 仅激活 17B 的原生视觉-语言模型，语言支持 119→201 种；
2. 有多强——Language 与 Vision Language 双基准表，对标 GPT5.2、Claude 4.5 Opus、Gemini-3 Pro；
3. 为什么能——承袭 Qwen3-Next 的线性注意力 + 高稀疏 MoE 架构叙事；
4. 怎么训的——异构多模态训练近 100% 纯文本吞吐、FP8 全管线、异步 RL 框架端到端 3×–5× 加速；
5. 去哪里——从模型 scaling 转向系统集成：持久记忆 / 具身接口 / 自我改进 / 经济感知。

贰概念内核

支柱一：线性注意力的工程化落地（Gated Delta Networks）

传统自注意力逐 token 计算注意力矩阵，序列复杂度平方级；Gated DeltaNet（源自 arXiv:2412.06464，Mamba2 的 delta rule 改造）以门控衰减 + delta rule 增量更新固定尺寸循环状态替代之，序列复杂度近线性。其输出门控（output gating）消除 attention sink 与 massive activations——线性架构大规模训练的两大经典稳定性杀手。纯线性注意力存在记忆瓶颈，Qwen 的解法是 3:1 混合排布：60 层 = 15 × [3×(GDN→MoE) + 1×(GA→MoE)]，保留周期性全局混合层。这是「效率不牺牲能力」主张的架构学基础。

支柱二：高稀疏 MoE 与激活经济学

512 专家、每 token 激活 10 routed + 1 shared（expert intermediate dim 1024），激活比约 4.1%。（推断：该稀疏度属已公开大模型中最激进梯队。）单次前向计算量接近一个 17B 稠密模型，知识容量却对应 397B 总参；配合 MTP 多步预测头，共同构成 19× 吞吐的架构基础。

支柱三：早期融合的原生多模态

不做 VL 适配器后挂，而是预训练即混入视觉 token，换取「跨代持平的语言能力 + 超专用 VL 模型的视觉能力」双目标。实测 MMMU 85.0、MathVision 88.6、OmniDocBench1.5 90.8 支撑后半句。（推断：原生路线统一了语言与视觉训练管线，为具身接口铺路，与 Summary 的未来宣言呼应。）

支柱四：Agent 规模化 RL

post-training 增益主要来自 RL 任务与环境的大规模扩展，重难度递进与泛化性而非刷榜；综合排名口径披露为 BFCL-V4 / VITA-Bench / DeepPlanning / Tool-Decathlon / MCP-Mark 五项平均名次——对抗「挑指标」质疑的话语设计。

叁方法拆解

架构层全栈规格（HF 模型卡 Model Overview）

（推断：GQA 仅 2 KV 头 + 线性层占 75%，使长上下文 KV Cache 显存大幅下降——这是 256k 场景吞吐优势的第二支柱，第一支柱是 MTP。）

训练层三大基础设施创新

• 异构原生多模态训练：视觉+文本混训保持近 100% 相对纯文本吞吐——解决 early fusion 最大工程障碍；
• 原生 FP8 管线：激活内存降约 50%、提速 >10%，稳定扩展数十万亿 token 量级；
• 可扩展异步 RL 框架：train-inference 分离、rollout router replay、投机解码、多轮 rollout locking、梯度陈旧性约束五项技术，端到端 3×–5× 加速，支持百万级 agent scaffold。

（推断：第三项最具战略纵深——RL 环境规模化是 Agent 能力来源，异步框架决定环境规模上限，本质是为「Agent 数据飞轮」修基础设施。）

推理层与评测方法层

Qwen Chat 提供 auto/thinking/fast 三模式，API 暴露 enable_thinking / enable_search；auto 模式下模型自主决定是否思考及调用 search/code interpreter。（推断：决策权向模型自主判断转移，指向 Agent 自治方向。）评测脚注披露 Search Agent 采用 context-folding（256k 阈值裁剪工具响应）或 discard-all 双策略——BrowseComp 69.0 vs 78.6 差异来源，官方坦承 agentic 分数依赖 scaffolding。

肆证据链

核心指标速览

效率主张的证据

19.0× 解码吞吐（256k 档，vs Qwen3-Max；32k 档为 8.6×）；对 Qwen3-235B-A22B 为 7.2× / 3.5×。第三方复现：AMD MI355X + SGLang 报告最高 17× 加速；PyTorch TokenSpeed 记录 580 tps agentic GPU 速度纪录。（推断：硬件厂商与框架方的复现意愿虽利益相关，但技术可信度高于广告。）能力侧：预训练基座匹配 >1T 参数的 Qwen3-Max-Base；MMLU-Pro 76.01 vs GLM-4.5 65.00、DeepSeek-V3.2 62.82。

能力证据分层

伍批判性分析

其一：吞吐数字的口径依赖

8.6×/19.0× 以自家 Qwen3-Max 为分母且绑定 32k/256k 特定档位，无跨厂商同硬件对照。第三方 SemiAnalysis 指出此类比值对 TP 配置与 interactivity 假设敏感。（推断：更公允的呈现应是同硬件每 token 成本绝对值；回避绝对值符合营销规律但有损可比性。）

其二：无独立技术报告的可验证性缺口

仅博客 + 模型卡，scaling 细节待后续报告。未披露清单冗长：总训练 token 数（仅「数十万亿」量级）、GPU 型号与算力成本、视觉编码器规格、蒸馏/合成数据占比、RL 环境构造与奖励设计；安全评测章节完全缺位，与 Anthropic 式 system card 发布形成对照。（推断：「跨代持平」目前是断言而非可检验结论。）

其三：自评口径空间

BrowseComp 分数强依赖策略选择（69.0 vs 78.6，差近 10 分）；MathVision 对自家用固定 boxed{} prompt、对他家取两次运行最高值。综合排名五项中 BFCL-V4 与 MCP-Mark 恰是其相对强项。（推断：非造假，而是「合规的议程设置」。）

其四：GDN 架构的隐性部署税

混合架构要求推理框架同时管理 KV Cache 与 Mamba 循环状态双资源池，并做 PD 分离状态迁移，部署复杂度高于标准 Transformer；官方博客对此只字未提。（推断：将造成生态分层——大厂自建推理栈吃满红利，中小部署方因框架支持滞后可能实际体验不到倍数优势。）

其五：广度指标的质量盲区

201 语言仅报广度与 10–60% 编解码效率提升，低资源语言质量无逐语种评测；词表扩容亦有 embedding 参数膨胀代价。（推断：多语言广度更多是地缘市场信号而非能力证明。）

其六：首日单尺寸的生态不确定性

"more sizes are coming"——小尺寸是否沿用 DeltaNet 混合架构当时未定，社区围绕 GDN 的推理栈投资存在押注风险（后续 Qwen3.6 才补齐尺寸矩阵）。

陆启示与影响

开源阵营：竞争主轴的扭转

从「总参数军备竞赛」转向「激活经济学 + 架构效率」——397B 总参即可跨代持平 >1T 的基座。（推断：此后开源发布的必答题将从「MMLU 多少」变为「每 token 激活多少、长上下文吞吐多少」。）

推理基础设施：一次范式迁移

GDN 混合架构成为线性注意力工程化落地的最大规模公开验证，vLLM/SGLang/TokenSpeed 等框架被迫在同一周期支持「KV Cache + Mamba State」双资源池管理。（推断：类似当年 GQA 普及——短期适配阵痛，长期成标配能力。）

多模态路线：原生融合的胜利

early fusion 首次以完整基准表证明「原生 ≥ 适配器后挂」（MMMU 85.0、OmniDocBench1.5 90.8、OSWorld-Verified 62.2 同时覆盖理解与具身操作）。（推断：VL 适配器作为独立品类将加速萎缩。）

Agent 产品化：三点可迁移经验

• Search Agent 的 context-folding 策略（256k 阈值裁剪工具响应）可复用；
• 综合排名用多任务平均名次而非单点最高分，更抗过拟合；
• auto 模式的意图路由预示 API 设计从显式开关走向自治判断。

节点结论

B2_P2 节点的历史意义在于效率从工程优化项升格为架构设计的第一性原理。一份无独立技术报告的博客完成了这件事：证据强度不足以终结「线性 vs 全注意力召回能力」的学术争论，但足以改变产业默认选项。19× 这个数字的修辞寿命会超过它的技术精确性——发布博客的本质是行业议程的重设工具，而非科学论文。（推断：评估此类节点的正确姿势是追踪六个月后第三方部署统计，届时真实吞吐分布会替代发布日倍数。）

谱系连接与方法论沉淀

向前：架构直接承袭 Qwen3-Next，学术源头为 arXiv:2412.06464 对 Mamba2 的 delta rule 改造——本节点是「线性注意力学术线」与「稀疏 MoE 工程线」的交汇点。向后：Summary 宣告持久记忆/具身接口/自我改进/经济感知四方向，「经济感知」意味着模型将对自身推理成本负责——与 19× 叙事构成同一逻辑两半：先降单位成本，再让模型节约地使用自己。

方法论三条：(a) 倍数反查法——遇 X 倍数字先找分母与档位；(b) 脚注考古法——口径差异藏在脚注（BrowseComp 双策略差近 10 分即「官方自曝的口径敏感带」）；(c) 未披露清单法——未披露项的分布模式比披露项更能反映议程取舍（算力成本与安全评测双双缺席，指向成本与安全叙事的主动回避）。