Qwen3.5-Omni Technical Report
深度解读：全模态 Agent 从「能看能听」到「实时行动」的闭环工程化

摘要

Qwen3.5-Omni 是阿里 Qwen Team 推出的 fully omnimodal LLM，在继承 Qwen2.5-Omni 的 Thinker–Talker 分离式架构基础上完成五项系统性升级：Thinker/Talker 双双改为含 Gated DeltaNet 的 Hybrid Attention MoE、上下文扩至 256k（音频 10h+、视频 400 秒@1FPS）、语音侧引入多码本 RVQ codec 单帧即时合成、Talker 采用 ARIA 自适应速率交错对齐根治双 tokenizer 编码速率失配、多语言扩展至识别 113 语种/方言与合成 36 种。

模型在 215 项音频/视听子任务与基准上取得 SOTA，端到端首包延迟低至 235ms（Flash 音频单并发），并以自主 WebSearch、复杂 FunctionCall 与涌现的 Audio-Visual Vibe Coding 能力将全模态模型推向「omni agent」形态。预训练分三阶段（S2 约 4T tokens），后训练通过专家蒸馏、On-Policy Distillation 与 Interaction-Aligned RL 在补齐语音对话短板的同时保持文本能力不退化（IFBench 52.6 反超基线 51.1）。

一、问题定位

1.1 领域背景：全模态模型的「最后一公里」

全模态意味着单一模型同时处理文本、图像、音频、视频输入并生成文本与语音输出，但「能输入、能输出」只是第一步，真正的困难在于把感知、推理、行动整合进一个可实时交互的系统：

• 感知侧需要处理超长音频（小时级）与长视频流；
• 推理侧需要在多模态输入下不损失纯文本智力；
• 行动侧需要语音合成足够自然（克隆、情感、多语种）、延迟足够低且支持语义打断等真实交互行为；
• Agent 侧需要模型主动调用工具（WebSearch、FunctionCall），而非被动应答。

Qwen3.5-Omni 的自我定位正是这一完整闭环：原生全模态预训练的 omni agent——感知 + 推理 + 行动（自主 WebSearch、复杂 FunctionCall、语音输出、实时流式交互）。

1.2 谱系脉络与前代遗留问题

其中「双 tokenizer 编码速率失配」是核心痛点：文本 token 流与语音 unit 流速率不一致，导致跳词、误发音与数字歧义——这是本文提出 ARIA 的直接动机。

1.3 论文要解决的五个具体问题

1. 推理吞吐与并发瓶颈 （升级方向为源数据明示，「问题反推」为推断）→ Hybrid Attention MoE（GDN 降 KV-cache I/O）；
2. 长上下文能力不足 （推断）→ 256k tokens / 10h+ 音频 / 400s@1FPS 视频；
3. 文本—语音速率失配（源数据明示动机）→ ARIA 动态对齐；
4. 多语言覆盖不足 （推断）→ 识别 113 / 合成 36 / 文本 201；
5. 语音合成实时性与表现力 （推断）→ 多码本 RVQ codec + MTP 单帧即时合成。

二、概念内核

2.1 Thinker–Talker：认知与发声的职责分离

Thinker 负责「理解与决策」，消费所有输入模态并产出文本推理结果；Talker 以 Thinker 输出为条件生成语音单元序列。解耦带来两大好处：文本链路可独立迭代而不干扰语音质量；语音生成可针对韵律、响度、情感专门建模训练。本文中两个模块均升级为 Hybrid Attention MoE——在全注意力层之外混合 Gated DeltaNet（GDN）线性注意力成分。源数据指出 GDN 的作用是「降 KV-cache I/O」：传统全注意力的 KV-cache 随序列长度线性膨胀，而线性递归类结构可将状态压缩为固定大小（机制解释为推断，GDN 存在性与作用为源数据明示），这对小时级音频与长视频场景是决定性的。

2.2 双 MoE 全链路：从编码到合成的稀疏化

组件链（Table 1）：AuT（流式✓）→ SigLIP2 视觉编码器 → Thinker（Hybrid MoE✓）→ Talker（Hybrid MoE✓）→ MTP（Dense）→ Code2wav（ConvNet）。MoE 化贯穿 Thinker 与 Talker 两端，末端 MTP 与 Code2wav 保持小规模稠密/卷积结构——符合「重推理稀疏化、轻解码密集化」的设计直觉（设计哲学总结为推断，组件构成为源数据明示）。

2.3 RVQ 多码本与 MTP：语音离散化的表示层

语音经多码本 RVQ codec 离散化为多层码本 token；MTP 建模残差码本间依赖，Code2Wav 用因果卷积网络逐帧流式重建波形。「单帧即时合成」意味着每收到一帧语音 token 即可立刻产出对应波形，无需等待整段序列——这是实现 235ms 首包延迟的必要条件之一。

2.4 ARIA：自适应速率交错对齐

• 问题：文本流与 speech unit 流由不同 tokenizer 编码、速率天然失配；固定交错率或 MFA 强制对齐要么僵硬要么昂贵，引发跳词、误发音、数字歧义；
• 方案：摒弃显式对齐工具与固定交错率，统一为单通道交错生成——文本 token 与 speech unit 在同一序列中交替产出；
• 核心约束：任意前缀的累计 speech:text token 比 ≤ 该条目全局比。该不等式保证局部生成不会「超前消费」语音预算，从机制上封死速率漂移空间；
• 附带收益：兼容低编码效率语言，以及「任意文本前缀 + 连贯语音续写」的灵活交互模式。

注：ARIA 约束式的数学表述源数据未给出全文，以上为其文字化转述。

2.5 文本时间戳替代 TM-RoPE 绝对时间绑定

TM-RoPE 将绝对时间直接绑入位置编码存在缺陷：长视频下位置 ID 过稀疏，且要求均匀 fps 采样。新方案是在每个 video/audio-video patch 前置格式化的文本时间戳（秒），音频按随机间隔插时间戳；音频每 160ms 一个 temporal ID，视频帧动态调整维持分辨率一致，跨模态位置连续衔接。作者明确承认这是「上下文略增换取更精确的长上下文时序外推」的权衡。

2.6 Omni Agent 形态

自主 WebSearch 与复杂 FunctionCall 属于原生能力而非外挂编排，并观察到涌现的 Audio-Visual Vibe Coding 能力。OmniGAIA 工具使用基准得分 57.2% 是其 agent 能力的量化体现。

三、方法拆解

3.1 感知编码器：AuT 与视觉链路

1. 16kHz 波形 → 128 通道 mel 频谱（25ms 窗 / 10ms 步）；
2. 4×Conv2D 下采样 16×；
3. 自注意力编码，输出 6.25Hz token 率（每帧约 160ms）；
4. 动态注意力窗口：兼顾实时 prefill caching 与离线深度理解。

AuT 训练规模 40M 小时（Qwen3-ASR 自动标注），配比中文:英文:多语 = 3.5 : 3.5 : 3；视觉侧用 SigLIP2；文本 tokenizer 为 byte-level BPE，词表 150k→250k，编解码效率提升 10–60%。

3.2 语音生成链路：Talker → MTP → Code2wav

Talker 以三类条件调制生成：（a）Thinker 的历史文本与多模态表示；（b）当前轮流式文本；（c）由此控制韵律、响度、情感。零样本 voice cloning 通过专用 Talker system prompt 实现（文本描述 + codec 序列），细粒度优于 speaker embedding 方案。

3.3 流式与并发工程

• Chunked prefilling：切块填充降低 TTFT；
• HybridMoE + GDN：加速长音视频建模、降 KV-cache I/O、提升并发上限；
• 部署栈：vLLM + torch.compile + CUDA Graph。

口径细节：因 ARIA 单流交错生成，Overall 延迟是端到端关键路径耗时而非各模块求和（Flash 音频 1 并发：Thinker TTFT 80ms + Talker TTFC 56ms，Overall 235ms）。Plus 与 Flash 部署策略不同，延迟不作严格横向比较。

3.4 预训练三阶段

两点观察（推断）：其一，S2 中 audio 数据量（1.99T）超过 text（0.92T），反映语音离散 token 化后样本密度远低于文本，需数量级补偿；其二，先冻结后解冻的课程避免随机初始化编码器破坏 LLM 已有智力。

3.5 后训练：Thinker 三阶段 + Talker 四阶段

Thinker 三阶段：① Specialist Distillation——从 Qwen3.5 base 训练 agentic/coding/reasoning + 视觉 + 音频多领域教师模型再蒸馏进单一模型；② On-Policy Distillation——以文本条件响应作音频条件的 on-policy 蒸馏目标，弥合语音对话质量差距；③ Interaction-Aligned RL——针对意外语种切换、人设不一致、长上下文指令跟随退化构造多轮轨迹与奖励优化。

Talker 四阶段：① General（20M+ 小时多语语音 + 多模态上下文，含指令跟随语音生成）；② Long-Context（质量分层 CPT + Qwen3-Omni-Captioner 抑制噪声幻觉，扩至 64k）；③ RL（多语偏好对 DPO + rule-based reward + GSPO）；④ Speaker Fine-tuning（轻量说话人微调支撑 custom voice）。

方法论亮点：「以文教音」的 On-Policy Distillation——用文本模态已有的高质量输出分布在线指导语音条件采样，使两条模态行为分布对齐（效果归因见 IFBench 反超证据；机制理解为推断）。

四、证据链

4.1 总体主张：215 项基准 SOTA

论文宣称在 215 项音频/视听理解、推理、交互子任务与基准上取得 SOTA；关键音频任务超过 Gemini-3.1 Pro、综合视听持平。

4.2 音频理解 vs Gemini-3.1 Pro（Table 5）

附录补充：FLEURS 多语平均 WER Plus 6.6% < Gemini-3.1-Pro 7.3% < GPT-4o-Transcribe 10.4%；粤语 2.2% vs 6.3%；翻译 BLEU en2xx 33.8 vs 31.8、zh2xx 21.4 vs 19.6、粤语 xx2zh +15.6 BLEU。Flash 版 10.8% ≈ Gemini-3-Flash 10.5%。

4.3 视觉与视听理解

vs Qwen3.5-Plus-Instruct（Table 6）：视频更强——VideoMME 81.9 vs 81.0、MLVU 86.8 vs 85.1、LVBench 71.2 vs 68.6；文档略降（CharXiv-RQ 72.5 vs 74.2）；医疗 SLAKE 84.7。
vs Gemini-3.1 Pro（Table 7）：DailyOmni 84.6 vs 82.7、Omni-Cloze 64.8 vs 57.2、QualcommIVD 68.5 vs 66.2 胜出；OmniGAIA 57.2 vs 68.9、VideoMME w/audio 83.7 vs 89.0 落后（judge 为 DeepSeek-V3.2-Thinking，未启用 thinking prompt）。

4.4 语音合成（X→Speech）

• 零样本 TTS（Table 8）：SEED-TTS zh|en WER Plus 0.99 | 1.26，优于 Qwen3-Omni 1.07|1.39；CosyVoice3 en 更低（0.71）但 zh 更差（1.45）；
• 多语 TTS（Tables 9–10）：29 语中 22 语 WER 最低，多数语言 SIM 最高（对比 MiniMax-Speech、ElevenLabs）；
• 跨语克隆（Table 11）：12 方向中 10 个最佳；zh-to-ko 从 14.4 降至 4.03（相对降幅约 72%）；
• Custom voice（Table 12）：仅单语微调即迁移全部 29 语，10 语 WER 最佳（日语 3.306、韩语 1.309），对比 ElevenLabs / Gemini-2.5-Pro-TTS / GPT-Audio / MiniMax。

4.5 文本能力守恒证据（Table 4）

vs Qwen3.5-Plus-Instruct：MMLU-Pro 85.9 vs 86.8、C-Eval 92.0 vs 92.3、GPQA 83.9 vs 85.9——差距均在 2pt 内基本持平；IFBench 52.6 > 51.1 反超（归因 OPD + Interaction-Aligned RL）；退化项 AA-LCR 57.0 vs 62.0、BFCL-V4 63.3 vs 66.1。「全模态化不伤文本」的核心叙事大体成立但非全面。

4.6 实时性证据（Tables 1–2）

RTF 区间 0.178–0.334（均小于 1，满足实时底线）；音频 1→8 并发仅增 117ms，扩展曲线平缓。

4.7 证据链完整性评估

（评估意见为推断）证据链呈「音频强、视听分化、TTS 全面、文本守恒」结构：ASR 类证据（KeSpeech 3.46 vs 23.67）压倒性强；视听类胜负各半且依赖 judge 口径；agent 能力仅有 OmniGAIA 单点证据（57.2%，落后 11.7pt），与「omni agent」核心定位相比证据偏薄——215 项基准的总量优势主要集中在音频与 TTS 两翼。

五、批判性分析

5.1 「omni agent」叙事与证据强度的落差

agent 相关硬指标恰恰是对标模型优势最大的项目之一：OmniGAIA 57.2 vs 68.9、BFCL-V4 低于纯文本基线（63.3 vs 66.1）。三条 agent 证据（WebSearch / FunctionCall / Vibe Coding）均为定性描述或单点评测，而音频与 TTS 有数十个基准背书。（判断为推断，数字为源数据。）

5.2 全模态化的代价被部分承认

「文本不退化」取决于指标选取：IFBench 反超是真的，但 AA-LCR −5.0pt、BFCL-V4 −2.8pt、GPQA −2.0pt 同样真实。这提示全模态联合训练对长文本推理与工具调用仍有挤占效应，论文归因侧面承认了补偿的不完全性。

5.3 时间戳方案的隐性成本

文本时间戳方案以 context length 换取时序精度。进一步推论（推断）：接近 256k 上限的超长视频任务中，时间戳开销会挤压有效内容容量，随机间隔插入可能引入对采样策略的隐式依赖；源数据未报告消融实验量化净收益，属方法叙述薄弱环节。

5.4 可比性口径的多重裂缝

1. Plus/Flash 部署策略不同，延迟不可严格横向比较（作者自认）；
2. OmniGAIA 以 DeepSeek-V3.2-Thinking 作 judge 且未启用 thinking prompt，判题配置直接影响分数（Table 7 注 b）；
3. 不同表格对标不同对手，「综合视听持平」依赖基准组合选取方式（组合敏感性判断为推断）。

5.5 透明度缺口

参数规模仅披露「hundreds of billions」，无 Plus/Flash 具体激活参数、专家数、路由粒度。缺失激活参数量使读者无法独立核算 Table 2 并发延迟背后的算力成本，也无法复现服务配置。

5.6 长尾语言与 custom voice 泛化

低资源语言误差仍高：Urdu ASR 20.8%、Asturian 15.8%、Hindi 9.7%（逊于 GPT-4o-Transcribe 5.6%）、Flash 版 Tajik 达 41.1%；TTS 侧 Hindi 6.44、Urdu 14.8 偏高；custom voice 在丹麦语 7.18、波斯语 12.14 波动明显。113 语的覆盖广度与单语质量之间存在明显长尾落差。

5.7 高并发的物理极限

Flash 音频 8 并发 352ms 尚可接受，但视频 8 并发 1625ms、Plus 视频 1980ms 已超出实时交互阈值（推断：通常认为 500ms 内为流畅对话体验）。当前架构的长视频实时交互在高负载下仍需排队或降级策略。

六、启示与影响

6.1 架构层面的三条可迁移经验

1. 双流失配用「单流化 + 不变量约束」解决：ARIA 的启发不限于语音合成——任何双通道生成速率失配问题都可借鉴「统一单通道 + 前缀累积比约束」模式（推广为推断）；
2. 线性注意力进入主力生产链路：GDN 支撑 10h 音频与高并发，标志混合注意力 MoE 从研究走向旗舰生产系统；
3. 显式时间戳是位置编码的务实替代：当绝对时间绑入 RoPE 导致稀疏性与采样刚性时，「文本化元信息前置」是低成本、可解释的折中。

6.2 训练范式的启示

「以文教音」的 On-Policy Distillation 提供了模态间知识迁移的通用范式：用成熟模态的在线输出分布监督新兴模态，避免昂贵的全模态偏好数据构造。配合 Interaction-Aligned RL 把产品级故障显式建入奖励，体现后训练目标从学术基准向交互质量的重心迁移（趋势概括为推断，方法本身为源数据明示）。

6.3 竞争格局影响

FLEURS 6.6% vs 7.3%、KeSpeech 3.46 vs 23.67、22/29 语种 TTS WER 最低等结果表明：开源阵营首次在音频全栈（ASR + 翻译 + TTS + 克隆）上形成对闭源旗舰的系统性优势，闭源模型护城河退缩至 agent 工具使用（OmniGAIA）与部分综合视听推理。（格局判断为推断，分数为源数据。）

6.4 局限汇总（系提炼，非原文章节）

再次说明：论文未设独立 Limitations 章节，以下八条为本报告基于正文与实验数据的客观提炼。

1. OmniGAIA 落后 Gemini-3.1 Pro 11.7pt、VideoMME w/audio 落后 5.3pt、MMAR 落后 3.7pt、AV-SpeakerBench 71.3 vs 75.1——工具使用与综合视听推理未全面领先；
2. 文本侧 AA-LCR、BFCL-V4、GPQA 存在 omni 化代价；
3. 时间戳机制的 context 长度开销；
4. 高并发下延迟显著上升（视频尤甚），Plus/Flash 延迟不可严格互比；
5. 低资源语言误差高（Urdu / Hindi / Tajik 等）；
6. Custom voice 泛化在丹麦语、波斯语等语种波动；
7. 视听评测依赖 judge 模型口径（DeepSeek-V3.2-Thinking 且未启用 thinking prompt）；
8. 参数规模与 MoE 配置披露有限，无法独立核算效率主张。

6.5 后续观察方向（推断）

• ARIA 约束在更长生成与更低资源语言下的失效边界；
• GDN 混合比例与长视频延迟的缩放规律；
• Audio-Visual Vibe Coding 涌现能力的专门基准化；
• 更换 judge（启用 thinking prompt）后 OmniGAIA 分数的稳健性复测。