← 返回深度解读总览

GLM-5.3-Flash(ox-alpha/牛来)深度解读报告

数据依据:本报告所有具体数字均取自同目录 00-源数据提取.md(唯一依据)。其中:架构字段以 Hugging Face config.json 一手数据为准;官方博客(z.ai/blog/glm-5.3-flash)与官方文档(docs.bigmodel.cn)为二手叙述性来源;ox-alpha 为官方博客确认的发布前匿名测试代号;"牛来"为社区/内部传闻代号,无官方确认,仅为社区称谓(下文中凡涉及此处的推断均标注「(推断)」)。凡源数据未披露或需推演的内容均显式标注「(推断)」,与源数据直接给出的数字严格区分。
发布信息:智谱/Z.ai,2026-08-25 发布。定位为 GLM-5 系列首个原生多模态(text+image+video)Flash 级模型,也是首个将稀疏注意力 + 线性注意力混合到开源多模态模型的 flash 模型。技术报告引用《GLM-5: from Vibe Coding to Agentic Engineering》(arXiv:2602.15763),本模型无独立专属论文。

摘要(300字)

GLM-5.3-Flash 是智谱(Z.ai)于 2026-08-25 发布的 GLM-5 系列首个原生多模态 Flash 级模型(代号 ox-alpha,发布前匿名测试),也是首个将稀疏注意力与线性注意力混合架构开源的多模态 flash 模型(社区代称"牛来",未获官方确认)。它采用 320B 总参 / 18B 激活参的规模,在总参规模与 GLM-4.5(355B)相近的前提下,将激活参减半(32B→18B)、层数近半(92→45),核心链路引入 mHC(流形约束超连接)、IndexPool 加权池化(4 压缩为 1)与 IndexShare 缓存共享,实现注意力计算量较 GLM-5.3 降低约 3.0x、KV 缓存降低约 4.4x。推理侧以 30T-token 多模态预训练语料打底,配合 SGLang 定制引擎、EPD 分离架构与国产芯片 W8A8 量化,官方称端到端服务性能达同硬件初始基线 3x。基准上以 1/10 价格(Artificial Analysis 智能指数 57 分 @ $0.045/task)逼近 Claude Opus 4.8(Z.ai Code Bench 29.0 vs 29.5),并在 DeepSWE(+17.2)、AutomationBench(+22.6)等 Agentic 维度大幅反超 GLM-5.2。其意义在于验证了"用更少算力产出更多智能"的稀疏/线性注意力混合路线,并以视觉反馈 RL 强化 Agentic 能力。


一、问题定位

1.1 范式语境:从 Scaling Law 到 Cost-Aware Scaling

本模型出现于一个明确的产业转折点上。2023-2025 年的 LLM 竞赛主线是"更大的稠密模型 + 更长的上下文 + 更强的推理",但到了 2026 年,公开基准已逼近饱和,竞争焦点从"单一分数"转向"每单位成本的智能密度"。这一转折的核心矛盾是:Transformer 的稠密注意力(Dense Attention)在长上下文下带来 O(n²) 的计算量与 O(n) 的 KV 缓存,导致推理成本随上下文长度超线性膨胀。当上下文从 64K 走向 1M,KV 缓存与注意力计算成为比参数量更致命的瓶颈。

GLM-5.3-Flash 正是对这一矛盾的回应。它的核心问题定位可以概括为三问:

  1. 如何用与旗舰相近的总参数量,换取约一半的激活参数量与更低的推理成本?——即在不牺牲能力的前提下做"瘦身"。
  2. 如何在高成本的长上下文(1M)场景下,既保住精准召回,又压住注意力计算量与 KV 缓存?——即"稀疏"与"线性"如何共存。
  3. 如何把多模态(image+video)与 Agentic 能力以 flash 成本交付?——即"便宜"不能以"不能看图、不能干活"为代价。

1.2 与被超越对象的关系:GLM-4.5 与 GLM-5 的双重继承

GLM-5.3-Flash 在家族中占据一个"效率旗舰"的位置。它的两个参照系:

1.3 关键论断:这是"架构问题"而非"规模问题"

值得注意的是,官方博客将重心放在"Architecture for Extreme Efficiency"而非单纯"更小参数"。这是一种明确的立场声明:效率来自架构创新(稀疏线性注意力混合、mHC、IndexPool),而非单纯砍参数。这一定位在开源多模态 flash 模型中是"首个"(源数据明确标注为"首个稀疏+线性混合注意力开源多模态flash模型"。


二、概念内核

2.1 核心概念链

要理解 GLM-5.3-Flash,需要穿透五个互相嵌套的概念。这些概念共同回答"如何在 flash 成本下保住长上下文与多模态能力"。

#### (1)线性注意力(Linear Attention)——"状态建模"的局部记忆

传统的 softmax 注意力是"成对匹配":每个 query 与所有 key 计算相似度。线性注意力把这一过程重写为递归 / 状态累积,即把历史信息压缩进一个固定大小的状态向量(state),从而把 O(n²) 的交互降为 O(n) 的递推。它的优势正是局部依赖的高效捕获——信息随步长"滚动"进状态,天然适合处理邻近 token 的强关联。但它的代价是远程精确召回会衰减:状态是一个有损的压缩,无法像 full attention 那样"精确跳回到全文任意位置"。源数据明确其定位为"通过递归/状态建模捕获局部依赖"。

#### (2)稀疏注意力(DeepSeek-Sparse-Attention, DSA)——"轻量索引器"的全局召回

为了弥补线性注意力的远程缺陷,DSA 引入一个轻量级索引器(Indexer):它用极小的成本"预览"全部 token,为每个 query 预先选出最相关的 top-k 个位置,然后只对这几处做精确注意力。这相当于"先索引、后检索",把 full attention 的"看全部"降为"看最相关的 k 个"。代价是召回的近似性——如果索引器选错了 top-k,就会漏掉关键信息。源数据将其定位为"通过轻量级索引器召回全局上下文",并指出二者混合是 GLM 系列首次。

#### (3)混合(Hybrid):线性做近处,稀疏做远处

二者的结合点在于分工:线性注意力负责"每一步的高保真局部"(近处、流畅的建模),稀疏注意力负责"偶尔的精准远程"(远处、关键信息的召回)。这使得模型在 1M 上下文下不必对每个 token 都做全量交互,从而用远低于稠密注意力的成本,保留了长程依赖的"精准召回"能力。

2.2 三个关键工程组件

#### IndexPool——"把 4 个压缩成 1 个"

这是对 DSA 索引器的时延/内存优化。源数据给出的 config 字段为 index_kpool=4、index_kpool_compress=True,语义为加权池化把索引器的 4 个缓存向量压缩为 1 个向量。这实际上是在索引层的存储压缩:索引器本需要在每层维护缓存向量,池化后存储与访问开销显著下降,从而支撑 1M 上下文下的低时延索引。

#### IndexShare——"为 MTP 迭代共享缓存"

源数据给出 index_share_for_mtp_iteration=True,即 multi-token-prediction(多 token 预测)迭代时共享索引器缓存,避免重复构建。这是推理侧的一项复用优化:多 token 预测往往需要多步解码,每一步若各自重建索引,成本会成倍放大;共享缓存意味着"一次构建、多步复用"。

#### mHC(Manifold-Constrained Hyper-Connections)——"流形约束的超连接"

源数据给出 mhc=True、hc_mult=4、hc_sinkhorn_iters=20,语义为流形约束超连接,用于提升 scaling 效率。概念上,Hyper-Connections 已在 GLM-4.5 被引入(源数据 GLM-3 架构口径提及超连接参数),其思想是用更多的连接通路 + 低秩约束在层间传递信息,使深层 Transformer 的训练更稳定、scaling 更高效。mHC 在其上加"流形约束"(Manifold-Constrained),即通过 Sinkhorn 归一化(hc_sinkhorn_iters=20 暗示做了 20 次迭代)把连接权重约束到某种流形结构上,增强可扩展性。源数据将其列在"提升 scaling 效率"之下,具体数学形式未在 00 级来源完整披露(标注为从 GLM-5 报告间接继承)。

2.3 MoE 稀疏化与 MLA

2.4 一句话抓内核

GLM-5.3-Flash = 用"线性注意力(管近处、控成本)" + "稀疏注意力(管远处、保召回)"的混合替代稠密注意力,配合 mHC(保 scaling 稳定)、IndexPool(压缩索引)、IndexShare(复用索引缓存)、MoE+MLA(压激活与 KV 缓存),把多模态(1M 上下文、image+video)能力以 flash 成本实现。


三、方法拆解

3.1 模型规模与架构字段速览(以 config.json 一手为准)

维度数值说明
---------
总参数量320B官方博客 + HF 卡 + bigmodel 三方一致
激活参数量18B同上
层数45(索引 0..44)相对 GLM-4.5 的 92 层约减半
hidden_size4096文本隐藏维度
intermediate_size12288
layer_types34×linear_attention + 11×deepseek_sparse_attention混合注意力配比 34:11
DSA 层位置[3,7,11,15,19,23,27,31,35,39,43]每 4 层插一层稀疏(从第 3 层起)
kda_layers34(排除 DSA 后全部)线性局部递归层
max_position_embeddings1048576(1M)
mlp_layer_types3×dense + 42×sparse前 3 层稠密
n_routed_experts288路由专家数
num_experts_per_tok8每 token 激活专家数
n_shared_experts1
num_attention_heads64
num_key_value_heads64
qk_nope_head_dim256无独立 RoPE 维度
q_lora_rank1536MLA 查询压缩
kv_lora_rank512MLA KV 压缩
index_n_heads32索引器头数
index_topk2048索引器召回 top-k
index_kpool4IndexPool 池化窗口
index_share_for_mtp_iterationTrueIndexShare 缓存共享
mhcTrue流形约束超连接
hc_mult / hc_sinkhorn_iters4 / 20超连接参数
quantizationfp8 e4m3, block[128,128], dynamic权重量化,部分模块不转
vision_configdepth=24 / patch=14 / spatial_merge=2 / temporal_patch=2 / out_hidden=4096视觉编码器

关键结构性观察(推断):

  1. 稀疏层以 4 为周期分布:DSA 层为 [3,7,11,15,19,23,27,31,35,39,43],即从第 3 层开始每隔 4 层(3,7,11...)出现一次。这意味着"每 4 层中有 1 层做稀疏全局召回 + 3 层做线性局部"。这个 1:3 的配比是一种平衡——稀疏层提供跨全局的索引能力,其余层用线性状态低代价运转。
  2. 索引器 32 头 + top-k 2048:每个 query 召回 2048 个位置(覆盖 1M 上下文中的极小比例),这是把"全局近似"做到极轻的关键。
  3. index_kpool=4 → 压缩为 1:IndexPool 在索引器层做 4:1 的存储压缩,显著摊薄 1M 上下文下索引器的内存与延迟。

3.2 注意力混合:34 线性 + 11 稀疏的配比逻辑

这是本模型最核心的方法创新。源数据结构树明确:架构图包含"线性+稀疏注意力混合 / IndexPool / mHC / MoE",且强调"GLM 系列首次"(该混合方式)。

这种设计的工程隐喻是"快速浏览 + 定点精读":大多数时间线性层在"快速浏览",稀疏层在关键点"定点精读",从而以远低于全量注意力的成本逼近其效果。

3.3 mHC:流形约束超连接的 scaling 优化

mHC 在概念上属于"层间信息通路"的优化。传统 Transformer 层间是"直连 + 残差",Hyper-Connections(HC)则引入一个"超连接"矩阵,把层间信息做更丰富的路由(源数据 GLM-3 家族口径已有 hyper_connection 参数,hc_mult=4 暗示 4 倍超连接规模)。mHC 加"流形约束"(Manifold-Constrained),配合 Sinkhorn 迭代,把连接权重约束到特定流形上,使得深层网络在 45 层、320B 规模下仍能稳定训练并高效 scaling。源数据多次将其与"提升 scaling 效率"并列,但其具体数学形式未在 00 级来源完整披露,需向 GLM-5 技术报告(arXiv:2602.15763)间接继承(标注为(推断))。

3.4 多模态编码与数据

3.5 视觉 Coding 数据合成管线(方法上的差异化亮点)

源数据指出,本研究在"视觉反馈"上投入了独特的合成管线,聚焦"自我视觉判断 + 测试时改进"。具体而言:

  1. 合成轨迹:生成的任务轨迹要求模型与环境交互、检视自身输出、迭代改进,形成 render → check → fix 循环。即模型不只"看完再答",而是"渲染出自己的结果 → 用视觉检查结果对不对 → 修正 → 重来"。这对 UI/3D/渲染类任务(Office、设计、3D 建模)意义重大。
  2. 环境反馈 RL:前端 coding 探索基于环境反馈的强化学习,配合真实用户流程的 Agent 验证,强化 GUI 判断,把验证从"功能正确性"延伸至"渲染与交互体验"。这意味着模型学的是"做完之后能不能看",而不仅是"代码能不能跑"。

3.6 推理/服务:三层次协同(capability ← corpus ← infrastructure)

源数据强调"架构/serving 三层次协同",即能力(capability)← 语料(corpus)← 基础设施(infrastructure)。这是一个系统级的效率主张——不只靠架构,还靠底层:


四、证据链

4.1 成本-智能 Pareto(最核心主张)

指标GLM-5.3-Flash说明
---------
Artificial Analysis Intelligence Index v4.1.157 分 @ $0.045/task(discounted)官方称"此前同类智能约需 10× 成本"
与 GLM-5.2 价格约 1/10官方博客

这是"以 1/10 价格逼近旗舰智能"的量化证据。需注意:57 分是绝对分数,"10× 成本"是官方对比口径,第三方(Artificial Analysis)评测,评分口径的公平性(成本如何归一化)未被 00 级来源完全展开((推断))。

4.2 对 GLM-5.2 的六项 Agentic 胜出

BenchmarkGLM-5.3-FlashGLM-5.2Delta
------------
DeepSWE (v1.1)63.446.2+17.2
AutomationBench (v1.0.6)48.826.2+22.6
Toolathlon Verified78.459.9+18.5
Terminal-Bench 2.184.381+3.3
NL2Repo56.348.9+7.4
Agents' Last Exam26.320.4+5.9
GDPval-AA v217731504+269
HLE w/Tools55.354.7+0.6

解读:最大的提升集中在工具调用 / 自主 agent 任务(AutomationBench +22.6、Toolathlon +18.5、DeepSWE +17.2),而非纯知识(HLE w/Tools 仅 +0.6)。这印证了官方"环境反馈 RL 强化 Agentic"的方法论述——FLASH 的提升主要在"能不能干活",而非"知不知道"。

4.3 接近 Claude Opus 4.8

BenchmarkGLM-5.3-FlashOpus 4.8Gemini 3.7 Flash
------------
Z.ai Code Bench v1.0 (max effort)29.029.5-
Terminal-Bench 2.184.38585.8
CharXiv Reasoning (w/Tools)89.489.988.7
Chartography (w/Tools)787565

GLM-5.3-Flash 在多处与 Opus 4.8 几乎追平(Z.ai Code Bench 差 0.5、CharXiv 差 0.5、Terminal-Bench 差 0.7),并在 Chartography、OfficeQA Pro(62.4 vs 48.9)、Toolathlon(78.4 vs 76.2)、GDPval(1773 vs 1582)上反超。这支撑了"以 flash 成本逼近闭源旗舰"的叙事。

4.4 Base 模型竞争力(架构有效性的隔离证据)

BenchmarkGLM-4.5-BaseGLM-5-BaseDeepSeek-V4-Flash-BaseGLM-5.3-Flash-Base
---------------
Activated Params32B40B13B18B
Total Params355B744B284B320B
MMLU86.188.388.588.1
BBH86.287.484.986.6
HellaSwag87.188.185.387.1
LiveCodeBench-Base28.134.429.937.6
SimpleQA303631.233.5

关键解读:

注:DeepSeek-V4-Flash-Base 结果用 Z.ai 内部评测框架控制实现差异(源数据博客脚注)。此表为 Z.ai 自家口径,与 DeepSeek 官方口径或第三方评测不可直接横比。

4.5 视觉/多模态

BenchmarkGLM-5.3-FlashOpus 4.8Gemini 3.7 Flash
------------
MVBench77.867.182.2
MMVU80.567.482.3
BabyVision53.446.870.9
Chartography787565
CharXiv Reasoning89.489.988.7
OfficeQA Pro62.448.9-

GLM-5.3-Flash 在多模态视觉推理上显著超 Opus 4.8(CharXiv、MVBench、MMVU、Chartography、OfficeQA),但弱于 Gemini 3.7 Flash(BabyVision 53.4 vs 70.9 差距最大、MVBench 77.8 vs 82.2、MMVU 80.5 vs 82.3)。这一"超闭源旗舰、但输给原生视频旗舰"的格局,与源数据"视觉/多模态部分自述性较强"的提示一致,也印证了输入形态差异(512K 上下文 / 1fps 抽帧 vs Gemini 原生视频直喂)的影响((推断))。

4.6 效率证据

对比对象注意力计算量(每头每层)KV 缓存(每层平均 BF16)
---------
GLM-5.3-Flash全基线最低较 GLM-5.3 降 4.4x(bigmodel 4.44x),但仍略高于 Kimi-K3 与 DeepSeek-V4-Flash

解读:官方宣称的"注意力计算量最低"是每头每层归一化口径下的结论;而 KV 缓存并非绝对最优(仍高于 Kimi-K3 / DeepSeek-V4-Flash),官方明言将其作为后续优化方向。这是本报告批判性分析的重要落点——GLM-5.3-Flash 不是 KV 缓存的最优解,而是"计算量-能力-成本"权衡下的一个平衡点。源数据同时指出,该效率对比以图表(PNG)呈现,逐值未文本化,故此处引用的是描述性结论而非逐数值((推断),受图内数值未数字化限制)。

4.7 自述案例(属叙述性证据,强度较低)

这些案例无完整复现协议逐值披露,源数据明确标注"自述性较强"。故在证据链中强度最低,只作为"视觉 feedback RL 有效性"的旁证,不作为主要依据((推断))。


五、批判性分析

5.1 证据强度分层:哪些数字可信、哪些仅自述

结合源数据 §5、§6 的局限披露,可将宣称按证据强度分级:

高强(一手 / 第三方 / 架构字段)

中强(官方博客自述且有配置脚注)

弱强(自述案例,无复现协议)

5.2 核心批判一:KV 缓存并非最优,且有归一化口径问题

这是最直接的批判。官方最强的叙事之一是"效率革命",但源数据明确承认:KV 缓存仍略高于 Kimi-K3 与 DeepSeek-V4-Flash。这意味着:

批判性结论:GLM-5.3-Flash 的效率优势主要体现在"注意力计算量(归一化)"与"激活参数"上,而 KV 缓存这一对长上下文最敏感的指标仍是短板。 官方将其列为后续优化方向,是诚实的披露,但也意味着"效率旗舰"的称号在当前版次上并不完全成立((推断))。

5.3 核心批判二:无独立技术报告,方法黑箱

源数据 §6 明确指出:GLM-5.3-Flash 无专属论文,模型卡 Citation 指向 GLM-5 技术报告(arXiv:2602.15763)。这带来三个透明度问题((推断)):

  1. mHC 具体数学形式未披露:hc_mult=4、hc_sinkhorn_iters=20 只给出参数,不给出推导与为何如此设计。
  2. DSA 索引器具体实现未披露:index_n_heads=32、index_topk=2048 只给出配置,索引器的训练方式、top-k 选择策略、与线性层交互细节不完整。
  3. RL 超参与数据配比未披露:环境反馈 RL 的奖励设计、视觉合成管线具体配方、30T token 中图文视频配比均未在 00 级来源给出。

这对"可复现性"是一大削弱——尤其是作为"开源"模型,架构开源(权重+config)但方法论未随报告完整公开,社区难以复现其训练过程与设计权衡。

5.4 核心批判三:基准可比性受限

源数据列出多处竞品 null/缺失(如 NL2Repo 处 GPT-5.6 Terra、Gemini 3.7 Flash 缺失;HLE w/Tools 处 Opus 4.8 有、GPT-5.6 Terra 缺失;GDPval 为第三方;Toolathlon 处 Gemini 缺失等)。这造成:

批判性结论:"以 1/10 价格逼近 Opus 4.8"的叙事在有多项基准缺失的前提下,更多是"选择性展示",而非全口径的整体结论。 尤其 GPT-5.6 Terra、Gemini 3.7 Flash 这类强竞品的缺席,削弱了结论的完备性((推断))。

5.5 核心批判四:视觉/多模态自述性强,口径存在输入形态差异

源数据 §6 提示:OfficeQA Pro 使用无文本 PDF 语料、其余 Vision 基准较多用 1fps 抽帧,与原生视频输入模型(Gemini 3.7 Flash)存在输入形态差异。

批判性结论:多模态部分"超 Opus 4.8 但输 Gemini 3.7 Flash"的格局是真实的,但其归因(能力 vs 输入形态)未被完全厘清,且自述案例削弱了视觉反馈 RL 有效性的证据强度((推断))。

5.6 核心批判五:国产芯片服务主张为厂商自述

源数据 §6 明确指出:具体芯片型号、互联带宽、集群规模数字("万枚级"为描述性)、成本绝对值均未披露;"硬件效率与 NVIDIA GPU 相当"为厂商自述且含基建对比口径。这意味着:

5.7 批判性小结

综合来看,GLM-5.3-Flash 的架构创新(稀疏+线性混合、mHC、IndexPool、IndexShare、MoE+MLA、1M 上下文、原生多模态 30T 语料)是可信且开源的强证据;其能力宣称(逼近 Opus 4.8、超 GLM-5.2 六项 Agentic、LiveCodeBench 37.6 最高)在中强证据水平;其效率宣称(3.0x/4.4x)有归一化口径限制且 KV 非最优;其国产芯片与自述案例属弱证据。评分上应给予"架构强、效率中上一(有短板)、自主叙事有选择性"的综合判断((推断))。


六、启示与影响

6.1 对该领域:验证"稀疏+线性混合"的可行性

这是本模型最大的范式意义。此前社区对"稀疏注意力 vs 线性注意力"多为二选一的争论,而 GLM-5.3-Flash 用开源多模态 flash 模型证明:混合(线性管近处、稀疏管远处)能以远低于稠密注意力的成本逼近其能力。这为 1M+ 上下文、Agentic 长程推理的模型设计提供了可复用的模板——未来更多模型将采用"线性为主 + 稀疏/全局为辅"的省钱结构。尤其 34:11 的配比(每 4 层 1 层稀疏)是值得同行借鉴的工程参数((推断))。

6.2 对成本结构:把"价格战"推向"智能密度战"

"57 分 @ $0.045/task"与"GLM-5.2 的 1/10 价格"意味着,前沿能力正在向下沉价格带快速迁移。对行业:

6.3 对多模态:flash 也能原生看视频

GLM-5.3-Flash 把多模态(image、video)纳入 flash 价格带,且支持原生视频(temporal_patch=2)与 1M 上下文、30T 多模态语料。这降低了"让模型看图、看视频、做 GUI/3D"的门槛。视觉 Feedback RL(render→check→fix)的引入,提示下一阶段多模态模型的训练重心正从"看懂"转向"做完后检查并改进",即视觉智能与 Agentic 循环的融合((推断))。

6.4 对国产算力生态:正循环的样本

"模型优化系统、系统承载模型"的表述,加上 EPD 分离、W8A8、INT8/FP8/BF16 混合缓存量化、万枚级国产芯片,为国产算力生态提供了"让模型适配芯片,而非芯片硬扛模型"的方法论。若"硬件效率达 NVIDIA 同级"的厂商自述能被第三方复现,将是中国 AI infra 自主化的标志性样本((推断))。

6.5 风险与待观察项

6.6 一句话总结

GLM-5.3-Flash 用"稀疏+线性混合注意力 + mHC + IndexPool/IndexShare + MoE/MLA"这套架构组合,把多模态、1M 上下文、Agentic 能力以 1/10 价格塞进 18B 激活参数的 flash 模型,验证了"架构决定效率"的路线;但它在 KV 缓存上并非最优、方法论未随开源充分披露、国产芯片与多模态部分自述较强,故其实力应定位为"中上偏强、架构开源可信、效率有短板、叙事有选择性"。其真正的行业价值,是把智能密度(Intelligence per Dollar)推向产业中心,并为后续混合注意力模型提供了可复用的工程模板。((推断))


附:核心数字速查表

类别数字
------
规模320B 总参 / 18B 激活 / 45 层
混合配比34 线性 + 11 稀疏(DSA 于层 [3,7,...,43],每 4 层 1 层)
上下文1M(max_position_embeddings=1048576)
MoE288 路由专家 / 8 激活 / 1 共享 / 前 3 层 dense
MLAq_lora=1536 / kv_lora=512 / qk_nope=256 / ROI 独立维度 0
索引器32 头 / top-k 2048 / IndexPool kpool=4 压缩为 1 / IndexShare 共享
mHCTrue / hc_mult=4 / sinkhorn_iters=20
预训练30T-token 多模态
效率注意力计算 -3.01x / KV -4.44x(vs GLM-5.3);服务性能 3x
成本AA 指数 57 分 @ $0.045/task;GLM-5.2 的 1/10
编码LiveCodeBench-Base 37.6(四者最高);DeepSWE 63.4(+17.2)
视觉OfficeQA 62.4 / CharXiv 89.4 / MVBench 77.8 / MMVU 80.5;BabyVision 53.4
授权MITLicense
引用arXiv:2602.15763(GLM-5 技术报告,非本模型专属)
说明:架构数字以 config.json 一手为准;"牛来"为社区代号(无官方确认);ox-alpha 为官方博客确认的发布前匿名测试代号;凡标注(推断)处为源数据未直接给出、由本报告据上下文推演的内容,与非标注的源数据数字严格区分。
数据依据:本页 00-源数据提取.md | 推断处已标注(推断)| 生成:批量转换脚本