Seed1.8 Model Card: Towards Generalized Real-World Agency
深度解读报告
摘要
Seed1.8 是字节跳动 Seed 团队发布的旗舰模型卡,核心命题是"单一模型内整合感知—推理—行动":以统一 agentic 接口覆盖搜索、代码生成执行与 GUI 交互,替代任务专用 pipeline 拼装。模型提供 no_think 至 think-high 四档思考模式,主结果以 think-high 报告。评测显示:复杂指令跟随全面领先(Collie-Hard 99.0*、EIFBench 66.7 对 GPT-5 47.0);多模态与视频密集登顶(ZeroBench 11.0、DA-2K 90.7、OVBench 65.1 等 SOTA);GUI Agent OSWorld 62.9 创家族新高(较 Seed1.5-VL +26.2);DeepConsult 57.2 远超 GPT-5 的 38.3;并行思考将 AIME-25 从 94.3 推至 97.3。短板同样清晰:数学/代码居第一梯队但非第一(AIME-25 94.6 对 Gemini-2.5-Pro 95.0*),知识型视频理解与 agentic coding 落后至少一个竞品,且全文无架构与训练披露。本文从问题定位、概念内核、方法拆解、证据链、批判分析与行业启示六个维度展开解读。
一、问题定位
1.1 文档性质:纯评测型 Model Card
Evaluation 占 p2–10,用例占 p11–18,附录评测体系 p29–41;不公开参数量、架构、数据构成与训练成本。写作目的是向市场声明该模型在"真实世界通用代理能力"上的坐标位置,而非学术论证。
1.2 核心命题
对立面是传统"感知/检索/规划/执行多模块 pipeline 拼装"。Seed1.8 主张由一套权重原生承载 agentic 闭环,评测设计处处验证:端到端能力是否达到甚至超越专用拼装方案。
1.3 评测坐标系
对比对象为第一梯队全谱系:GPT-5(-high)、GPT-5.1(High)、Claude-Sonnet-4.5、Gemini-2.5-Pro、Gemini-3-Pro;纵向对照前代 Seed1.5-VL 与 Seed1.6——不与二线模型比较,直接在最强对手集合中寻找反超点。
1.4 阅读约束
- 主结果默认 think-high 档位,背后有较高测试时计算开销;
- 部分最佳成绩依赖工具增强(crop-box、VideoCut)或 * 号外部转引设置;
- 正文叙述与表格数字系统性错位,引用必须回到表格核对。
二、概念内核
2.1 统一 agentic 接口三支柱
- 搜索:信息聚合 + 证据合成,自主决定查询、交叉验证与停止时机;
- 代码中心执行:以解释器为通用行动介质完成结构化计算与工具编排——IMO-AnswerBench 带工具设定下 76.0 对 Claude-Sonnet-4.5 57.5 是其直接体现;
- 原生视觉感知:截图/文档/图表/视频直接驱动 GUI 操作,覆盖无 API 场景。
2.2 思考可配置性:测试时计算换质量
no_think / think-low / think-medium / think-high 构成质量—延迟—成本旋钮。关键证据:NoThink 下 MMMU-Pro 65.4(前代 Seed1.6 61.0、GPT-5.1 仅 43.5);EMMA NoThink 50.1 已超前代 High 档 48.1。"不思考也够用"的下限被大幅抬升,快慢之间不再断崖。
2.3 并行思考:扩展难题上限
多条思考路径并行展开后聚合中间结果。Table 7:AIME-25 94.3→97.3、HMMT 96.7、HLE-full 21.4→25.6——test-time scaling 被做成正式交付特性。
2.4 经济价值场景导向的评测哲学
Appendix A 三原则:用户体验优先(对标 ChatGPT 用例分布)、转向真实场景(Economically Valuable Fields)、推进智能边界。内部 6+3 基准支撑主张:客服 Q&A 63.4 对 GPT-5 59.4,教育/客服/意图识别对三大竞品保持优势或持平。
2.5 视频交互重定义
流式视频在 1FPS 连续帧上三状态切换——即时应答 / 静默跟踪 / 视觉主动介入,回答可被新帧打断并动态续写;VideoCut 允许指定时间戳与 FPS(1–5) 重采样回放实现慢动作审视。视频从"一次性输入"变为"可持续操作的交互环境"。
三、方法拆解
3.1 评测组织方式
按"语言基础(Table 1) → 视觉(Table 2 图像/Table 3 视频) → Agentic(Table 4/5) → 效率(Fig.1–4/Table 7)"四层递进,每个数字携带明确条件标签(有无工具/思考档位/流式设定)。
3.2 工具增强的双刃剑
| 工具 | 基准变化 | 机制本质 |
|---|---|---|
| crop-box(GUI grounding) | ScreenSpot-Pro 36.2 → 73.1 | "假设—裁剪—验证"主动视觉循环 |
| VideoCut(时间戳+FPS 重采样) | CGBench 62.4 → 65.9 | 高帧率细节捕获与慢动作审视 |
| LVBench 73.0 → 78.9 | ||
| ZeroVideo(101题) 6.9 → 18.8,反超 Gemini-2.5-P 8.9 / Gemini-3-P 14.3 |
3.3 自研基准群的设计逻辑
| 基准 | 规模/形态 | 针对盲区 |
|---|---|---|
| MM-BrowseComp | 224 题 | 多模态浏览型深度检索 |
| WideSearch | 200 题 | 多实体横向搜索的一致性导向 |
| AInstein-SWE-Bench | 量子化学/量子计算/天体物理/HPC | 科研级 fail-to-pass 生产库修复 |
| U-Artifacts | 199 例 | GUI 操作残留 artifact 检测 |
| DiscoX | 篇章级中英翻译 | 超越句段的语篇翻译质量 |
| XpertBench | 200+ 领域专家、140+ 任务类型 | rubric 评审的专家任务 |
| WorldTravel | 150 题,单题 10–20+ 耦合约束 | 多模态×运筹级旅行规划,人类专家均值 1.5h |
3.4 效率多维评测
- 视频理解:32K token 预算表现超过 Seed1.5-VL 在 80K 预算下的水平(Fig.3);
- BrowseComp unlimited 档随步数稳步升至 67.6@150 步,low/medium 档 50 步内分别 45.0/55.0(Fig.4 效率曲线口径)——同一模型内部清晰的"预算换成功率"Pareto 前沿。
3.5 用例章叙事功能
六大用例(旅行规划/专家任务/科研任务/科研软件工程/122 步 GUI 案例/agentic 视频交互)承担能力可信度叙事:证明表格高分可兑现为长链条真实任务。
四、证据链
4.1 语言基础:第一梯队,非全面登顶
| 基准 | Seed1.8 | 最强对手 | 解读 |
|---|---|---|---|
| AIME-25 | 94.6 | Gemini-2.5-P 95.0* | 差 0.4 分(*外部转引) |
| BeyondAIME | 74.0 | G2.5-P 83.0 | 难分布差距拉开至 9 分 |
| AMO-Bench | 50.0 | G2.5-P 64.0 | 极难档明显落后 |
| LiveCodeBench v6 | 87.0 | G2.5-P 90.7 | 竞争性落后 |
| GPQA-Diamond | 85.7 | G2.5-P 91.9 | 落后 6.2 |
| Collie-Hard | 99.0* | G2.5-P 95.5 | 复杂指令登顶 |
| EIFBench | 66.7 | GPT-5 47.0 | 领先近 20 分 |
| InverseIFEval / MultiChallenge | 78.9 / 69.6 | 第二档首位 | 复杂 IF 全面强势 |
| MMLU / MMLU-pro | 93.8 / 87.2 | 持平一线 | 知识面无短板 |
| IMO-AnswerBench(带代码工具) | 76.0 | Claude-S-4.5 57.5 | 数学工具化解题优势显著 |
4.2 视觉理解:对 Gemini-3-Pro 贴身反超
ZeroBench(main) 11.0(G3-P 10.0);VLMsAreBiased 62.0(G3-P 50.6,领先 11.4);DA-2K 90.7(G3-P 82.1);OmniDocBench1.5 NED↓ 0.106(G3-P 0.115,自家前代 0.152);MMLB-NIAH 128k 72.2(G3-P 70.5)。多个细分榜反超最新 Gemini-3-Pro,文档理解较前代进步显著。
4.3 视频理解:感知强、知识弱两极
- 动态感知域:TOMATO/EgoTempo/Countix 60.8/67.0/31.0,六项中五项 SOTA;
- 流式域:OVBench/LiveSports-3K/OVOBench 65.1/77.5/72.6 全部 SOTA;
- 知识型落后:VideoMMMU 82.7 对 G3-P 87.6;TOMATO 60.8 距人类 95.2 差距巨大(作者自认)。
4.4 Agentic:深研写作登顶,编码中游
- 深研写作三项全第一:DeepConsult 57.2(GPT-5 38.3,领先 18.9)、DRB 48.7、DiscoX 75.1;
- 金融检索 FinSearchComp(T2&T3) 64.5(GPT-5 58.6);XpertBench Fin/Edu/Res/Hum 64.5/56.9/48.2/68.5 均第一;
- agentic coding 中游:SWE-V 74.9(GPT-5 77.2)、TerminalBench2.0 35.2(G2.5-P 54.2,差近 19 分);
- 搜索类以 Table 4 为准:GAIA 76.7、BrowseComp-en 54.9、BrowseComp-zh 63.0、MM-BrowseComp 27.7。
4.5 GUI Agent:桌面新高,移动待补
OSWorld 62.9 登顶(O3 61.9;较 Seed1.5-VL 36.7 提升 +26.2,家族四代最佳);AndroidWorld 56.0 落后 Claude-S-4.5 69.7 与 O3 70.7,官方以未公开内部移动集占优作补充辩护。
4.6 测试时扩展与安全
并行思考(Table 7):AIME-25 94.3→97.3、HMMT 96.7、HLE-full 21.4→25.6。安全侧 AIR-Bench 较前代提升、XSTest 保持高可用性。
4.7 证据强度评级
最强:多模态感知、流式视频、深度咨询写作、复杂指令跟随(多基准一致+幅度大);次之:GUI 桌面、金融检索、专家任务(部分依赖内部基准或工具增强);弱势域证据反而最可信——敢于并列展示对手更高数字,是加分行为。
五、批判性分析
5.1 最严重缺陷:正文与表格系统性错位
5.2 可复现性结构性缺失
无参数量/架构/数据配方/训练成本披露,成绩无法独立复现;自研基准群(ZeroVideo/U-Artifacts/XpertBench/WorldTravel 等)缺乏外部可获取性与第三方复核,"自己设计的考场"天然带有利偏差风险,判分器本身未经外部审计。
5.3 工具增强与可比性边界
ScreenSpot-Pro 36.2→73.1、ZeroVideo 6.9→18.8 均发生在启用专属工具之后;Collie-Hard 99.0 与对手 AIME-25 95.0 带 * 号。条件虽已标注,传播中极易被剥离条件误读为裸模型能力——跨模型比较必须锁定"是否同等工具"变量。
5.4 弱势域的实质含义
- 知识型视频:感知通路强 ≠ 知识整合强,视频教学/学科问答仍是 Gemini 主场;
- agentic coding(TB2.0 35.2 vs 54.2):与其"代码中心执行"支柱形成张力——代码作解题介质强(IMO-AB 76.0),作工程项目载体仍弱;
- 移动端(56.0 vs 70.7):桌面突破未迁移到消费级最大入口的移动生态。
5.5 评测哲学潜在循环性
"对标 ChatGPT 用例分布"使评测分布向头部产品画像对齐,利于证明经济效用但可能低估长尾专业场景;Economically Valuable Fields 内部基准既是特色也是闭环(客服 63.4 vs 59.4 目前只能单向采信)。
六、启示与影响
- Model Card 演变为战略评测叙事:谁定义考场谁掌握话语权。WorldTravel 的 hard/easy 判分设计、XpertBench rubric、AInstein-SWE 生产库 fail-to-pass 代表基准设计最新工艺,但封闭性呼唤第三方中立基准制衡。
- 单模型 agentic 闭环获实证背书:OSWorld 62.9、DeepConsult 57.2、流式三状态切换展现对 pipeline 拼装的竞争力——中间编排层价值将被上游吸收,框架护城河需向企业权限/持久记忆/领域工具链迁移。
- 效率成为一等公民指标:NoThink MMMU-Pro 65.4、EMMA 50.1 超前代 High、视频 32K 预算胜前代 80K——竞争主战场从"最高分"转向 Pareto 前沿整体占优。
- 主动视觉与工具调度是新增益引擎:"模型学会调度自己的感知"比"感知变强"边际收益更高,GUI grounding 与长视频的下步竞赛将围绕工具策略自动化展开。
- 方法论警示:引用 Model Card 必须落到表格行、核对条件标签(档位/工具/*号);对自研基准持"设计合理但未经外部验证"双重判断;对经济效用叙事追问判分器独立性。
- 竞争格局速写:Gemini-3-Pro 守多模态感知与知识型视频(VideoMMMU 87.6、GPQA-D 91.9);GPT-5 守 agentic coding(SWE-V 77.2);Claude-S-4.5 守移动 GUI(69.7);Seed1.8 在复杂指令、流式视频、深研写作、中文 GUI、效率前沿五个切面插旗——多极并存、各有主场。
附:数字速查与自检说明
家族纵向(关键跃升)
| 指标 | Seed1.5-VL | Seed1.8 | 幅度 |
|---|---|---|---|
| OSWorld | 36.7 | 62.9 | +26.2 |
| OmniDocBench NED↓ | 0.152 | 0.106 | −0.046 |
| MMMU-Pro(NoThink) | Seed1.6 61.0 → Seed1.8 65.4 | +4.4 | |
争议数字对照表
| 条目 | 正文声称 | 表格实值(本文采用) |
|---|---|---|
| GAIA | 93.2 ("highest") | 76.7(Table 4) |
| BrowseComp-en | 67.6 | 54.9(Table 4;67.6 为效率曲线 Fig 口径另注) |
| BrowseComp-zh | 78.5 | 63.0(Table 4) |
| MM-BrowseComp | 46.3 | 27.7(Table 4) |
自检说明
本文件为单文件 HTML 报告:UTF-8 编码无替换字符;全部样式内联于 <style>,无外部依赖;数字高亮统一使用 span.num / span.sota;章节结构为摘要+六节+附录共 8 卡片,与 MD 版《01-深度解读.md》一一对应。生成后已执行 div 开闭平衡校验。