现代大语言模型发展史 · 关键节点论文列表

2017-06 → 2026-08 · 133 个关键节点

总计 133本地PDF 67P3 38P2 81P1 14
🛤️ 泳道图视图📋 当前：卡片列表视图

P3 先行 · 38 篇主线故事

按时间升序通读即掌握领域主干，点击跳转

  1. 012017-06Attention Is All You Need
  2. 022018-10BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
  3. 032020-01Scaling Laws for Neural Language Models
  4. 042020-05Language Models are Few-Shot Learners
  5. 052020-05Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
  6. 062020-10An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
  7. 072021-01Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
  8. 082021-02Learning Transferable Visual Models From Natural Language Supervision
  9. 092021-04RoFormer: Enhanced Transformer with Rotary Position Embedding
  10. 102021-06LoRA: Low-Rank Adaptation of Large Language Models
  11. 112021-09Finetuned Language Models Are Zero-Shot Learners
  12. 122022-01Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
  13. 132022-03Training language models to follow instructions with human feedback
  14. 142022-03Training Compute-Optimal Large Language Models
  15. 152022-05FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
  16. 162022-10ReAct: Synergizing Reasoning and Acting in Language Models
  17. 172022-12Constitutional AI: Harmlessness from AI Feedback
  18. 182022-12Self-Instruct: Aligning Language Models with Self-Generated Instructions
  19. 192023-02LLaMA: Open and Efficient Foundation Language Models
  20. 202023-03GPT-4 Technical Report
  21. 212023-05Direct Preference Optimization: Your Language Model is Secretly a Reward Model
  22. 222023-07Llama 2: Open Foundation and Fine-Tuned Chat Models
  23. 232023-09Efficient Memory Management for Large Language Model Serving with PagedAttention
  24. 242023-12Mamba: Linear-Time Sequence Modeling with Selective State Spaces
  25. 252024-02DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
  26. 262024-05DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
  27. 272024-07The Llama 3 Herd of Models
  28. 282024-08Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
  29. 292024-09Learning to Reason with LLMs (OpenAI o1)
  30. 302024-12DeepSeek-V3 Technical Report
  31. 312025-01DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
  32. 322025-07Kimi K2: Open Agentic Intelligence
  33. 332025-08GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models
  34. 342025-10DeepSeek-OCR: Contexts Optical Compression
  35. 352026-02GLM-5: from Vibe Coding to Agentic Engineering
  36. 362026-04Thinking with Visual Primitives
  37. 372026-04DeepSeek-V4 Technical Report (Pro/Flash)
  38. 382026-07Kimi K3: Open Frontier Intelligence
01

奠基期：注意力革命与预训练范式确立（2017–2019）

2017年之前，序列建模由LSTM/GRU加attention的seq2seq统治，循环网络的串行计算是根本枷锁。《Attention Is All You Need》用纯自注意力抛弃循环结构，赌注是「可并行性大于归纳偏置」——2018年被GPT与BERT双双验证后，Transformer成为唯一底座。本时期的主线是「预训练表示学习」路线之争：ELMo（特征融合）、GPT-1（生成式预训练+微调）、BERT（双向编码+MLM）三连击终结了任务专用架构时代；GPT-2又在2019年反手证明「语言模型是无监督多任务学习者」，为zero-shot范式埋下伏笔。同期还有一条工程暗线：Sparse Transformer与MQA开始处理注意力的平方复杂度与KV显存问题——当时只是边缘研究，数年后成为推理系统的命脉。

2017-06P3

Attention Is All You Need

Google Brain/Research

贡献：纯自注意力Transformer架构，完全弃用RNN/CNN

展开背景档案
当时主流LSTM/GRU+attention的seq2seq为主流
痛点RNN串行训练慢，长程依赖弱难并行
为何胜出全并行训练可扩展性极强，效果全面超越
后续影响奠定大模型时代基石，几乎所有LLM的底座
PDF下载 | 官方代码 | 深度解读 | 架构
2018-02P2

Deep Contextualized Word Representations

AI2

贡献：双向LSTM深度上下文词表示，动态嵌入替代静态向量

展开背景档案
当时主流静态Word2Vec/GloVe词向量主导
痛点一词多义无法用静态向量区分
为何胜出即插即用提升多项NLP任务，开启上下文表示路线
后续影响为Transformer预训练铺路
PDF下载 | 官方代码 | 深度解读 | 预训练
2019-02P2

Language Models are Unsupervised Multitask Learners

OpenAI

贡献：论证语言模型天然是多任务学习者，zero-shot可用

展开背景档案
当时主流BERT式微调范式占绝对主流
痛点验证摆脱下游监督的任务无关学习假说
为何胜出WebText上zero-shot多任务成立，分阶段发布引发热议
后续影响开创prompt/zero-shot范式，铺路GPT-3规模化
PDF下载 | 官方代码 | 深度解读 | 预训练
2019-04P2

Generating Long Sequences with Sparse Transformers

OpenAI

贡献：strided/fixed稀疏注意力，复杂度O(L√L)

展开背景档案
当时主流全注意力二次方复杂度限制序列长度
痛点长序列显存与算力爆炸不可行
为何胜出万级序列可行且生成质量基本保持
后续影响开创高效稀疏注意力线，Longformer/BigBird继承
PDF下载 | 官方代码 | 深度解读 | 架构
02

规模化时代：Scaling Laws、涌现与对齐萌芽（2020–2022H1）

GPT-3的175B few-shot宣告「规模即能力」，Kaplan定律给了烧钱的理论依据，行业进入军备竞赛。但此时主流范式仍是「预训练大模型+微调/提示」：FLAN证明指令微调有效却未成气候，直到InstructGPT用RLHF把「听话」变成可训练目标，对齐问题才正式登堂入室。Chinchilla修正Kaplan定律，引爆「数据vs参数」的全行业重估，直接催生了后来的LLaMA高效路线。更重要的是CoT的发现——「思考过程」可以被提示诱导出来，当时只被视为提示技巧，两年后被证明是新范式的种子。基础设施方面：FlashAttention重写注意力的IO逻辑、Switch Transformer验证MoE通往万亿参数、ViT/CLIP打通视觉表征——多模态与效率的地基在本时期全部打完。

2020-01P3

Scaling Laws for Neural Language Models

OpenAI

贡献：幂律刻画损失随参数/数据/算力可预测下降

展开背景档案
当时主流模型大小凭直觉决定，缺定量规划依据
痛点训练成本飙升前需预测收益的定量理论
为何胜出给出优先扩参数的可操作准则，直接指导GPT-3
后续影响成为各家扩模纲领，后续修正工作皆以其为参照系
PDF下载 | 深度解读 | 预训练
2020-05P3

Language Models are Few-Shot Learners

OpenAI

贡献：175B下few-shot/in-context learning系统实证

展开背景档案
当时主流微调仍是主流适配方式，模型普遍小于20B
痛点验证规模跨越阈值后少样本能力质变假设
为何胜出免梯度few-shot逼近微调SOTA，定义大模型交互方式
后续影响引发LLM军备竞赛，in-context learning成核心范式
PDF下载 | 深度解读 | 预训练
2021-06P3

LoRA: Low-Rank Adaptation of Large Language Models

Microsoft

贡献：冻结权重训低秩增量矩阵，可训练参数骤降

展开背景档案
当时主流全参微调昂贵，Adapter层增推理延迟
痛点大模型微调显存与存储成本过高
为何胜出零推理延迟、可插拔合并，成PEFT事实标准
后续影响支撑开源微调生态，QLoRA/DoRA等大量衍生
PDF下载 | 官方代码 | 深度解读 | 工程
2021-09P3

Finetuned Language Models Are Zero-Shot Learners

Google

贡献：提出指令微调：多任务指令化微调激发零样本泛化

展开背景档案
当时主流GPT-3少样本提示为主，监督微调被认为损害泛化
痛点零样本弱、任务泛化差，需统一任务格式
为何胜出简单可扩展，首次证明指令微调大幅提升零样本
后续影响奠定指令微调范式，T0/InstructGPT直接继承
PDF下载 | 官方代码 | 深度解读 | 对齐
2022-03P3

Training Compute-Optimal Large Language Models

DeepMind

贡献：证明Kaplan低估数据：算力最优应参数数据约等比扩

展开背景档案
当时主流Kaplan定律主导，大模型数据相对不足
痛点同算力最优配置存疑，训练效率待重估
为何胜出70B以更小体量超越280B Gopher，结论可复现
后续影响触发过度参数化反思，催生Llama等高效模型路线
PDF下载 | 深度解读 | 预训练
2022-04P2

PaLM: Scaling Language Modeling with Pathways

Google

贡献：540B dense稳定训练实证+跨任务涌现能力评估体系

展开背景档案
当时主流GPT-3后竞相堆参但缺系统评测
痛点检验千亿级dense扩展极限与TPU并行工程可行性
为何胜出6244芯片稳定训练，BIG-Bench/多语言/代码全面领先
后续影响提供涌现讨论素材库，Pathways愿景的实证锚点
PDF下载 | 深度解读 | 预训练
2022-11P2

Fast Inference from Transformers via Speculative Decoding

Google Research

贡献：小模型草稿+大模型并行验证的无损加速解码

展开背景档案
当时主流自回归逐token串行解码延迟高
痛点不改变输出分布前提下加速生成
为何胜出数学保证无损+2~3倍加速，被全部推理引擎采纳
后续影响开创投机采样领域
PDF下载 | 深度解读 | 工程
03

对齐与开源爆发：ChatGPT冲击波（2022H2–2023）

ChatGPT于2022年11月末引燃消费级AI浪潮，InstructGPT的三段式配方成为行业圣经，CAI、Self-Instruct、DPO随后围绕「如何更快更省地对齐」层层演进：人工标注贵就AI反馈（RLAIF），标注少就自举合成（Self-Instruct），PPO难训就把偏好优化变成监督损失（DPO）。LLaMA权重外泄意外开启开源纪元，Alpaca用不到600美元复刻指令跟随，证明「数据质量>算力堆砌」。GPT-4技术报告确立多模态旗舰标杆，开源界以LLaVA等应战。Agent概念在ReAct、Toolformer、ToT中成形——彼时还只是论文里的演示。同时社区开始正视「部署成本决定生死」：Position Interpolation打开长上下文之门，AWQ/GPTQ把量化推向4bit，投机解码起步。这一年，能力的民主化与技术平民化同时发生。

2022-10P2

GLM-130B: An Open Bilingual Pre-trained Model

清华KEG×智谱AI

贡献：千亿级开源中英双语稠密模型，自回归填空架构

展开背景档案
当时主流GPT-3闭源，BERT类编码器主导学界
痛点千亿权重无开源可复现，中文语料稀缺
为何胜出INT4量化单卡可跑，ICLR'23双语双向目标创新
后续影响国内大模型开源启蒙作，催生ChatGLM全系
PDF下载 | 官方代码 | 深度解读 | 开源
2022-12P3

Constitutional AI: Harmlessness from AI Feedback

Anthropic

贡献：用原则驱动AI自我批评修订，RLAIF替代人工标注

展开背景档案
当时主流RLHF依赖大规模人工偏好标注
痛点人工标注贵、慢且有害内容伤标注员
为何胜出无害性超RLHF且可规模化、原则可审计
后续影响开创RLAIF路线，Claude安全对齐核心
PDF下载 | 深度解读 | 对齐
2022-12P2

Teaching Small Language Models to Reason

Google

贡献：最早系统化CoT蒸馏：教师CoT微调小学生模型

展开背景档案
当时主流小模型直接微调答案标签
痛点小模型自身生成CoT质量差，需要大模型推理痕迹
为何胜出首次证明CoT监督信号可跨规模迁移
后续影响开启蒸馏支线，直接前导R1-Distill系列
PDF下载 | 深度解读 | 推理
2023-03P3

GPT-4 Technical Report

OpenAI

贡献：首个商用强多模态(图像输入)LLM技术报告

展开背景档案
当时主流纯文本LLM为主流旗舰
痛点统一语言与视觉理解
为何胜出综合能力断层领先，专业考试人类水平
后续影响引发全球多模态军备竞赛
PDF下载 | 深度解读 | 多模态
2023-04P2

Are Emergent Abilities of Large Language Models a Mirage?

Stanford

贡献：论证涌现多为非线性不连续指标造成的测量伪象

展开背景档案
当时主流涌现被普遍视为规模的神奇质变
痛点需对涌现概念做科学严谨性的批判检验
为何胜出换连续指标后涌现消失，NeurIPS 2023杰出论文级论证
后续影响促使领域改用连续指标并重审涌现叙事
PDF下载 | 深度解读 | 预训练
2023-04P2

Visual Instruction Tuning

UW/Microsoft/Wisconsin

贡献：语言模型指令微调对齐视觉，通用多模态助手

展开背景档案
当时主流CLIP+LLM拼接，无指令对齐
痛点VLM缺指令微调与对话
为何胜出指令微调+LLM范式
后续影响成开源多模态基线，衍生海量变体
PDF下载 | 官方代码 | 深度解读 | 多模态
2023-05P2

LIMA: Less Is More for Alignment

Meta

贡献：仅1000条精选样本SFT即获强对齐

展开背景档案
当时主流普遍堆量至数万条指令数据
痛点探明对齐所需数据质量下限
为何胜出极端小样本反常识有效，知识在预训练中
后续影响推动质量优先方法论与表面对齐假说
PDF下载 | 深度解读 | 对齐
2023-07P1

NTK-aware Scaled RoPE（社区方案）

r/LocalLLaMA社区

贡献：按NTK理论非线性缩放RoPE高频维度免微调扩窗

展开背景档案
当时主流线性PI需微调且低频位置信息受损
痛点零微调扩展到8k+且困惑度损失最小
为何胜出免训练即用，DynamicNTK进llama.cpp等框架
后续影响思想由YaRN形式化，成推理框架标配选项
PDF下载 | 官方代码 | 深度解读 | 长上下文
04

工程化时代：长上下文、MoE 与开源追平（2023H2–2024）

开源追平战白热化：Mixtral让开源MoE首次对标GPT-3.5，Llama 3与Qwen2.5把基座推到新高度，而DeepSeek从追赶者转变为路线输出者——DeepSeekMoE的细粒度专家、V2的MLA潜在注意力先后成为国产乃至全球开源的标准蓝本。长上下文从32k一路卷到2M（YaRN/LongLoRA/LongRoPE），vLLM的分页革命让服务吞吐提升一个量级。架构层面出现深刻反思：Mamba引发「注意力是否必要」之辩，Jamba/Mamba-2最终走向混合折中。对齐方法学上，Llama 3公开工业级后训练章节，Tülu 3更进一步开放全套数据代码并首创RLVR术语。年末两声惊雷定义了下一年的竞争维度：DeepSeek-V3以约557万美元训练成本逼近顶级闭源，o1则宣告预训练scaling放缓后，「推理时计算」成为新的扩展轴心。

2023-09P2

Qwen Technical Report

阿里云通义千问

贡献：初代中英双语1.8B-72B全尺寸开源基座

展开背景档案
当时主流LLaMA英文生态主导，中文基座缺位
痛点中文高质量预训练与对齐方案稀缺
为何胜出中英均衡+系统级全家桶开源策略
后续影响打开国产品牌开源基座格局，Qwen生态起点
PDF下载 | 官方代码 | 深度解读 | 开源
2024-01P2

Mixtral of Experts

Mistral AI

贡献：开源8专家top-2稀疏MoE大模型

展开背景档案
当时主流高性能MoE仅存于闭源系统与研究界
痛点开源社区缺乏高质量可商用MoE权重
为何胜出Apache 2.0权重对标GPT-3.5，激活参数仅13B
后续影响引爆开源MoE浪潮，路由行为分析论文井喷
PDF下载 | 官方代码 | 深度解读 | 开源
2024-03P2

Jamba: A Hybrid Transformer-Mamba Language Model

AI21 Labs

贡献：Mamba-Attention-MoE层间混合生产级架构

展开背景档案
当时主流纯Transformer与纯SSM两派争论
痛点两类架构各有长短需要互补验证
为何胜出首个大规模部署混合模型，长上下文省显存
后续影响验证混合路线可行性，Samba/Zamba跟随
PDF下载 | 官方代码 | 深度解读 | 架构
2024-07P2

Qwen2 Technical Report

阿里云通义千问

贡献：0.5B-72B全谱系升级，57B-A14B MoE首秀

展开背景档案
当时主流Llama-3刚发布，开源榜竞争白热化
痛点初代架构老旧，小尺寸性能不足
为何胜出全尺寸覆盖+多语言+宽松许可证
后续影响全球下载量最大开源家族之一
PDF下载 | 官方代码 | 深度解读 | 开源
2024-07P3

The Llama 3 Herd of Models

Meta

贡献：系统化后训练：SFT+拒绝采样+DPO多轮迭代

展开背景档案
当时主流各家后训练细节秘而不宣
痛点缺旗舰级完整公开后训练参考
为何胜出最详尽开放后训练章节，配方可借鉴
后续影响树立工业级post-training文档标准
PDF下载 | 官方代码 | 深度解读 | 对齐
2024-09P3

Learning to Reason with LLMs (OpenAI o1)

OpenAI

贡献：官方宣告大规模RL驱动长思维链范式，o1首秀

展开背景档案
当时主流CoT提示/SFT蒸馏，推理靠人工技巧
痛点预训练scaling收益放缓，需新compute轴
为何胜出IMO资格赛83%/Codeforces 89%档，确立train-to-think路线
后续影响引爆整个推理模型赛道(R1/QwQ/s1皆为回应)
PDF下载 | 深度解读 | 推理
2024-11P2

Scaling Laws for Precision

Harvard/MIT/Stanford/Databricks

贡献：精度感知scaling law：低精度训练折损有效参数量

展开背景档案
当时主流默认BF16训练，精度与规模关系无定量结论
痛点FP8/FP4低比特趋势下需修正Chinchilla成本估算
为何胜出统一训练+后训练量化框架(ICLR25)
后续影响为低精度时代提供预算公式，纳入多家训练指南
PDF下载 | 深度解读 | 预训练
2024-12P2

Qwen2.5 Technical Report

阿里云通义千问

贡献：18T token预训练，Math/Coder专项衍生最丰富

展开背景档案
当时主流Llama3.1-405B居开源榜首
痛点上代数据规模与后训练深度不足
为何胜出72B逼近405B，同尺寸全面领先
后续影响成事实标准底座，衍生模型数超Llama，Qwen3前身
PDF下载 | 官方代码 | 深度解读 | 开源
2024-12P3

DeepSeek-V3 Technical Report

DeepSeek-AI

贡献：无辅助损失负载均衡+MTP+FP8训练的671B细粒度MoE

展开背景档案
当时主流辅助损失强行均衡损害模型性能
痛点超大规模MoE的负载均衡与训练效率矛盾
为何胜出557万美元训练成本逼近顶级闭源并完全开源
后续影响定义2025开源前沿基线，全球复现与蒸馏热潮
PDF下载 | 官方代码 | 深度解读 | 架构
05

推理与Agent时代：o1时刻之后（2025–2026）

R1用纯强化学习复现o1并登上Nature封面，「GRPO+可验证奖励（RLVR）」一夜之间成为行业标配；s1和QwQ证明小团队小成本也能上桌。竞争轴心随之从「模型有多聪明」转向「能连续干多久」：Kimi以K2的万亿参数MuonClip零尖峰训练起步，K2.5引入Agent Swarm并行编排，K3更以2.8T参数刷新开源规模上限并凭KDA线性注意力首次在编程对决中登顶胜过闭源；DeepSeek线从V3.2的DSA token级稀疏走到V4的CSA+HCA混合注意力与FP4量化感知训练，把百万token推理链的成本压到原来的几分之一；最激进的多模态想法来自《Thinking with Visual Primitives》——提出Reference Gap，把边界框与空间点变成思维链的最小单位。GLM线以GLM-4.5的slime异步RL基建奠基，GLM-5确立「DSA+异步Agentic RL」范式后经5.1/5.2快速迭代出Solid 1M长程能力；Qwen则以Qwen3.5的397B-A17B门控DeltaNet线性注意力和Omni全模态推进原生多模态智能体。闭源侧，GPT-5系统卡把「旗舰」重定义为快慢模型路由系统，Gemini 2.5普及思考预算，Claude Opus 4.5率先突破SWE-bench 80%。MiniMax M2系列押注小激活高效率路线，字节Seed从开源中尺寸走向单体Agent。至2026年年中，前沿竞争收敛于三条主轴：稀疏/线性注意力的效率革命、agentic RL的工程基建、多模态推理的原语化。

2025-01P2

Kimi k1.5: Scaling Reinforcement Learning with LLMs

Moonshot AI

贡献：长短链联合RL与long2short，非MoE达o1级

展开背景档案
当时主流R1同期，推理长度成本矛盾突出
痛点长思维链成本高，需压缩不掉点
为何胜出与R1并称开源推理双雄，思路被广采
后续影响思考预算控制与测试时扩展研究先声
PDF下载 | 深度解读 | 推理
2025-01P2

s1: Simple test-time scaling

Stanford+UW+AI2

贡献：1000样本SFT+budget forcing，最小代价复现o1测试时扩展曲线

展开背景档案
当时主流o1闭源，复现工作普遍依赖海量RL或MCTS
痛点开源界缺清晰可控的test-time scaling行为
为何胜出16×H100训练26分钟超o1-preview(AIME最高57%)
后续影响budget forcing被广泛采用，重塑小模型蒸馏认知
PDF下载 | 官方代码 | 深度解读 | 推理
2025-02P2

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

DeepSeek-AI+北大/UW

贡献：压缩+选择+滑窗三分支原生可训练稀疏注意力

展开背景档案
当时主流既有稀疏方案多为推理近似或不可端到端训
痛点全注意力O(n²)是百万级窗口的根本瓶颈
为何胜出硬件对齐内核下持平或超全注意力且更快
后续影响ACL 2025最佳论文，DeepSeek长上下文路线前奏(DSA后继)
PDF下载 | 官方代码 | 深度解读 | 架构
2025-02P2

MoBA: Mixture of Block Attention for Long-Context LLMs

Moonshot AI+清华

贡献：块级top-k门控路由，把MoE思想引入注意力

展开背景档案
当时主流固定模式稀疏与全注意力之争未决
痛点让模型自主学习该关注哪些历史KV块
为何胜出可与全注意力无缝切换，已在Kimi生产环境部署
后续影响NeurIPS 2025，与NSA并列2025可学习稀疏注意力双星
PDF下载 | 官方代码 | 深度解读 | 架构
2025-02P1

Qwen2.5-VL Technical Report

阿里Qwen团队

贡献：原生动态分辨率+文档解析+GUI Agent能力

展开背景档案
当时主流固定分辨率VLM为主
痛点视觉Agent需精确定位与文档理解
为何胜出开源榜单全面领先，Agent能力强
后续影响国产开源VLM标杆
PDF下载 | 官方代码 | 深度解读 | 多模态
2025-03P1

QwQ-32B: Embracing the Power of Reinforcement Learning

阿里Qwen团队

贡献：官方博客：32B两阶段RL(规则验证器+通用RM)逼近R1并集成工具调用

展开背景档案
当时主流R1证明671B MoE+多阶段RL可行但部署门槛高
痛点验证中小稠密模型能否纯RL缩放到前沿推理
为何胜出32B≈R1性能，消费级硬件可部署，Apache 2.0
后续影响证明强底座+RL缩放定律，为Qwen3混合思考铺路
PDF下载 | 官方代码 | 深度解读 | 推理
2025-03P1

Towards Reasoning Era: A Survey of Long Chain-of-Thought

哈工大/中南/HKU/复旦

贡献：Long CoT首个系统综述：分类法+overthinking/test-time scaling梳理

展开背景档案
当时主流o1/R1后推理scaling兴起但文献高度碎片化
痛点缺统一框架区分Long/Short CoT
为何胜出覆盖全面分类清晰，该方向最常引综述之一
后续影响为推理时间scaling研究与教学提供地图
PDF下载 | 官方代码 | 深度解读 | 推理
2025-04P2

The Llama 4 Herd (Scout/Maverick)

Meta

贡献：iRoPE交错位置编码原生10M上下文，MoE原生多模态

展开背景档案
当时主流RoPE全层统一使用为默认
痛点超长上下文位置外推与多模态基座
为何胜出10M上下文开源最长纪录
后续影响长上下文位置编码新路线参照；正式技术报告存疑仅模型卡
PDF下载 | 深度解读 | 架构
2025-05P2

Qwen3 Technical Report

阿里通义

贡献：128K上下文，MoE+稠密多尺寸，思考模式

展开背景档案
当时主流Qwen2.5+DeepSeek/R1开源
痛点开源前沿推理能力
为何胜出混合思考模式+全系开源
后续影响接Qwen开源系，国产LLM旗帜
PDF下载 | 官方代码 | 深度解读 | 开源
2025-06P2

Gemini 2.5 Technical Report

Google DeepMind

贡献：思考预算+原生多模态+1M上下文全档家族

展开背景档案
当时主流思考模型刚起步，档位覆盖缺位
痛点能力/成本全档Pareto覆盖
为何胜出Pro/Flash全档+Deep Think并行思考
后续影响Gemini 3代基线，思考预算普及推手
PDF下载 | 深度解读 | 推理
2025-07P3

Kimi K2: Open Agentic Intelligence

Moonshot AI

贡献：1.04T总参32B激活MoE，MuonClip优化器+agentic数据合成

展开背景档案
当时主流R1后推理模型内卷，开源agent能力普遍薄弱
痛点万亿token训练易崩溃，工具使用依赖人工标注
为何胜出QK-Clip实现15.5T零崩溃训练，免蒸馏agent管线
后续影响掀起万亿级开源agentic浪潮，改写API定价锚点
PDF下载 | 官方代码 | 深度解读 | 架构
2025-08P2

GPT-5 System Card

OpenAI

贡献：快慢模型+实时路由统一系统，safe-completions安全训练

展开背景档案
当时主流单模型+用户手动选择模式
痛点按任务选模型的摩擦与统一安全评估缺口
为何胜出路由持续学习，旗舰系统形态定义者
后续影响确立旗舰=系统的行业形态与安全评估范式
PDF下载 | 深度解读 | 开源
2025-08P2

Seed-OSS-36B Open Source Models

字节跳动Seed

贡献：12T token 36B开源，512K原生长上下文

展开背景档案
当时主流同尺寸开源混战，长上下文中尺寸稀缺
痛点中尺寸开源长上下文选项
为何胜出低成本同级最优，合成指令进预训练实证
后续影响字节开源路线起点，后续Seed系基座
PDF下载 | 官方代码 | 深度解读 | 开源
2025-10P3

DeepSeek-OCR: Contexts Optical Compression

DeepSeek-AI

贡献：视觉压缩原语：长文本转图像实现上下文光学压缩

展开背景档案
当时主流长上下文靠KV缓存与稀疏注意力
痛点长上下文计算成本爆炸
为何胜出~10倍压缩保真>96%，提出视觉是压缩原语论断
后续影响开辟光学上下文压缩新方向，2026研究热点源头
PDF下载 | 官方代码 | 深度解读 | 长上下文
2025-11P2

Kimi K2 Thinking（技术博客/模型发布）

Moonshot AI

贡献：思考-行动交错推理，连续两百余步工具调用，原生INT4

展开背景档案
当时主流o1式纯长CoT主流，工具调用数十步即失效
痛点推理链与执行割裂，长程任务错误持续累积
为何胜出交错think-act机制+INT4量化落地，HLE开源第一
后续影响确立开源思考模型标杆；K2.5/K2.6延续
PDF下载 | 官方代码 | 深度解读 | 推理
2025-11P2

System Card: Claude Opus 4.5

Anthropic

贡献：SWE-bench首破80%，ARC-AGI-2 37.6%

展开背景档案
当时主流三强胶着，编码榜交替领先
痛点Agent工作流可靠性与对齐验证
为何胜出当时最对齐前沿模型，token省一半
后续影响ASL-3标准部署范本
PDF下载 | 深度解读 | 对齐
2026-02P3

GLM-5: from Vibe Coding to Agentic Engineering

Z.ai/智谱

贡献：744B-A40B MoE，引入DSA稀疏注意力+异步Agent RL

展开背景档案
当时主流DeepSeek-V3.2/R1定义开源前沿，DSA初步验证
痛点长上下文算力贵，Agent长任务RL训练低效
为何胜出KV缓存省75%，SWE-bench开源SOTA，a16z评最佳开源模型
后续影响七大国产芯片全栈适配样板，开源前沿再易主
PDF下载 | 深度解读 | 架构
2026-02P2

Kimi K2.5: Visual Agentic Intelligence

Moonshot AI

贡献：文视联合训练+Agent Swarm并行编排(PARL)

展开背景档案
当时主流Agent串行工具调用为主流
痛点串行Agent时延线性膨胀
为何胜出宽搜索时延降4.5倍且效果反升
后续影响并行多智能体编排范式确立
PDF下载 | 官方代码 | 深度解读 | Agent
2026-02P2

Qwen3.5: Towards Native Multimodal Agents

阿里通义

贡献：Gated DeltaNet线性注意力+稀疏MoE 397B-A17B原生多模态智能体旗舰

展开背景档案
当时主流全注意力Transformer为主
痛点解码吞吐与成本制约Agent普及
为何胜出吞吐达Qwen3-Max的19倍且性能持平
后续影响混合线性注意力在旗舰级验证成功
PDF下载 | 官方代码 | 深度解读 | 架构
2026-02P2

Forge: Scalable Agent RL Framework and CISPO

MiniMax

贡献：白盒黑盒Agent统一RL环+CISPO复合奖励

展开背景档案
当时主流端到端共训credit分配难
痛点十万级真实scaffold规模化RL
为何胜出日百万样本吞吐稳定收敛
后续影响支撑M2.5/M2.7训练的基建方法论
PDF下载 | 深度解读 | Agent
2026-03P2

Seed1.8 Model Card

字节跳动Seed

贡献：搜索/GUI/视频工具统一单体Agent

展开背景档案
当时主流外挂Pipeline拼装Agent为主
痛点多步交互任务需专用流水线
为何胜出GAIA 93.2超GPT-5-high
后续影响感知推理行动一体化路线样本
PDF下载 | 深度解读 | Agent
2026-04P3

Thinking with Visual Primitives

DeepSeek-AI+北大+清华

贡献：点框空间标记作为最小思维单位嵌入CoT，弥合Reference Gap；CSA视觉KV压缩7056倍

展开背景档案
当时主流Thinking with Images靠高分辨率裁剪补感知，bbox只做事后验证
痛点密集计数/拓扑推理中语言指代漂移致级联幻觉
为何胜出迷宫66.9% vs GPT-5.4 50.6%，token预算仅对手几分之一
后续影响指代式多模态推理范式转折点；发布次日官方仓库删除仅存镜像
PDF下载 | 深度解读 | 多模态
2026-04P1

GLM-5.1（迭代版，无独立技术报告）

智谱Z.ai

贡献：SWE-Bench Pro 58.4全球最佳，长程8小时闭环

展开背景档案
当时主流Claude Opus 4.6领跑编程榜
痛点GLM-5工程化落地打磨
为何胜出中国模型率先达8小时级长程交付
后续影响长程Coding Agent热门基座；无独立论文学术披露有限
PDF下载 | 官方代码 | 深度解读 | 开源
2026-04P3

DeepSeek-V4 Technical Report (Pro/Flash)

DeepSeek-AI

贡献：CSA+HCA混合注意力+mHC超连接+Muon优化器+FP4量化感知训练，1M上下文

展开背景档案
当时主流DSA单路稀疏+MLA MoE为主，二次方注意力阻塞测试时扩展
痛点百万token推理链的计算墙
为何胜出FLOPs降至V3.2的27%/KV至10%，Flash 284B-A13B
后续影响架构级降本标杆，Muon与FP4专家权重落地
PDF下载 | 官方代码 | 深度解读 | 架构
2026-04P2

Qwen3.5-Omni Technical Report

阿里通义

贡献：Thinker/Talker双MoE+ARIA文语流对齐，全模态实时交互

展开背景档案
当时主流流式语音不稳、全模态多为管线拼接
痛点实时交互延迟与跨模态一致性
为何胜出215项音视频任务SOTA，首包延迟235ms
后续影响全模态+主动agent融合代表作
PDF下载 | 深度解读 | 多模态
2026-04P1

Qwen3.6 (35B-A3B)

阿里通义

贡献：小激活开源Agentic Coding钢炮

展开背景档案
当时主流编程能力集中于巨型MoE
痛点中小开发者用不起旗舰编程模型
为何胜出本地可跑的开源编程Agent
后续影响编程能力下放开源路线样本
PDF下载 | 官方代码 | 深度解读 | 开源
2026-04P1

Manifold-Constrained Hyper-Connections (mHC)

DeepSeek-AI

贡献：流形约束的超连接升级残差结构，随V4报告发表

展开背景档案
当时主流Hyper-Connections(2025)等残差增强方案
痛点残差路径表达能力饱和
为何胜出被V4采用增强建模保稳定
后续影响或成下一代Transformer默认组件；独立arXiv号未见
PDF下载 | 深度解读 | 架构
2026-05P2

The MiniMax-M2 Series Technical Report

MiniMax

贡献：230B总参/A10B激活极致轻旗舰系列+Forge大规模Agent RL

展开背景档案
当时主流同行堆参数，成本高企
痛点Agent生产级任务的token成本与速度
为何胜出108天SWE-bench Verified 69.4→80.2(M2.5)
后续影响小激活高效率路线确立
PDF下载 | 官方代码 | 深度解读 | 开源
2026-06P2

GLM-5.2: Built for Long-Horizon Tasks

智谱Z.ai

贡献：IndexShare/KVShare改进DSA，Solid 1M无损上下文，critic-based PPO

展开背景档案
当时主流128K主流，1M多为营销口径
痛点数百步长程任务的上下文一致性
为何胜出Terminal-Bench 2.1达81.0，Code Arena前端全球第一
后续影响MIT开源，AA榜单51分开源SOTA
PDF下载 | 官方代码 | 深度解读 | 架构
2026-06P2

Seed 2.0 Model Card

字节跳动Seed

贡献：长尾知识+复杂指令遵循系统性增强

展开背景档案
当时主流刷榜导向评测主导
痛点基准分高但真实任务不可靠
为何胜出真实场景评估体系牵引研发
后续影响豆包/TRAE生产环境验证
PDF下载 | 深度解读 | 对齐
2026-07P3

Kimi K3: Open Frontier Intelligence

Moonshot AI

贡献：2.8T总参/104B激活首个开源3T级，KDA+AttnRes+MoonClip二阶优化器

展开背景档案
当时主流开源停在1T级参数区间
痛点上下文扩10倍成本不能同步爆炸
为何胜出Frontend Code Arena开源首次登顶胜闭源，效率2.5倍
后续影响刷新开源规模上限，MXFP4量化训练实证
PDF下载 | 官方代码 | 深度解读 | 开源
2026-08P2

GLM-5.3：Frontier Foundation Model（文本旗舰）

智谱Z.ai

贡献：基座同GLM-5.2、能力全来自后训练：SAO结合上下文压缩的RL+端到端环境合成流水线，强制思考档位

展开背景档案
当时主流GLM-5.2确立DSA+异步RL长程范式，5.x快速迭代延续
痛点复杂软件工程/长程Agent对深度推理与代码安全的需求
为何胜出Terminal-Bench 3.0 4.6→28.3、DeepSWE 46.2→66.9、ExploitBench 54.4%约2倍于5.2、CyberGym 84.5%开源最佳
后续影响1M上下文+强制思考成为智谱旗舰标配，标志后训练驱动的新一代迭代模式；无独立arXiv论文
PDF下载 | 深度解读 | 对齐
2026-08P2

GLM-5.3-Flash（ox-alpha/牛来，原生多模态低延迟版）

智谱Z.ai

贡献：320B/18B激活、45层原生多模态(text+image+video)，首个稀疏注意力+线性注意力混合开源前沿模型(linear局部递归+DSA/IndexShare全局索引+mHC流形超连接+IndexPool索引缓存压缩)，1M上下文，INT4/fp8，MIT

展开背景档案
当时主流GLM-5.2的Solid 1M与GLM-5的DSA为前身；混合注意力此前仅MiniMax-01等探索
痛点超长上下文下注意力计算(KV)成本爆炸，需低成本低延迟的多模态agent
为何胜出注意力计算量−3.01x、KV−4.44x vs GLM-5.3；约GLM-5.2十分之一价格、3倍API额度；国产芯片EPD/SGLang/W8A8推理引擎
后续影响确立线性+稀疏混合注意力 + 原生多模态flash定位为开源前沿方向；社区/内部代号ox-alpha、牛来；无独立arXiv论文
PDF下载 | 官方代码 | 深度解读 | 架构