How Frontier Labs Train Large Language Models (中文版)

目录

• 为什么要读这些技术报告？
• 前沿模型的样子
  • 已经定型的核心
  • 大转变：从稠密到 MoE
  • 各家仍有分歧之处
• 数据：真正的护城河
• 预训练：scaling、精度与稳定性
• 后训练（一）：SFT、冷启动与蒸馏
• 后训练（二）：RL，推理的引擎
• Agentic RL：长程任务中的信用分配
• 灾难性遗忘与持续学习
• 对齐：有用性、安全与诚实
• 评测：度量这场攀登
• 安全与红队
• 收敛的配方
• 开放挑战

为什么要读这些技术报告？

在深度学习时代的大部分时间里，一个前沿模型究竟是怎么训练出来的一直是业界守口如瓶的秘密：系统卡片里的寥寥数语、一个参数量、一张基准测试表格。你可以读遍每一篇论文，却仍然不知道该如何造出一个。这种情况已经改变了。2024-2026 年间发生了一件了不起的事：一家接一家实验室发布了真正的端到端技术报告——不是吊人胃口的预告，而是数据流水线、架构消融实验、优化器、强化学习配方、奖励设计、评测方法以及安全流程。DeepSeek（V3、V3.2、R1）、Qwen3、Kimi K2 和 k1.5、Meta 的 Llama 3、Google 的 Gemma、Microsoft AI 的 MAI-Thinking-1、Zhipu 的 GLM-4.5、Alibaba、Moonshot、Xiaomi 的 MiMo、Tencent 的 Hunyuan、MiniMax、NVIDIA 的 Nemotron，以及完全开源的 OLMo 2 / Tulu 3——以及在 2026 年年中涌现的新一波：DeepSeek-V4、GLM-5 / 5.2、Kimi K3、Qwen3.5、xAI 的 Grok 4.5，以及 Thinking Machines 的 Inkling。它们合在一起，就是一本无心插柳的教科书。

把它们并排来读，最令人惊讶的不是各家实验室有多么不同，而是它们变得多么趋同。剥去品牌的外衣，几乎每一篇报告走的都是同一条路：

论点。到 2026 年，训练一个前沿 LLM 本质上只有一套配方——一条标准流水线，从数据 → 预训练 → 中期训练 → 后训练（先 SFT 后 RL） → 对齐 → 评测 → 安全。区分各家实验室的不再是骨架；而是一小撮设计选择（如何平衡 mixture-of-experts、用哪种 RL 算法变体、信任哪些奖励、是否使用合成数据、是否蒸馏）以及少数几个在大规模下保持稳定的来之不易的技巧。

本文讲的就是这套配方，逐阶段教学。我们以 Microsoft AI 的 MAI-Thinking-1 报告作为主线，因为它异常坦诚，并且很好地把整件事框定为打造一台“爬山机器”：一个由数据流水线、训练基础设施、RL 环境、评测套件和安全测试构成的一体化系统，它把模型研发变成一个经验性的优化循环。在每个阶段，我们都问同一个问题——MAI 是怎么做的，其他家又是怎么做的？——然后让其他报告彼此印证、相互分歧，偶尔自相矛盾。

图 1. 本文遵循的这条反复出现的流水线。数据先经过筛选整理，基座模型先预训练、再中期训练，后训练加入 SFT 和若干次 RL”攀登”，并把它们整合成一个模型，所有这一切都由评测和红队来衡量——其结果又反馈给下一轮迭代。本文中的每一家实验室都在实例化这同一副骨架；它们的差别主要在于旋钮的设置。

关于如何带着怀疑去读这些报告，这里说一句。一篇技术报告同时扮演两个角色。它是一份产品发布公告——所以基准测试表格的选取都是为了好看——同时它又是一份可复现的配方——所以方法部分才是真正信号所在的地方。完全开源的工作（OLMo 2、Tulu 3、Nemotron）会把其他家只能含糊转述的内容如实披露出来，所以每当一篇闭源报告变得含混时，我们就会倚重它们。并且自始至终，请记住一个我们会反复回到的区别：一家实验室声称有用的东西，与它实际做了消融并测量过的东西之间的差别。好的报告大多属于后者。

小结。2024-2026 年的技术报告已经收敛到一套统一的端到端配方；本文逐阶段讲解这套配方，以 MAI-Thinking-1 为主线，以其他实验室作为相互印证的合唱。

前沿模型的样子

在讲流水线之前，先看产物。如果你把 MAI-Thinking-1、DeepSeek-V3、Qwen3、Kimi K2、Llama 3 和 Gemma 3 的配置并排打开，你会惊讶于它们有多么相似。decoder-only Transformer 已经收敛到一个近乎通用的模块，而 2024–2026 年的报告把这个模块当作样板代码——它们的架构章节都花在两件仍然悬而未决的事情上：如何做到稀疏（mixture-of-experts），以及如何让注意力在长上下文下变得廉价。

已经定型的核心

本文中的每一个模型都是 decoder-only Transformer，由同样的五个部件构成，每一个都是在历时数年的比拼中”胜出”的：

• RoPE 负责位置——旋转位置编码刻画的是相对距离，并且能干净地外推，这也是为什么所有模型随后都用 RoPE-base scaling / YaRN 来拉长上下文（Su et al., 2021）。
• GQA 解决 KV-cache 瓶颈——grouped-query attention 只用解码时一小部分的显存，就拿到接近完整注意力的大部分质量（Ainslie et al., 2023）。
• SwiGLU 用于前馈层——一种门控激活，在 FLOPs 固定的情况下白赚一份质量（Shazeer, 2020）。
• RMSNorm 负责归一化——拥有 LayerNorm 的质量却没有其去均值的开销（Zhang & Sennrich, 2019）——如今通常还会搭配 QK-norm（在 query 和 key 上做 RMSNorm）和一个小的 z-loss，一项小规模研究表明，这两个廉价的稳定器能防止会拖垮大规模训练的 attention-logit 与 output-logit 爆炸（Wortsman et al., 2023）。

共识。RoPE + GQA + SwiGLU + RMSNorm + QK-norm 就是现代的 decoder 模块。MAI-Base-1 是它的一个教科书式实例；这里几乎每一个其他基座模型也都是如此。模块层面剩下的旋钮只有norm 的位置（pre-norm，还是 Gemma 和 OLMo 2 的 pre+post / 重排序 norm）以及注意力被稀疏化的激进程度。

大转变：从稠密到 MoE

这个时代真正的架构故事，是从稠密模型迁移到 mixture-of-experts（MoE）：用许多个”专家”FFN 取代单个 FFN，并把每个 token 路由到其中的少数几个，于是总参数量（容量，承载知识）便与激活参数量（每个 token 的计算量）解耦了。大家纷纷照搬的那套设计来自 DeepSeekMoE（Dai et al., 2024）：两个想法，细粒度专家切分（fine-grained expert segmentation）（把 FFN 切成许多个小专家并激活其中更多的——在 FLOPs 固定的情况下带来组合意义上更多的路由选择）和共享专家隔离（shared-expert isolation）（一个始终开启的专家，用来吸收通用知识，好让被路由的专家能够专精）。DeepSeek 的消融实验很值得引用：禁用共享专家会让 loss 飙升，而细粒度模型在你移除其顶部专家时退化得更厉害——这说明专家确实实现了专精。

到 2026 年，这已是默认做法。DeepSeek-V3 用 1 个共享 + 256 个路由（8 个激活）专家；Kimi K2 把它推到总计 1.04T / 激活 32B、横跨 384 个专家；Qwen3 去掉了共享专家；MAI-Thinking-1 把高稀疏度的 MoE 层与稠密 FFN 层交错排列（并发现这种搭配在实际耗时上胜过处处采用中等稀疏度）；Llama 3 则是显眼的稠密派钉子户，明确选择了一个 405B 的稠密模型，”以最大化训练稳定性”。

图 2. 已经收敛的 decoder 模块（左）以及从稠密到 MoE 的前馈层转变（右）：一个 token 被路由到少数几个细粒度专家，外加一个始终开启的共享专家。各家实验室在专家数量、top-k、是否存在共享专家，以及如何交错排列稠密层与 MoE 层上各有不同。

各家仍有分歧之处

有两个维度仍然存在真正的争议，而工程上的努力也正集中在这两处。

注意力效率。GQA 是基线，但前沿则是一大堆缩小 KV cache 或二次方开销的花样：DeepSeek 的 Multi-head Latent Attention（MLA）（DeepSeek-V2）把 KV 压缩成一个低秩潜在表示（缓存比 GQA 更小，质量却更好），后来又用 DeepSeek Sparse Attention 加以扩展，使长上下文注意力变为次二次方（DeepSeek-V3.2）；Gemma 3/4 和 MAI 以 5 局部 : 1 全局 的方式交错排列注意力层，于是每六层里只有一层需要付出长程开销（Gemma 4 沿用了这一点，并加上 Proportional RoPE、全局层共享 KV，以及它的第一个 MoE 变体——Gemma Team, 2026）；MiniMax-M1 走得最远，用 7:1 的 lightning（线性）注意力 混合方案，让 1M token 上下文——以及廉价的 long-CoT RL——变得负担得起；Hunyuan 把 GQA 与跨层注意力结合，节省约 95% 的 KV；gpt-oss 加入了 attention sinks。MAI 甚至在它的全局层上彻底去掉了位置编码（NoPE），发现这样和 RoPE 一样好却更便宜。到 2026 年，这已成了那场竞赛：稀疏/压缩注意力加上 1M token 上下文 如今已是入场门槛——DeepSeek-V4 推出了 Compressed-Sparse + Heavily-Compressed Attention 混合方案，GLM-5 采用了 DeepSeek 的 DSA（GLM-5.2 还加入了”IndexShare”，把 1M 上下文的 FLOPs 削减约 2.9×），它们追逐的都是同一个目标：让长上下文便宜到足以用来训练 RL，而不只是用来推理部署。到 2026 年年中，最大胆的押注——线性/混合注意力——已在前沿走向主流：Kimi K3 用上了 Kimi Delta Attention（KDA），Qwen3.5 用了 Gated DeltaNet 混合方案（以约 17B 激活的速度提供 400B 级的质量），再加上 MiniMax 的 lightning attention——它们都在用一点点质量换取近乎线性的长上下文开销。稀疏度也走向了极致：Kimi K3 只激活 896 个专家中的 16 个，并用 Quantile Balancing（按 router-score 分位数分配，不用 aux-loss 启发式）来做均衡，号称有约 2.5× 于 K2 的 scaling 效率。

MoE 负载均衡。被路由的专家必须保持均衡，否则训练就会崩溃、GPU 闲置。同一个问题经历了三个时代：最初的辅助损失（auxiliary-loss）（在目标函数里加一个均衡惩罚项——GShard）；DeepSeek 的无辅助损失（auxiliary-loss-free）方案（把均衡移出梯度，变成每个专家的路由偏置，质量更好、专精程度也更高，Wang et al., 2024）；以及 Qwen 的全局批次聚合（global-batch aggregation）洞见——没人注意到的那个 bug，就是按 micro-batch 来计算均衡损失，这会悄悄毁掉专家的专精（Qiu et al., 2025）。

分歧——在什么范围上做均衡，比怎么均衡更重要。MAI 用的是 GShard 式的损失，但在全局批次上聚合专家的使用频率，并直接给出了结论：”聚合策略远比负载均衡损失的类型更重要。”所以现代的答案与其说关乎损失还是偏置，不如说关乎是否在一个足够多样的 token 群体上做均衡。

最后还有一个值得知道、因为它反复出现的技巧：多 token 预测（multi-token prediction，MTP），即训练模型去预测接下来的若干个 token。DeepSeek-V3 引入它，为的是更密集的训练信号以及白送的约 1.8× 投机解码加速；MiMo 和 Nemotron 也采用了它。最亮眼的优化器故事——Muon 以及 Kimi 的 MuonClip——则属于下一节。

表 1. 架构已经收敛了约 80%；剩下的旋钮是 MoE 的形态与注意力效率，而这恰恰是每家实验室倾注其聪明才智的地方。

小结。模块已经定型（RoPE/GQA/SwiGLU/RMSNorm/QK-norm）；架构上仍在进行的博弈是 mixture-of-experts 的形态 与 廉价的长上下文注意力，在这里有少数几种各不相同的押注（MLA、局部/全局、linear/lightning、sparse）共存。

数据：真正的护城河

如果说架构已经有约 80% 被商品化，那么数据才是模型真正拉开差距的地方——而且并非巧合，这也是每家实验室守口最严的阶段。封闭的报告只给你一个 token 数和一句话（“公开与授权数据的多样化混合”）；而完全开放的配方（OLMo 2、Tulu 3、Nemotron）则把整条漏斗都摊开给你看。把它们拼在一起，这条流程出奇地一致：原始爬取数据先经过过滤和去重、规模缩小一个数量级以上，再用一套量化配方重新混合。

图 3. 这条数据漏斗以 MAI-Thinking-1 公开的数字作为具体示例：约 1.2T 爬取页面经过政策与质量过滤，再用多种方式去重，最后重新混合成约 30T 训练 token。每家实验室都在跑某个版本的它；真正的分歧在于各项占比，以及合成数据策略。

抽取被严重低估。 实验室最想要的内容——数学、代码、表格——恰恰是朴素的 HTML 转文本流程最容易弄坏的部分。所以好的报告都会描述定制化的抽取器：MAI 把 MathML 和 LaTeX 归一化为 Markdown，并使用一个只能保留或删除文本片段（绝不添加合成文本）的 LLM；Llama 3 构建了一个自定义解析器，能保留代码/数学结构，甚至会为公式保留图片的 alt 文本；MiMo 和 Llama 都指出，通用过滤器会错误地丢弃富含数学/代码的页面。这种投入的回报体现在那些专门构建的语料上——代码用 StarCoder2 / The Stack v2，数学用 Nemotron-CC-Math——在这些语料里，精心抽取本身就是绝大部分价值所在。

去重是多阶段的，而且是承重环节。 各份报告收敛到了同一套组合：去除样板内容、精确（哈希）去重、MinHash-LSH 模糊去重（相似度约 0.8）、模板化页面的骨架化，以及越来越多地采用沿袭 SemDeDup 和 D4 思路的嵌入/语义去重——它们表明，你可以丢掉约一半的网页数据而不损失质量，而且聪明的重复胜过随机的新鲜 token。MAI 把这些全都跑了一遍，外加一套跨数据集的丢弃次序，以保证同一篇文档不会在不同来源间被重复计入；它明确报告了这条漏斗（1.2T 页面 → 过滤后 794B → 精确去重后 423B → 模糊去重后约 190B）。

过滤与分类把一堆杂乱数据变成可控的语料。 实验室用廉价的分类器给每篇文档打分——用 fastText 和嵌入模型来判断语言、主题、教育价值/层次以及质量——于是语料就变成了一组带标签、可供混合的桶。Essential AI 的 Essential-Web 把这一思路推到了逻辑极致：用一个蒸馏出来的分类法分类器把整个网络标注一遍，之后想要整理任何一个领域，只需用类似 SQL 的过滤查询，而不必每次都训练一个新分类器——这正是 MAI“把语料组织成可解释维度”的理念。

数据混合已经成为一门量化学科。 领域配比（网页、代码、数学、多语种各占多少）极大地决定了能力，而实验室已经不再靠手工设定它了。Data Mixing Laws（Ye et al., 2024）表明，验证 loss 是混合比例的一个可预测函数——先在小规模的“群跑（swarm）”实验上拟合它，再去优化；RegMix 和 OLMix 把这套做法工程化落地（OLMix 还为不断演化的领域集合加入了复用机制）。MAI 在 3 个规模上、跨 61 种混合配比训练了 183 个模型，以刻画其 Pareto 前沿；Llama 3 通过 scaling-law 实验选定了大致 50% 通用 / 25% 数学与推理 / 17% 代码 / 8% 多语种的配比；MiMo 则刻意采用了一套三阶段混合，把数学+代码的占比一路拉升到约 70%。

开放问题——小规模排名可能会骗人。 廉价的混合搜索背后有一个诱人的假设：排名不变性——如果配比 A 在小规模上胜过配比 B，那么它在大规模上也会胜出。MAI 报告说这个假设被打破了——一个偏代码的混合和一个偏 STEM 的混合，在 5B 与 23B 模型之间交换了名次。也许混合配比需要按它们的scaling 行为来选择，而不是靠一次小规模的对比测试。

整篇文章里最尖锐的分歧就在这里：

分歧——合成数据 vs 人类数据。 MAI 采取了反主流的强硬立场：预训练中不使用任何 LM 生成的合成数据，并主动地去检测并移除爬取数据中的 AI 生成内容（这是一种押注：干净的人类数据可以避开模型崩溃 / 同质化的陷阱）。但相反的一极同样随处可见：Hunyuan-Large 在约 1.5T 合成 token 上训练，这些 token 来自一条四步走的“生成—演化—过滤”流水线；Persona Hub 用十亿量级的 persona 来扩展合成数据的多样性；Qwen 和 Nemotron 则倚重合成改写与蒸馏。MiniMax 取了个折中（和 MAI 一样，在预训练中回避合成数据）。这个问题确实尚无定论，也是最能干净利落地标记出“实验室之间存在分歧”的一刻。

还有一个值得一提的新数据前沿：真实的 agent 轨迹。xAI 的 Grok 4.5（2026 年 7 月）在 mid-training 阶段用上了匿名化的 Cursor 开发者会话轨迹——工程师在真实代码库里浏览、编辑的真实按键记录——以此打磨编码与 agentic 行为，Artificial Analysis 将其在 agentic 工具使用上排到第 1。这是”算力 + 轨迹”范式最清晰的一例：一旦算力扩上去了，稀缺的输入就变成了对目标行为的录制。（它也带来了尚未解决的数据权属问题——谁的代码、经谁同意。）

最后，去污染（decontamination）——把评测基准挡在训练数据之外——是潜伏在这一切之下的一场静默危机。随着基准泄漏到 GitHub 和各类爬取数据里，污染会产出好看却虚假的数字。实验室对此的处理还比较粗糙：MAI 移除所有 huggingface 镜像，并普遍施加 20-gram 模糊去重，而且——这也是大家正在收敛到的做法——依赖那些他们有信心不会出现在网上的私有、留出（held-out）基准。我们会在评估一节再回到这个话题。

小结。 数据是分享得最少、却杠杆最高的阶段：一条已经收敛的漏斗（抽取 → 去重 → 分类 → 混合）之上，压着两个悬而未决的问题——该有多信任合成数据，以及你的评测集是否早已泄漏进了训练数据。

预训练：scaling、精度与稳定性

有了数据之后，预训练如今已是一门工程学科，围绕三个问题展开：模型多大、训练多久（scaling），用什么数值格式（精度），以及如何让一次长达数月的训练不至于发散（稳定性）。再加上一个两年前几乎还不存在的第四阶段：mid-training。

Scaling：从 Chinchilla 到刻意的过度训练。 2020 年的 Kaplan laws 指出，loss 是参数量、数据量与算力的一个平滑幂律，并建议把预算的大头花在参数上——那是 Gopher 和 PaLM 的时代。Chinchilla 纠正了这一点：在固定的训练预算下，应当让参数量和 token 量一起扩展，大约每个参数配 20 个 token。但 20 TPP 是训练算力最优，而非部署最优——一旦你把一个模型摊销到数十亿次推理 token 上，正确的做法就是用一个远超 20 TPP 训练的更小模型。于是整个领域开始刻意地过度训练：Llama-3-8B 见过约 15T token（约 1900 TPP）；MAI 把它的主力模型训练在 500–1000 TPP，以得到一个紧凑、推理便宜的结果，同时在接近 Chinchilla 最优的区域里做架构消融。MAI 把这套方法论很好地形式化了：一是scaling ladder（scaling 阶梯）（让一个模型家族在每个激活参数对应固定 token 数下训练），二是 Efficiency-Gain（效率增益）指标（基线要追平某个候选方案还需要多少额外算力）——这样每一处改动都由它的 scaling 曲线来证明其价值，而不是靠单个数据点。

图 4. Chinchilla 主张让参数量与 token 量一起扩展（约每参数 20 个 token），以最便宜的路径达到某个 loss；而推理的经济账则推动实验室选一个更小的模型，并把它一路向右过度训练。实验室在接近算力最优处做消融，但发布的是深处过度训练区间的模型。

共识——为推理而过度训练。 没人再去做算力最优训练了。背后的共同逻辑是：训练只付一次钱，推理却要永远付钱，所以用额外的训练 token 去换一个更小、更便宜的模型。这件事的开放前沿是数据墙——在极端的 TPP 下，你会耗尽独一无二的高质量 token，这又绕回到了合成数据之争。

在小模型上消融、在大模型上落地——以及你怎么知道它能迁移。 你没法靠训练 1T 模型来 A/B 测试一个 1T 模型；单次训练就要花掉数百万美元。所以每一个架构、数据和超参数决策都是在小的代理模型上做出、再外推的——而真正的功夫，在于让这种外推变得可信。三件互补的工具挑起了大梁：

• Scaling ladder + Efficiency-Gain。 训练一族规模/算力递增的模型（一个 IsoFLOP 或恒定 TPP 的阶梯），拟合 loss-对-算力曲线，再读出目标点。MAI 的做法就是范式：一个改动只有在其 Efficiency-Gain 沿整条阶梯持续或增大时才被采纳——那种在 1B 上有用、到 30B 就消失的，会被当作小规模假象而否掉。Llama 3 把这一点推到极致，拟合下游准确率的 scaling law，把基准分数预测到约 4 个数量级之外，再据此选定 405B/16.5T。
• 用 μP / μTransfer 迁移超参数。 对于”我怎么在不做 1T 扫参的情况下选 1T 的学习率”这个问题，干净的答案是：对模型做重参数化（maximal-update parameterization，Yang et al., 2022），使最优学习率和初始化对宽度（近乎）不变——在小模型上调好，再零样本迁移到大模型。Muon”匹配 AdamW 更新 RMS”的技巧也是同一种让超参数对规模稳定的精神。
• 小规模不稳定性代理。 你可以通过在小规模上把学习率拉大来复现大规模训练的故障（loss / 注意力 logit 尖峰，Wortsman et al., 2023）；QK-norm 和 z-loss 正是这样在有人为大规模训练买单之前就赢得了自己的位置。

洞见——scaling law 是在降风险，而不是在给保证。 令人不安的真相是：迁移会失效。rank 不变性假设（如果 A 在小规模胜过 B，那 A 在大规模也胜过 B）失效得足够频繁，以至于很危险——MAI 就报告过一个 code-heavy 与 STEM-heavy 的配比在 5B 与 23B 之间直接换了顺序——而且有些能力和不稳定性只在规模上涌现。所以对”证明它在 1T 上能 work”这个问题，诚实的面试答案是：你并不去证明，你去降风险。 用整条阶梯上的趋势（而不是某一个点）来判断改动；用 μP 迁移超参；在投入之前于负担得起的最大中间规模上验证；把最难迁移的决策（数据配比、最终 LR schedule）尽量在贴近目标规模处验证；并偏好那些有机制性理由能迁移的改动。最后跳到 1T 那一步永远都带点赌的成分——功夫就在于把这一跳缩到最小。

精度：BF16 → FP8 → FP4。 训练精度一路向下行进，从 FP16 混合精度的时代（Micikevicius et al., 2017），经过 BF16（Zamirai et al., 2020），来到今天的前沿。最显眼的一次效率冲击，是 DeepSeek-V3 用 FP8 训练了一个 671B 模型——使用 FP8 formats（前向 E4M3、反向 E5M2），配合细粒度的 tile/block 级缩放来驯服离群值——总成本约 $5.6M，相对 BF16 的 loss 误差不到 0.25%（这还得益于 stochastic rounding 之类的技巧）。NVIDIA 的 Nemotron 3 更进一步推到了 NVFP4（4-bit），通过逐层的精度规则（让网络最后约 15% 保持高精度）做到了在 25T token 上保持稳定；gpt-oss 则发布了 MXFP4 MoE 权重，让一个 120B 模型能塞进单张 GPU。MAI 同样用 FP8 训练。那些坚守者也很有启发：Llama 3 出于稳健性留在了 BF16——这是一个反复出现的“稳定性优先于效率”的主题。

分歧——优化器的垄断正在裂开（而 Muon 正在胜出）。 十年来，AdamW 一直是唯一的答案。如今 Muon（Liu et al., 2025）——它通过一次 Newton–Schulz 迭代把动量更新正交化，并匹配 AdamW 的更新 RMS——号称有约 2× 的算力效率，而各家旗舰都在切换：GLM-4.5/GLM-5 用 Muon，Kimi K2 用 MuonClip（Muon 加上一个 QK-Clip，它会重新缩放 query/key 投影以给注意力 logits 封顶；一次 15.5T token、万亿参数的训练做到了零 loss 尖峰），而到了 2026 年，连 DeepSeek-V4（2026）——一家长期使用 AdamW 的实验室——也采用了 Muon，“以获得更快的收敛和更好的训练稳定性”。到 2026 年年中，Kimi K3 更进一步，用上了 Per-Head Muon（对每个注意力头独立做正交化）。AdamW 仍在训练 MAI、Qwen 和 Llama，但这股“动量”（一语双关）显然站在 Muon 一边——这是多年来最具影响力的优化器转变。

稳定性本身就是一个研究领域。 一次动用上千张 GPU、长达数月的训练，可能会死于 loss 尖峰、发散的 logits，甚至是硬件比特翻转。那些廉价而近乎通用的修法——QK-norm 和 z-loss——来自那项小规模代理研究（Wortsman et al., 2023），而完全开放的 OLMo 2 报告则是其余各种技巧的最佳公开清单：一个用于剔除诱发尖峰数据的重复 n-gram 文档过滤器、std-0.02 的初始化、把 AdamW 的 ε 降到 1e-8、重排（pre+post）的 norm、对 embedding 不施加权重衰减——每一项都带有一个对其“尖峰分数（spike score）”的实测下降。MAI 的基础设施层还加入了确定性和静默数据损坏（silent-data-corruption）的处理。这些东西，在一份封闭的 system card 里是看不到的。

Mid-training 是新出现的阶段。 在原始的预训练和后训练之间，实验室如今插入了一个 mid-training 阶段：在高质量（往往是退火过的）数据上，给 STEM/数学/代码加权，并把上下文扩展到 128K–256K。这并不是装点门面：OctoThinker 表明，mid-training 决定了一个 base model 是否具备做 RL 的条件——同一套 RL 配方能让 Qwen 一飞冲天、却让 Llama 停滞不前，而推理密集的 mid-training 能弥合这道鸿沟。MAI 专门跑了一个显式的 mid-training 阶段（给 STEM 加权，把上下文扩到 256K），目的正是“为推理 RL 打下坚实的基础”；DeepSeek、Qwen 和 MiMo 也各有各的版本（MiMo 的三阶段混合、Llama 高质量的“退火”尾段）。

小结。 预训练如今就是工程：用 ladder 加 EG 的方式做 scaling、刻意地过度训练，采用 FP8/FP4 精度，配一套小巧的稳定性工具箱（QK-norm、z-loss、谨慎的初始化），再加上一个悄悄决定了 RL 上限的 mid-training 阶段——与此同时，AdamW 对 Muon 的优化器之争又重新打开了。

后训练（一）：SFT、冷启动与蒸馏

预训练和中训练给你一个具备广泛能力的基础模型，但它完全不知道该如何行事——如何遵循指令、在回答之前进行推理，或者使用工具。后训练修复了这一点，它已经固定为一种两幕式结构：一个设定起点的监督阶段，然后是负责爬坡的强化学习（下一节）。本节讲的是起点，整个流程中最深层的理念分歧就发生在这里。

SFT 究竟是做什么用的。 人们很容易认为能力来自监督微调（SFT）。但在现代配方中，它主要是一道就绪门槛：教会模型聊天/工具的格式，并为它注入足够的能力，使其能产出一些好的 rollout，从而让 RL 有信号可以放大。做过头会僵化策略、扼杀 RL 所需的探索；做得不够则 RL 无处发力。指令数据本身也越来越多是合成的——其脉络从 WizardLM’s Evol-Instruct（让一个 LLM 把种子指令改写得更难、更多样）一路延伸到角色驱动的生成与约束分类体系。

“冷启动”与纯 RL 的意外。 这个时代最有影响力的后训练成果是 DeepSeek-R1（DeepSeek-AI, 2025）。它的 R1-Zero 变体把 GRPO 直接用在基础模型上，完全没有 SFT，仅靠基于规则的可验证信号给予奖励——推理能力却涌现了：AIME 准确率从 15.6% 攀升到 77.9%，回复长度自行增长，模型还自发地发展出自我检查（著名的”aha moment”，即”wait”一词的频率骤增）。代价是可读性和语言混杂问题，完整版 R1 通过在 RL 之前加入一小段冷启动 SFT（几千条精选的长 CoT 样例）来修复。这个模板——可选的冷启动 → RL → 拒绝采样 → RL——如今已成为标准（Qwen3、Kimi、MiMo、Magistral、MAI 都各自跑了一个版本）。

自我改进是大规模制造 SFT 数据的方法。 当你能验证答案时，就不需要人类来撰写推理轨迹了——模型自己写，你只保留其中好的。这是同一个想法的三种外衣：STaR（Zelikman et al., 2022）筛选自己生成的、正确的推理依据；LMSI（Huang et al., 2022）在没有标签的情况下按自洽性筛选；ReST-EM（Singh et al., 2023）则表明”生成→筛选→SFT”这个循环就是期望最大化（EM），并且只要你能检查正确性，它就胜过在人类数据上训练。Llama 3 的拒绝采样和 Tulu 3 的流水线都是其直系后裔，相关的自我纠正引擎（Self-Refine、Chain-of-Verification）也在喂养同一个循环。

自蒸馏作为存档点。 一个更新颖、更微妙的用途是让长达上千步的 RL 训练保持存活。MAI 大量依赖自蒸馏：定期用 RL 训练自身的 rollout 对一个全新的 checkpoint 做 SFT，然后恢复 RL。他们用它来从原始 prompt 过渡到聊天格式、用它从崩溃中恢复（从崩溃前的 checkpoint 恢复之所以失败，是因为不稳定性早已固化进了权重里），以及用它把已有进展迁移到新的基础模型上。他们的消融实验很值得引用——约 100 万条轨迹就足够，错误答案的轨迹与正确答案的轨迹效果大致相当，而来自一系列后期 checkpoint 的轨迹胜过仅来自单一最终策略的轨迹。该技术在 on-policy self-distillation 中有一个干净的形式化表述（Zhao et al., 2026）。

这一切为什么有效——为什么同一套 RL 对一个基础模型有用、对另一个却无效？因为 RL 主要是放大基础模型已经具备的行为。这项”认知行为”研究（Gandhi et al., 2025）表明，验证、回溯、设定子目标和反向链式推理在 Qwen 中存在，而在 Llama 中基本缺失；并且用这些行为给 Llama 做预热（哪怕是通过错误但结构良好的轨迹），就能让它变得可用 RL 训练。这正是中训练和冷启动之所以重要的深层原因：它们安装了 RL 将要打磨的那些行为。

分歧——继承 vs 学习。 2025 年的主流做法是蒸馏：把 R1 的 80 万条长 CoT 轨迹 SFT 进小的 Qwen 和 Llama 模型，在同等规模下胜过从零开始的大规模 RL——所以 DeepSeek 甚至把 R1 反向蒸馏回 V3 自己的 SFT 数据，而大多数实验室也都会在某处从一个强推理器进行蒸馏。MAI 则把相反的立场当作立身原则：“能力应当被学习，而非被继承”，拒绝从第三方模型蒸馏，因为（他们论证）模仿来的智能缺乏长程爬坡所需的可操控性与鲁棒性。这是该领域最干净的理念分叉：蒸馏更便宜，而且按美元算往往效果更好，但只有 RL 才能探索到任何教师之外的地方。

蒸馏的三种方式——以及 MOPD 的崛起

既然蒸馏如今已是承重技术（而且 2026 年的报告用的是很不一样的几种），就值得把常被混为一谈的三种口味区分开来：

• 离策略（经典）蒸馏。 学生在教师产出的一个固定集合上训练——要么是教师采样出的补全（序列级 SFT），要么是它在教师/真值序列上的逐 token logits。简单又便宜,小模型的推理能力就是这么来的：把 DeepSeek-R1 的 80 万条长 CoT 轨迹 SFT 进小 Qwen/Llama，或者 Gemma 4 去匹配一个更大的 Gemini 教师的 logit 分布（Gemma Team, 2026）。弱点是曝光偏差——学生只见过教师的轨迹、从没见过自己的，于是推理时误差会累积（前向 KL、mode-covering）。
• 在策略蒸馏（OPD）。 学生生成自己的 rollout，教师对这些学生走过的前缀给出稠密的 token 级监督（反向 KL、mode-seeking）。这是 DAgger 式的模仿学习——在你真正会走到的状态上训练，把累积误差从 O(T²) 降到 O(T)——从而弥合了离策略 KD 的训练/推理鸿沟。这个想法可追溯到 GKD（Agarwal et al., 2023）和 MiniLLM（Gu et al., 2023），在 2025 年底被重新包装成一套干净的配方，到 2026 年已是标准原语（已经有综述了）。
• 自蒸馏。 教师和学生是同一血脉——模型自身的一个特权、更早或更强的检查点。MAI 的”存档点”自蒸馏（见上）是一种；Nemotron-Cascade 2（NVIDIA, 2026）则用模型自己的中间检查点当教师，在一条长 RL 级联中修补退化。

2026 年的整合范式——MOPD。 蒸馏领域最重要的进展就是 Multi-Teacher On-Policy Distillation（多教师在策略蒸馏）：分别训练若干独立的、按领域划分的 RL 专家（数学、代码、agentic、指令遵循、闲聊），再把它们融合成一个通才——在学生自己的 rollout 上蒸馏所有教师，每个教师在它自己领域的 prompt 上给出稠密的 token 级反向 KL 信号，外加一个可验证的结果奖励。它让研发解耦（各团队并行构建领域教师，互不干扰），并能继承几乎全部的每个教师的峰值能力：MiMo-V2-Flash 在 Qwen3-30B-A3B 上报告 0.937，而最好的 merge/Mix-RL 基线为 0.882（Xiaomi, 2026；MOPD, 2026）。

横向看各家，”专家 → OPD 融合”的形态无处不在——但旋钮各不相同：

2026 年的模型怎么做蒸馏。占主导的新形态是”把领域专家分开训练，再在学生自己的 rollout 上用在策略蒸馏融合成一个模型”。

有两条反复出现、值得背下来的设计规则：

• 同源教师。 当教师与学生共享 tokenizer/词表和初始化家族时，OPD 才稳定。换上一个更强的外部教师（比如 Qwen3-235B），学生的逐 token KL 会跳升约 5×（0.04 → 0.19），熵向单一模式收缩、准确率下降，而激进的 top-k 形式甚至会直接发散（约第 18 步）。从你自己的家族蒸馏，而不是排行榜上最强的那个。
• 损失形式是一场 support-overlap 的权衡。 全词表反向 KL 最忠实，但你得每个 token搬运一个约 10 万维的分布（DeepSeek 靠缓存隐状态来付这笔账）；采样 token / top-k 更便宜，而且——据 Nemotron——在 agentic 任务上还能更好，因为当学生的前缀落到教师可靠支撑之外时，宽泛的分布匹配会放大噪声。

洞见——蒸馏正在吞掉”整合”这一步。 两年前你靠把所有 RL 数据混在一起、然后祈祷（Mix-RL）来合并能力；2026 年的默认做法是把专家分开训练，再用 OPD 融合。它更模块化、更稳定，而且——因为奖励是一个分布散度而非标量——明显更难被 reward hacking。但那个隐患（也是 MAI 的反对意见）依然成立：学生只能被拉向已经存在的教师，所以 OPD 把”继承”工业化了——只有 RL 仍能探索到每一个教师之外。

小结。 SFT/冷启动设定起点并安装好 RL 就绪的行为；验证把模型变成它自己的数据工厂（STaR/ReST-EM/自蒸馏）；而蒸馏——离策略、在策略或自蒸馏——是 2026 年各家把众多专家整合成一个模型的方式，MOPD 如今是默认。开放问题仍是继承 vs 学习——OPD 把继承工业化了，但只有 RL 能探索到每个教师之外。

后训练（二）：RL，推理的引擎

这是现代配方的核心，也是 2024–2026 年间变化最大的部分。监督学习只能模仿其数据集中的轨迹；强化学习则让模型生成自己的尝试并由奖励来打分，正是这一点让长程推理和工具使用变得可训练。值得注意的是，这个阶段已经变得如此标准化——同时又如此脆弱。

从 PPO 到 GRPO

经典的 RLHF 使用 PPO（Schulman et al., 2017），其裁剪式代理目标至今仍是一切方法所继承的基底：最大化以奖励加权的概率比，但把这个比值裁剪到一个信赖域内，使得单次更新不会移动太远。PPO 需要一个价值模型（第二个与策略同等规模的网络）来估计优势的基线——代价高昂，而且当奖励只在一长串思维链的末尾才到来时会很别扭。

GRPO（Shao et al., 2024，DeepSeekMath）是定义了这个时代的一步：删除价值模型，转而从对同一个 prompt 采样得到的一组答案中估计基线。对于一个 prompt \(q\)，采样 \(G\) 个回复，用奖励 \(R_i\) 给每个打分，并赋予回复 \(i\) 的每个 token 一个组相对优势 \(\hat A_i = (R_i - \text{mean}(R_{1..G})) / \text{std}(R_{1..G})\)。就是这样——一个蒙特卡洛基线，没有 critic，并且完美契合廉价的可验证奖励。GRPO（或它的近亲）如今是 DeepSeek-R1、Qwen3、MiMo、GLM-4.5、Magistral、Nemotron 和 MAI-Thinking-1 的 RL 主干。

图 5. PPO 的裁剪式代理目标是基底；GRPO 抛弃价值模型，改用组相对基线；随后一波修补（clip-higher、token-level loss、移除 KL、自适应熵 / 外层裁剪、CISPO）让它在长 CoT 和 off-policy 训练中保持稳定。算法本身很少是贡献所在——稳定化才是。

共识（截至 2025）——算法是大路货，稳定化才是真功夫。 几乎每个实验室都采用了一个 GRPO 家族的、无 critic 的、组相对的、token 级别的目标，配以可验证奖励。DeepSeek-R1 自己的论点说得很直白：推理的关键是”困难的问题、一个可靠的验证器，以及充足的算力”——而不是一个巧妙的损失函数。（正如我们将看到的，长程 agentic RL 正在让这一点变得复杂——其中包括 critic 的部分回归。）

朴素 GRPO 很脆弱：修补浪潮

复现 R1 规模的结果时人们发现，朴素的 GRPO 会崩溃，于是涌现出一波修补——它们几乎都围绕着代理目标如何被归一化和裁剪：

• DAPO（Yu et al., 2025）是事实上的”GRPO++”：clip-higher（更宽松的上界裁剪，让低概率的探索性 token 得以生长——从而保留熵）、dynamic sampling（丢弃通过率为 0 或 1 的 prompt，它们的组优势为零）、一个 token-level loss（对所有 token 归一化，而非按样本归一化，消除长度偏差），以及过长奖励整形（overlong-reward shaping）。它还丢弃了 KL 项。
• Magistral（Mistral, 2025）和 MiMo 印证了这套配方：消除 KL、对损失做长度归一化、clip-higher、过滤零优势的组。
• BAPO（Xi et al., 2025）把 clip-higher 推广为一个自适应控制器，用于异步基础设施所造成的 off-policy 情形。
• MiniMax 的 CISPO 裁剪的是重要性采样权重而非 token 更新，因此任何罕见的反思性 token 都不会被丢弃——比 DAPO 快 2 倍。

分歧——保留还是丢弃 KL 项。 一个真实存在的分裂：对长 CoT 推理丢弃到参考模型的 KL（策略应该远离初始化——DAPO、Magistral、MiMo、MiniMax），但对 RLHF 对齐则保留它（保持靠近一个可信模型——Tulu 3，以及 DeepSeek 的对齐阶段）。DeepSeek-V3.2 则以一个无偏的 KL 估计器和在数学领域里非常弱的 KL 来走钢丝。

长程任务的再思考：GSPO 与 critic 的回归

在 2024–2025 年的大部分时间里，上面这个故事（”GRPO + 几个修补”）确实就是故事的全部。但进入 2026 年，随着各实验室从单轮推理推进到长程 agentic RL——能运行数小时、跨越数十次工具调用的 agent——那个共识开始朝两个有趣的方向裂开，而这正是对整幅图景最重要的更新。

方向一——走向序列级（GSPO）。 GRPO 的重要性比是逐 token的，这在 MoE 模型上噪声很大（一个 token 的专家在 rollout 阶段和训练阶段之间可能不同），并迫使人们用前面提到的”router-replay”技巧。Qwen 的 Group Sequence Policy Optimization (GSPO)（Zheng et al., 2025）转而在序列级别（做长度归一化）定义重要性比和裁剪，这样更稳定、与序列级奖励相匹配，而且——值得注意的是——在 MoE 上消除了对路由重放（routing replay）的需求。Qwen 称最新的 Qwen3 模型背后就是 GSPO；它是”保持无 critic，但修正 GRPO 的分析单元”这一思路最干净的答案。

方向二——把 critic 请回来（SAO / PPO）。 更剧烈的反转来自 GLM。由 slime 训练的 GLM 系列（GLM-5, Zhipu, 2026）起步于 GRPO（外加一个修正训练/推理不匹配的”IcePop”），但后来的 GLM-5.2（750B-A40B）在其长程阶段明确地放弃了组相对优化，转向一种基于 critic 的方法。原因很具体，值得内化：当一条非常长的 agent 轨迹被压缩（compacted）成多条子轨迹时，同一个 prompt 的不同 rollout 会产出数量不同、长度差异极大的可训练轨迹——于是 GRPO”比较一组干净的、可比的 rollout”这一假设就崩溃了。一个 critic 估计单条 rollout 的 token 级别优势，并不要求各 rollout 在组内可比，这天然地契合压缩。

GLM-5.2 agentic 攀登背后的具体算法——SAO，即 Single-rollout Asynchronous Optimization（单轨迹异步优化）（Hou et al., 2026）——把这笔交易摆得很明白：用每个 prompt 一条 rollout替代组采样，训练一个真正的价值模型（配以更快的 critic 更新，以及一种冻结注意力的方案——把注意力参数固定住，只训练 MoE 投影），再加上一个严格的双侧 token 级裁剪（DIS）来屏蔽发散的梯度。回报是稳定性：朴素 GRPO 在异步设定下约 160 步就崩溃，而 SAO 能稳定训练约 1000 步，并在 SWE-Bench Verified、BeyondAIME 和 IMOAnswerBench 上胜过 GRPO 家族的基线。在所有人删除价值模型三年之后，价值模型又回来了——为了长程、异步这一情形。随后 GLM-5.2 的整合方式与 DeepSeek-V4 一样：先训练多个领域专家，再通过 on-policy distillation 把它们融合成一个通才（Z.AI 称在 slime 上约两天融合了 1000+ 个专家）。

具体来说，SAO 是叠在 PPO/GRPO 代理目标之上的四步动作：

1. 单轨迹采样。 每个 prompt 只用一条 rollout，而不是一组。在异步 RL 里，一组的速度取决于其中最慢的那条——训练必须等最慢的完成——所以组采样是由延迟驱动的 off-policy，也不适配在线/持续演化的环境。单条 rollout 去掉了这道屏障（作者还认为它泛化得更好）。
2. 把 critic 请回来——但让它负担得起。 丢掉组基线，改用价值模型估计 token 级优势。为了付得起这笔账，SAO 让 critic 的更新频率高于 actor，并在冻结注意力的情况下微调价值模型（只训练它的 MoE/投影参数），于是 critic 比一个完整的第二策略更便宜。
3. 跳过观测的 token 级 GAE。 对于带有交错工具/环境反馈的多轮 agent 轨迹，在动作到动作的边界上计算优势，并跳过那些模型并未生成的观测 token——这样环境文本就不会把噪声注入价值估计。
4. 严格的双侧 token 级裁剪（DIS）。 对 token 比率的两侧都做裁剪以屏蔽发散的梯度——是”IcePop”掩码的一个更简单的近亲，让 off-policy 更新保持有界。

数字（在 Qwen3-30B-A3B 基座上）：SWE-Bench Verified 23.0 → 27.0（GRPO）→ 29.8（SAO）；AIME 2025 80.4 → 84.2 → 97.3；BeyondAIME 53.3 → 54.8 → 74.8——而且关键在于，朴素 GRPO 在约 160 个异步步就崩溃，而 SAO 能稳定到约 1000 步。

开放问题——critic 值不值这笔成本，这套东西能不能推广？ 对 SAO 要从两个维度保持怀疑。（1）成本：它把 GRPO 删掉的东西又请了回来——一个约策略规模的第二价值网络——”冻结注意力、更快 critic”的技巧只是减轻而非消除这笔开销；它的赌注是：长程 agentic RL 对 token 级信用分配的需求，强到足以为此买单。（2）scale 证据：受控消融是在 30B（Qwen3-30B-A3B）上做的，所以那些漂亮的”SAO > GRPO”曲线是小模型结果；唯一的大规模证据是一次 750B 的生产部署（GLM-5.2），而不是一次受控的 750B A/B 实验。这确实是很强的信号——一家前沿实验室把它用上了线——但”在 30B 上消融、在 750B 上部署”本身，正是下一节要讲的那种信仰之跃。社区的接受度还很早：一家实验室的生产使用，加上一篇新论文，对面站着的是一个花了两年才学会爱上无 critic 的领域。

分歧——算法又开始变得任务专用。 干净利落的 2025 年叙事（”GRPO 赢了，算法是大路货”）正在让位于一个 2026 年的叙事：短的、可验证的任务用 GRPO/CISPO；稳定的 MoE RL 用 GSPO；长的、被压缩的、agentic 的轨迹用基于 critic 的 PPO。 GLM-5.2 回归 PPO 是头条，但更深层的要点是轨迹的长度与结构如今驱动着 RL 算法的选择。 注意 DeepSeek-V4（2026）又走了另一条路——保持 GRPO 按领域专家分别训练，再用 on-policy distillation 把这些专家融合起来——而 MiniMax 的 M2（2026）则围绕长而不均的轨迹构建了一整套 agent 原生的 RL 系统（”Forge”）。不再有单一的默认选项。

熵的问题

最重要的单一失败模式就是熵。熵太少，策略会坍缩成一个确定性的、不探索的模型并饱和；熵太多，它会喷出乱码并导致长度失控。Entropy Mechanism 这项研究表明这二者其实是同一个现象：\(\Delta H \propto -\text{Cov}(\log \pi, \text{advantage})\)，而固定的 PPO 裁剪会系统性地移除那些让熵增加的更新 → 单调坍缩，并伴随一个可预测的上限（\(R = -a\,e^{H} + b\)）。各种修补的差别在于你在哪里干预：在裁剪处（DAPO 的 clip-higher；BAPO 的自适应边界；MAI 的自适应熵控制——一个积分控制器，把上界裁剪的放松程度朝着目标熵 \(H^\star=0.3\) 微调），在协方差层面（Clip-Cov / KL-Cov 抑制那些特定的高协方差 token），或者通过一个熵奖励（entropy bonus）——而 Entropy-Mechanism 的作者和 MAI 都报告说，这种做法不如自适应方法。

技巧——把熵当作一个控制回路。 MAI 在这里的贡献是把熵当作恒温器来对待：每一步都测量它，并调整裁剪宽度以命中一个设定点，而不是去调一个固定的奖励项。它还在所有分支上加了一个硬性的外层裁剪（\(r_{max}=50\)），以消除 GRPO 那些有意不裁剪的分支可能造成的灾难性梯度尖峰。

奖励设计：为什么可验证奖励胜出

奖励是 RL 成败的关键所在，而它有三个来源，每一个都可被钻空子：

图 6. 三种奖励来源在广度与鲁棒性之间做权衡。可验证奖励（数学答案检查器、代码单元测试）覆盖面窄，但难以被操纵；奖励模型和 LLM 裁判覆盖开放式任务，但会被钻空子。像安全这样不可妥协的目标是被门控，而不是被平均进去的。

• 可验证奖励——数学答案是否匹配、单元测试是否通过——廉价、低噪声，且在奖励层面难以被操纵。这正是数学和代码主导 RL 的原因，也是 Tulu 3 把 RLVR 形式化的原因（”只有在可验证地正确时，策略才获得奖励”，并伴随一个直白的发现：仅用可验证奖励胜过奖励模型 + 可验证奖励——RM 只是徒增可被钻空子的噪声，Lambert et al., 2024）。DeepSeek-R1 正是出于这个原因刻意避开了神经奖励模型。
• 奖励模型会钻与 prompt 无关的伪特征（长度、markdown、表情符号）的空子；通过反事实增强来训练鲁棒 RM（Liu et al., 2024）会有帮助。
• LLM-as-judge 对开放式任务很方便，但极易被灾难性地愚弄：单个毫无意义的 token（”Solution”、”:”）就能诱使其给出错误的”正确”判定，发生概率高达约 80%，连前沿的裁判模型也不例外（Zhao et al., 2025）。

于是各实验室会组合奖励，而这个组合方式很重要。MAI 使用一个分解式奖励 \(R = R_{task} + w_{lang}R_{lang} - w_{len}R_{len}\)——加入了一个语言一致性奖励（混合语言的 CoT 会破坏训练的稳定性）和一个难度感知的长度惩罚。而对于不可妥协的目标，它采用门控而非平均：无论质量如何，一个不安全的回复都会拿到最低奖励（其动机来自一个发现：87.8% 的不符合策略的回复在奖励模型上仍然得到 ≥3 的分数——平均的话会让质量把安全给”买”回来）。我们将在对齐一节再谈这一点。

难度 ≠ 可训练性

一个微妙却普遍的筛选标准：哪些 prompt 值得拿来训练？不是最难的——而是可学习的那些。对于一个二元结果奖励而言，学习信号就是奖励的方差 \(\hat p(1-\hat p)\)，它在 50% 成功率处取得最大值，并在两个极端处为零：一个策略总是失败或总是解出的 prompt，会在整个组里产生完全相同的奖励，于是组相对优势——以及梯度——恰好为零。

图 7. 只有当一个 prompt 的结果不确定时，它才有教学价值。学习信号是奖励方差 \(p(1-p)\)：”太难”和”太易”因为同一个原因而失效。各实验室会筛选到一个中间区间。

每个实验室都实现了这一点。MAI 把 prompt 筛选到 [0.1, 0.8] 的通过率区间（并用一个提前退出的预过滤来节省 rollout 成本）；DAPO 的 dynamic sampling 丢弃 {0,1} 的组；MiMo 则保留一个简单数据池，以便在更多问题被攻克后稳定更新。这与 agentic-RL 世界里驱动环境课程的是同一个想法——在配套文章环境扩展中有详尽探讨。

把 token 花在刀刃上，以及 agentic RL

推理模型会”想太多”，于是各实验室加入了难度感知的长度惩罚——按一个 prompt 被解出的难易程度成比例地惩罚长度，让困难的问题可以思考更久（Xiang et al., 2025；MAI 采用的正是这一做法）。Qwen3 把它作为一个“思考预算”暴露给用户。而前沿是 agentic、多轮的 RL：把同样的 GRPO 目标用在一条由模型与环境交替步骤组成的轨迹上，运行在带有可验证奖励（测试通过、数据库达到目标状态）的沙箱容器内。MAI 的”agentic 爬坡”从 102M 个 GitHub PR 出发构建 SWE 环境，过滤到约 4.87M 个带有关联 issue 的 PR，由其按需沙箱内的 fail-to-pass / pass-to-pass 测试来评分；DeepSeek-V3.2 和 Kimi K2 则合成了数以千计的工具环境。这些环境的供给本身就是一个很深的话题——同样见环境扩展文章。

不光鲜但关键的稳定性技巧

最后，是那些上不了摘要、却能让训练收敛的修补：top-p mask replay（在训练时复用采样截断掩码，使训练与推理保持一致——MAI、DeepSeek-V3.2）；MoE router replay（MoE 在推理引擎和训练引擎中会挑选不同的专家，这是一个被烤进架构里的 off-policy 缺口——通过重放路由来修复，Ma et al., 2025；DeepSeek 的”Keep Routing”）；一个 FP32 LM head 用以修正训练/推理的精度不匹配（MiniMax）；异步 RL 的陈旧度（staleness）边界；以及作为数值存档点的自蒸馏（上一节）。大多数实验室都在 verl/HybridFlow 和 OpenRLHF 这类开源 RL 框架之上构建（或将其替换）——MAI 之所以自己写了一个（”Rocket”），正是因为那些框架无法扩展到千卡 GPU 的异步 RL。

表 2. 后训练/RL 配方：高度收敛于一个 GRPO 家族的、可验证奖励的主干，而真正的分歧在于用多少 RL（相对于 DPO）、是否保留 KL，以及如何组合奖励。

分歧——到底用多少 RL？ 并非所有人都属于重 RL 阵营。Llama 3、Gemma 2 和 Hunyuan-Large 刻意依赖 DPO / 拒绝采样 / 蒸馏，把 RL 保持得很轻甚至完全不用（Llama 言明的论点是复杂度管理）。DeepSeek、MAI、MiMo 和 MiniMax 则押注另一边，把算力大量投入 RL（DeepSeek-V3.2 如今在 RL 上的花费已超过预训练成本的 10%，并仍在上升）。这——而不是 GRPO 变体的选择——才是真正影响深远的分叉。

小结。 RL 如今是一台标准化却脆弱的引擎：一个 GRPO 家族的、可验证奖励的、token 级别的目标，而真正的功夫在于奖励设计、熵控制、可训练性筛选，以及一大堆训练/推理一致性的技巧。最大的赌注是在多大程度上依赖 RL，以及如何组合奖励。

Agentic RL：长程任务中的信用分配

上一节的算法大多是在单轮推理上验证的——一个 prompt、一条长 CoT、末尾一个可验证奖励。Agentic 任务打破了这个模式：一个写代码或做研究的智能体会连续跑几十到几百个回合，不断调用工具、对一个随机环境做出反应，而唯一可信的奖励往往只在最末尾出现一次。最近一篇斯坦福综述（Zhang et al., 2026）把这归纳为信用分配（credit assignment, CA）问题的两种截然不同的形态：

• 推理 RL——把信用分摊到单条 CoT（500–30K token）内部的 token/步骤上，环境是确定性的。GRPO 及其修补就是在这里成熟的；靠一个组相对基线，CA 就”够用了”。
• Agentic RL——10–100+ 个回合，每个回合是一次 LLM 调用加一次环境交互，总量达到 100K–1M+ token，还带有随机转移和部分可观测性。此时回合级（episode-level）奖励几乎变得毫无信息量：在某个 SWE-bench 设置里，智能体平均要跑约 64 个回合、消耗约 131K token，而第 3 回合一次错误的工具调用，得到的惩罚与其后几十个正确动作完全一样。

（关于信用分配之外的完整设计空间——环境、工具集成、记忆、多智能体——可参阅更全面的 agentic RL 综述。）

为什么 Agentic RL 是真正不同的。 这篇综述的核心论点是：agentic CA 不是“推理 RL，只是更长而已”。它逼出了一批在单轮 RL 里毫无先例的技术——回合级 MDP 重构、事后（hindsight）/反事实信用，以及特权非对称 critic——并重新打开了那些推理 RL 时代以为已经关上的问题（用不用 critic、密集还是稀疏奖励）。这正是 2026 年后训练最前沿、最鲜活的地方，也是”critic 回归”（上一节的 SAO）最先发生在这里的原因。

信用分配：从一个标量到每回合（乃至每 token）

核心问题是如何把一个末端奖励分摊到一条长轨迹上。这些方法构成了一条从粗到细的清晰谱系：

• 回合/结果级（默认做法）。 像 GRPO 那样，把整条轨迹的标量奖励广播给每一个 token。简单，也是大多数已发布前沿模型仍在用的做法——但在长程下，这是可能最嘈杂的信用信号。
• 回合级、无 critic。 保留 GRPO 的组基线，但按回合计算优势。MT-GRPO（Wei et al., 2025）估计可直接塞进 GRPO 的回合级优势；GiGPO（Feng et al., 2025）加了一个巧妙的锚状态分组（anchor-state grouping）——它在一组轨迹里找出重复出现的环境状态，比较从每个状态出发所采取的动作，从而以与 GRPO 相同的显存和 rollout 成本产出步骤级”微优势”（ALFWorld +12%、WebShop +9%）。树状变体则共享轨迹前缀，让单个结果奖励诱导出逐步的过程信号。
• 回合级、带 critic。 把价值模型请回来，但放在回合粒度上。ArCHer（Zhou et al., 2024）是范式：一个高层 off-policy critic 学一个回合级 Q 函数（”哪个回合重要”），一个低层 on-policy actor 在回合内优化 token（”哪些 token重要”）——比 on-policy 基线的样本效率高约 100×。GLM-5.2 的 SAO（上一节）是它的生产级表亲：一个单 rollout 的 token 级 critic，能在轨迹压实（compaction）下存活，而组相对方法恰恰在这里失效。
• Agentic 独有的新招。 事后重标（把一次失败的运行，按它确实达成了什么重新解释为成功）和特权/非对称 critic（critic 能看到 actor 看不到的状态）——按综述的说法，是 agentic 真正原创的贡献。

共识——算法式 CA 正在胜过学习式步骤奖励。 关于已发布模型，最令人意外的一点是：几乎没人用一个显式的逐步奖励模型。前沿对长程信用的答案是更好的优势估计（回合级分组、锚状态、感知压实的 critic），而不是另训一个网络去给每一步打分。上面那些细粒度方法大多仍停留在研究规模（1.5B–7B）；生产端靠的是结果/可验证奖励加上聪明的基线。

逐步奖励：过程奖励，以及前沿为何对它保持警惕

问题的另一半，是到底如何评估中间步骤。在数学上，这条脉络已经相当成熟：

• 过程奖励模型（PRM）。 “Let’s Verify Step by Step”（Lightman et al., 2023）表明，在数学验证上步骤级的人工标注胜过结果标注；Math-Shepherd（Wang et al., 2023）去掉了人工——用”从某一步出发的蒙特卡洛 rollout 中抵达正确答案的经验比例”来自动标注该步，然后做逐步 PPO。生成式 PRM（带一段理由再打分）是当前的改进方向。
• Agentic PRM。 把这套搬到智能体上意味着给动作打分：AgentPRM（2025）按每一步对目标的”承诺与进展（promise and progress）”给奖励，用 TD + GAE 训练一个充当 critic 的 PRM；SWE-/Code-PRM 则为局部代码编辑加上执行反馈。

但这里有整个领域关于 agentic 奖励最尖锐的一课，而且是一个负面结果：

分歧——前沿大多拒绝了 PRM。 DeepSeek-R1（2025）同时尝试了过程奖励模型和 MCTS，然后把两者都放弃了：神经 PRM 会招来 reward hacking（策略去糊弄打分器），在开放式推理中”一步”本就难以定义，而且 PRM 需要不断地、代价高昂地重新标注；MCTS 的 token 级分支因子又实在太大。他们的结论——用结果/可验证奖励把搜索内化进权重——成了默认。Kimi K2（2025）则为不可验证的 agentic 任务展示了务实的折中：一个基于 rubric 的自我批判（self-critique）奖励（模型对照明确的评分标准给自己打分），并让这个 critic 持续被可验证奖励重新校准。所以前沿的”逐步奖励”，通常是一个带 rubric 的 LLM 裁判——而不是一个训练出来的 PRM。

各家究竟怎么训练智能体

读这些报告会发现，agentic 配方与其说是某个算法，不如说是环境 + rollout 基础设施 + 奖励管道：

• Kimi K2——最以 agentic 为先的开源报告。它自己制造数据：从约 3,000 个真实 MCP 工具出发，演化到 20,000+ 个合成工具，孵化出多样的智能体和按 rubric 评分的任务，模拟多轮轨迹（写代码任务还配真实执行沙盒），只保留能通过 LLM 裁判的轨迹。RL 阶段把 RLVR（测试/数学）与 rubric 自我批判结合起来；基础设施用部分 rollout（partial rollouts）——把一条没跑完的长轨迹暂停、下一轮再续——好让少数几个 100K token 的回合不至于拖垮整个 batch。
• GLM-4.5 → 5.2——在 slime 异步基础设施上做 agentic 优化（工具使用、网页、写代码）；GLM-5.2 为长达数小时的任务加上轨迹压实和 SAO critic，再把专家用 OPD 融合（见前几节）。
• MiMo-V2-Flash——大规模 agentic RL，用 MOPD 整合，并用 MTP 加速 agentic RL 所需的大量 rollout。
• Qwen3——工具集成/agentic RL，用 GSPO（序列级比率更适合多轮 MoE rollout）来稳定。
• DeepSeek——结果奖励的纯粹主义者（见上）；V3.2/V4 扩展了长上下文与 agentic 用法，但仍坚持基于规则/可验证的奖励。
• Grok 4.5——在真实的 Cursor 开发者会话轨迹（见数据一节）上做 mid-training：可以说是信噪比最高的 agentic 数据——真人实际做目标任务的录制。
• Nemotron——通过多环境 RLVR 加 MOPD 整合来做 agentic 推理。

贯穿始终的一点是：环境才是瓶颈——这正是一篇姊妹博客 Environment Scaling for Agentic RL 的全部主题。一旦你能模拟出足够多真实、可验证、可重置的任务，信用分配与奖励设计才是把这些环境转化为能力的东西。

信用分配与逐步奖励工具箱。更细的粒度能换来样本效率，但要付出算力代价、还会招致 reward hacking——这正是为什么已发布的前沿模型都聚集在粗糙而稳健的一端（结果 + 可验证奖励），而只通过优势估计的技巧、而非训练出来的逐步奖励网络来加入细粒度信用。

小结。 Agentic RL 是 2026 年真正的战场：100K–1M token 的长程让单个末端奖励几乎无用，于是各家更多地去打磨信用分配（像 GiGPO 那样的回合级分组、像 ArCHer/SAO 那样感知压实的 critic），而不是去加逐步奖励模型——DeepSeek-R1 公开的复盘已经表明后者易被 reward hacking、也难以定义。实践中，制胜的要素是真实的环境、部分/异步 rollout、可验证或 rubric 奖励，以及在恰当粒度上的优势估计——而环境本身才是真正的瓶颈。

灾难性遗忘与持续学习

本文里的每一个阶段都在覆写它的前一个阶段。mid-training 移动了基座模型，SFT 又移动一次，每一次 RL 爬坡再把它推得更远，而一个不断在新捕获经验上继续训练的智能体，会让它永远地移动下去。风险就是灾难性遗忘（catastrophic forgetting, CF）：教会模型某件新事，会悄无声息地抹掉某件旧事（McCloskey & Cohen, 1989；Kirkpatrick et al., 2017）。这不是边角情况——它是整条流水线的一个核心张力，而 2024–2026 的报告越来越把后训练当作一个持续学习（continual learning）问题来对待：如何建立行为、在学习者自己生成的状态上精炼它，并在阶段切换之间保住它（综述；统一视角）。

它具体会在哪里咬人：

• 持续预训练某个新领域，会侵蚀通用能力。
• SFT / 对齐要交一笔“对齐税（alignment tax）”——安全和指令微调的梯度会与承载通用技能的参数子空间相互干扰，这是一种 CF 式的效应（Sun et al., 2026）。
• 多阶段 / Cascade RL——先数学、再代码、再 agentic 地顺序训练，意味着每个阶段都在侵蚀上一个（这正是 Nemotron-Cascade 用 OPD 来”恢复基准回退”的原因）。
• Agentic 持续学习——也就是你提到的情形：一个不断从新经验中学习的智能体，有拿昨天的能力去换今天的技能之虞。

RL’s Razor：遗忘其实是一个 KL 问题

最近最锋利的一个结果重构了这一切。RL’s Razor（Shenfeld et al., 2025）表明，在新任务准确率相同的前提下，RL 比 SFT 遗忘得更少——而且真正的元凶不是算法，而是在新任务上测得的、微调后模型与基座模型之间的 KL 散度。on-policy RL 会隐式地偏向那个能解出任务的众多解里 KL 最小的那个；而 SFT 可以漂移到任意远。（一个佐证：把 GRPO 的负梯度开关切来切去，遗忘不变；把 on-policy 数据换成 off-policy，遗忘就变了。）这回过头解释了 RL 那一节里”保留 KL 项”的整个阵营：KL 惩罚在机制上就是一个遗忘旋钮——也解释了为什么 on-policy 家族（RL、on-policy 蒸馏）在结构上就比朴素 SFT 更温柔地对待旧技能。

洞见——保持 on-policy，保持靠近。 如果遗忘随”新任务上的 KL”而变，那杠杆就很清楚了：优先用 on-policy 更新、对一个可信参考模型保留一条显式的 KL 牵引绳、并且不要把任何单一阶段推得比新能力所需更远离基座。下面这套工具箱，很大程度上只是限制同一个 KL 的不同方式。

缓解工具箱

五大家族，而前沿报告会把它们组合起来用：

• 回放 / 复习（replay/rehearsal）。 把旧数据混回来。最经典的实例是 InstructGPT 的 PPO-ptx（Ouyang et al., 2022）——把预训练梯度掺进 RLHF 以抵消对齐税；Kimi K2 的 PTX 辅助损失就是这一想法在 2026 旗舰上的翻版。更新的变体则按一个以模型为中心的时钟来安排回放——当权重真正移动了才回放，遵循艾宾浩斯遗忘曲线（MSSR, 2026）。
• 邻近正则化（proximity regularization）。 待在参考模型附近：RLHF 的 KL 惩罚、经典的 EWC（用 Fisher 信息给重要权重加锚，Kirkpatrick et al., 2017），或者更新的正交梯度投影——精确地剔除一次对齐更新中会与通用能力方向相撞的那一部分（Sun et al., 2026）。
• 参数隔离（PEFT）。 冻结基座、只学 adapter（LoRA）；你没法覆写你没训练的东西——代价是容量。
• 模型合并 / souping。 把微调后的模型往基座、或往兄弟检查点方向平均回去：model soups（Wortsman et al., 2022）、task arithmetic（Ilharco et al., 2022），以及 Llama 3 在其 RM/SFT/DPO 各检查点上做的 checkpoint-souping。便宜、事后即可做，而且在买回通用性能上出奇地有效。
• 基于蒸馏的恢复。 与你的问题最相关的一族。自蒸馏（MAI 的”存档点”技巧，见 §SFT），尤其是 on-policy 蒸馏，可以重新唤回微调中丢失的能力：拿一个更早的检查点当固定教师，在 on-policy 下把学生蒸回它——因为它对着一个固定目标始终保持 on-policy，就能收敛到教师的行为，而不会像 SFT 那样回退（Thinking Machines Lab 展示了在文档微调之后用 OPD 几乎完全恢复 IF-eval、且不丢知识；当它卡住时，一个 off-policy 冷启动能修好它，Li et al., 2026）。这也是为什么 MOPD 式的整合同时兼任了遗忘修复：Nemotron-Cascade 从最强的中间教师做 OPD 来撤销 Cascade-RL 的回退，而通用的”专家 → OPD 融合”范式（GLM-5.2、DeepSeek-V4、MiMo-V2）把技能解耦，于是学一个不会砸掉另一个。

抗遗忘工具箱。注意贯穿其中的 RL’s Razor 主线：回放、KL 惩罚、on-policy 蒸馏，都是靠让模型分布贴近它出发的地方来起作用的；合并则是事后再做同一件事。

Agentic 的转折：在记忆里学，而不是在权重里学

你那个具体的担忧——一个智能体在积累经验时会遗忘——催生了一个截然不同的答案：把持续学习从权重里挪出来，放进上下文/记忆里。与其在每一条新经验上微调（并承担 CF 风险），2026 年的智能体系统越来越多地把记忆当作工具让智能体去学着用——存储、检索、摘要、丢弃——而基座权重保持冻结：AgeMem（Yu et al., 2026）就用 step-wise GRPO 专门训练这些操作，而一些神经认知式设计还加了一个整合回路，把高价值轨迹回放、把其余的剪掉。基座模型不再是那个”记住东西”的角色；一块有界的、经过策展的记忆才是。当各家确实要在新经验上更新权重时，他们就退回到上面那套工具箱——回放、一条 KL 牵引绳、OPD 恢复——外加”专家 → 融合”的解耦。（产生这一切经验的环境，正是姊妹博客 Environment Scaling for Agentic RL 的主题。）

各家前沿实验室怎么处理

• OpenAI（InstructGPT）——提出 PPO-ptx 回放来抵消对齐税；这是大家继承下来的范式。
• Kimi K2——PTX 辅助损失 + 温度衰减，在重度 agentic RL 中守住预训练知识。
• MAI——把自蒸馏当存档点：从崩溃中恢复，并把进展迁移到一个新基座上而无需从头再训。
• DeepSeek-R1——在推理导向的 RL 之后，用一个覆盖所有场景的最终 RL 阶段来恢复通用有用性，并刻意把基于模型偏好奖励的阶段调短（1700 步里的最后 400 步）以避免过度漂移和 reward hacking。
• Nemotron-Cascade / -3 Ultra——在整个 Cascade RL 过程中，把从最强中间检查点做的 on-policy 蒸馏当作一个显式的防回退装置。
• GLM-5.2 · DeepSeek-V4 · MiMo-V2——把领域专家分开构建，再 OPD 融合——这是最可扩展的抗遗忘手段，因为技能从一开始就没被纠缠在一起。
• Llama 3——数据混合，再加上跨检查点的模型平均 / souping。
• Qwen3——把思考 / 非思考融进一个模型，让两种模式都不被遗忘。

开放问题——真正的终身学习仍未解决。 这里的每一种技术都只是限制遗忘；没有一个能消除它。目前还没有哪个前沿模型能在生产中、从一条源源不断的新经验流里在线更新自己的权重，而无需一个精心设计的离线回放 / 合并 / 蒸馏循环——这正是 agentic 世界用外部记忆来绕开这个问题的原因。权重空间里的终身学习，仍是那个尚未攻克的前沿。

小结。 灾难性遗忘是每一步后训练都要交的税，而 2026 年的认识凝聚成了一个想法——RL’s Razor：遗忘随新任务上与基座的 KL 而变，所以 on-policy 更新遗忘更少。可行的组合拳是回放（ptx）+ 一条 KL 牵引绳 + 模型合并 + 用蒸馏来恢复（自蒸馏与 on-policy），而最深层的结构性解法是”把专家分开训练，再 OPD 融合“。对智能体而言，务实的出路是在记忆里学、而不是在权重里学——因为真正在线的、权重级的终身学习仍未解决。

对齐：有用性、安全与诚实

对齐曾经只是最后才给模型刷上的一层 RLHF 涂装。在 2026 年的配方里，它本身已经成为一组带有专属奖励栈的 RL“攀登”，与推理 RL 并行运行。如今所有人共享的框架是一种待优化的张力，而非一道待套用的过滤器：模型必须同时做到有用（顺从）和安全（有时拒绝），而技艺就在于两者兼得。MAI 将目标表述为“既有用、又始终符合策略的回复”；OpenAI 则把同一目标描述为从拒绝走向safe completion。

这里的奖励栈是整条流水线中最异质的，因为这些目标（“这条回复有用吗？诚实吗？风格得体吗？”）难以验证。MAI 的有用性与安全性攀登结合了三种信号：在人类偏好上训练的奖励模型（并辅以反奖励作弊的缓解手段）、AI 评判者（快速、由评分量表引导、易于改换目标），以及在任何约束可检验之处使用的可验证奖励（例如“用不超过 10 个词作答”）——之所以特别采用最后一种，是因为可验证信号更难被作弊，并能稳定其余信号。

技巧——对安全做门控，而非取平均。 这里最具可迁移性的一个想法是：有些目标不可妥协，而加权求和会让一条文笔出色的回复把“不安全”赎回来。MAI 采用字典序 / 门控式聚合——一条不符合安全策略的回复，无论其他分数多高，都只得到最低奖励——其动机来自一份触目惊心的审计：87.8% 不符合策略的回复，在奖励模型上仍然拿到 ≥3 分。 取平均本会奖励它们。

Instruction hierarchy。 生产环境的模型必须按权限对指令排序——system > developer > user > 工具输出——这样，网页中被注入的“忽略你的指令”便无法覆盖系统提示（Wallace et al., 2024，它是 OpenAI 的 Model Spec 与 gpt-oss 的 harmony 格式的基础）。MAI 用对抗性的 system/developer/user 冲突显式训练这一能力；它如今已成为安全 SFT/RL 的标准配料。

从拒绝到 safe-completions。 最清晰的对齐演进来自 OpenAI 的转向，记录在 GPT-5 system card 中：从二元的硬拒绝转向以输出为中心的 safe-completions——在服从于安全策略的前提下最大化有用性。这对于双重用途的问题严格更优：对这类问题，高层次的回答没有问题，但操作层面的细节则不行。gpt-oss 进一步加入了 deliberative alignment（模型在推理时对安全策略进行推理）。MAI 的安全攀登带有“有害 vs 边缘”的分类法，并明确对抗过度拒绝，本质上是换了名字的同一套理念。

诚实与校准。 这是一条更微妙、且多数实验室处理不足的对齐维度：模型应当在知道时作答、在不知道时表达不确定——但不能过度含糊以致毫无用处。MAI 的诚实奖励把回复分成五档（自信-正确 → 自信-错误），对自信-正确给予最高奖励，对自信的幻觉给予最重惩罚，对弃答给予中性分数——明确抑制过度含糊。这关联到一个更深层的问题（长程智能体中的校准、弃答与不确定性），它有自己专门的姊妹文章。如今一些实验室把校准当作头等的设计目标：Thinking Machines 开源的 Inkling（975B/41B，原生多模态）就被明确训练成”给出校准过的回答，包括表达不确定性而不是瞎猜”——这标志着知道自己不知道什么正从一个研究课题，升级为一项已经落地的模型属性。

分歧——披露多少。 方法正在趋同，但披露程度并未趋同。OpenAI 的 system cards 是评测/安全方面的参考标杆（Preparedness 类别、红队时长、safe-completions），却几乎不透露任何训练细节；开放配方（OLMo 2、Tulu 3、Magistral）完整披露训练，但安全章节单薄。MAI 居于两者之间，一边借用 OpenAI 的安全话语体系，一边披露多得多的配方细节。

小结。 对齐如今是一个带有自身复合奖励栈的 RL 目标，由有用性↔安全的张力所定义。可迁移的经验是：对不可妥协的目标做门控而非取平均、显式训练 instruction hierarchy、用 safe-completions 取代硬拒绝，并奖励校准过的诚实而非一概含糊其辞。

评测：度量这场攀登

一台“爬山机器”只能攀登它能度量的山，这让评测成为整条流水线中沉默的瓶颈。这些报告揭示了两种不同的评测体制：一种廉价、稳健，用于研发（成千上万个决策）；另一种昂贵、公开，用于发布。

研发阶段，loss 胜过准确率。 MAI 把这一论点表达得最为有力：对于它用来做预训练和数据配比决策的那套约 40 个基准的测试集，它以 NLL（loss），而非准确率来打分。理由是操作层面的，也是决定性的——准确率评测需要昂贵的自回归生成，而且往往还需要一个评判模型；多选题能力只有在大规模时才会“涌现”，因而在早期噪声很大；MATH 需要精确的 \boxed{} 格式，而 MBPP 会在 \n 与 \r\n 之间栽跟头。NLL 与训练所用的目标完全相同，都是教师强制式的下一 token 目标，因此既廉价又富含信号——Signal-and-Noise 框架也呼应了这一结论。完全开放的实验室出于同样的原因构建了专门的研发测试集（Ai2 的 OLMES）。

发布阶段，则是基准动物园。 公开的成绩单已围绕一组耳熟能详的基准标准化：数学（AIME、MATH、HMMT）、科学（GPQA、Humanity’s Last Exam）、代码（LiveCodeBench、SWE-bench 以及更难的 SWE-bench Pro、Terminal-Bench）、知识（MMLU 与 MMLU-Pro）、事实性（SimpleQA、FActScore）、长上下文（RULER、LongBench v2、Michelangelo）、智能体工具使用（τ²-bench、BFCL），以及越来越多的领域测试集，如 HealthBench 和 MedXpertQA。MAI 报告的头条数字（52.8% SWE-Bench Pro、97.0% AIME 2025）也在此列，其他每家实验室亦然——但跨报告的比较应当谨慎看待，因为评测框架（harness）、提示词与工具访问方式各不相同（这也是“微型”精选子集和考虑不确定性的评分方式逐渐流行的原因之一，例如 tinyBenchmarks）。

开放问题——评测才是真正的瓶颈。 随着模型把旧基准刷到饱和，信号转移到了少数几个困难、且易泄漏的测试集上。诚实的实验室越来越依赖私有的留出基准（MAI 自建测试集；这是对抗污染唯一可靠的防线）、对趋于饱和的测试集做经过验证的重新发布（SimpleQA Verified），以及在训练之后才出现的实时评测（MathArena 对新鲜的竞赛进行打分）。你只能攀登你能度量的东西，而这些量尺的磨损速度，比我们造出新量尺的速度还快。

污染才是底下的危机。 如果一个基准已经泄漏进了训练数据，你的数字就是虚构的——MAI 还指出了一个露馅的症状：污染会让一个“编程”数据集神秘地提升毫不相关的冷知识表现。各种对策（20-gram 模糊去重、按代码仓库/时间排除、移除 HuggingFace 镜像）都不完美，这正是私有基准和实时基准正在成为唯一可信标尺的原因。

超越基准。 由于可自动化的指标会漏掉风格、有用性和安全性，实验室还会加入人工并排对比评测（MAI 对此着重报告），并依赖 LLM-as-judge——而正如我们所见，评判者是可被作弊的，因此其自身的可靠性如今也被基准化了（RewardBench、JudgeBench）。

小结。 用廉价、稳健的 NLL 来做成千上万个研发决策；用公开的基准动物园加上人工评测来对外汇报；并把污染当作一等威胁来对待——私有基准和实时基准才是唯一持久的防线。

安全与红队

对齐训练（见上一节）赋予的是安全的能力；本节讲的是实验室如何在发布前度量并压力测试这种能力。这里的范式很大程度上由 OpenAI 的 Preparedness Framework 奠定，如今被各处效仿：定义一小组被追踪的风险类别（GPT-4o：网络、CBRN、说服、模型自主性；GPT-5 与 gpt-oss：生物/化学、网络、AI 自我改进），分配能力等级，并将部署门控在一个经安全委员会审查的、缓解后阈值之上。Google 的 Frontier Safety Framework 与 Anthropic 的 RSP 是同类；MAI 的安全章节借用了同样的脚手架。

红队是持续进行的，而且越来越自动化。 它贯穿整个研发过程，而非到最后才做。MAI 的对抗性提示来自人类红队，外加自动化攻击框架——PyRIT——以及各种越狱方法，如 PAP（说服）、Crescendo（多轮升级）、Tree of Attacks，乃至多语种越狱。OpenAI 以小时数和测试者人数来报告红队工作（GPT-5：5,000+ 小时、400+ 名测试者）。Llama 3 在 LLM 之外还附带了一个真正的防护模型 Llama Guard——把安全作为一个系统，而不只是一个模型。

危险能力评测瞄准灾难性的尾部风险：生物武器能力提升（反复出现的五阶段生物风险分类法）、网络攻击（CyberSecEval、CTF 挑战）、危险知识（WMDP，并搭配遗忘学习 unlearning）、源自法规的风险测试集（AIR-Bench），以及专门的前沿危险能力评测。gpt-oss 还加入了一套专门针对开放权重的方法学：因为任何人都能微调一个已发布的模型，OpenAI 构建了一个经过对抗性微调的“最坏情况”版本（只追求有用的 RL + 能力最大化），并让外部团队确认它仍未越过 High 阈值——这正在成为负责任地发布开放权重模型的范式模板。

推理时代带来了一个新的安全杠杆：CoT monitoring。 由于推理模型以可读的思维链进行思考，你可以监控这段推理是否存在欺骗或不当行为——GPT-5 报告称，借助 CoT 监控，被标记的欺骗率减半了（4.8%→2.1%）。但有一个该领域正在积极担忧的陷阱：如果你针对 CoT 监控器进行训练，模型学到的会是混淆自己的推理，而非真正改正行为（Baker et al., 2025；Guan et al., 2025）。这使得“保持思维链可被监控”成为每一家训练 long-CoT 模型的实验室都要面对的现实设计约束——包括 MAI、DeepSeek、Magistral。

趋势——安全左移。 纵观这些报告，安全不再是一道发布关卡；它被编织进整条流水线：PII/CBRN 数据过滤（预训练）、奖励栈与 instruction hierarchy（后训练）、CoT 监控（推理），以及红队 + preparedness（发布）。

小结。 安全已成为一个贯穿整条流水线的过程，并拥有一套共享词汇（preparedness 类别、自动化红队、危险能力评测），而推理时代又加入了 CoT monitoring——它有用，但前提是我们不去训练模型隐藏自己的想法。

收敛的配方

从各个阶段往后退一步，本文开头的论断依然成立：到 2026 年，存在一套配方，而这些报告都是它的变体。下面用一口气讲完整条流水线——整理并去重“人类 + 合成”数据，并通过 scaling-law 预测来选择配比；在一个按“每参数 token 数”排布的阶梯上、以刻意过训练的方式、用 FP8 预训练一个 RoPE/GQA/SwiGLU/RMSNorm 的 MoE；在推理密集的数据上做 mid-training 并扩展上下文；用 SFT/冷启动来植入行为与格式；运行 GRPO 系的 RL，配以可验证奖励、熵控制和可训练性筛选；用门控的奖励栈和 instruction hierarchy 来做对齐；以廉价的 NLL 加上防污染的基准动物园来度量；并对照一套 preparedness framework 进行红队。 一旦你把这句话内化于心，下表中的每一份报告读起来都像是在做填空题。

表 3. 一套配方，多种填法。横向逐列读下来，共识（MoE + 现代解码器块 + SFT→RL + 可验证奖励）一目了然——为数不多的几处真正的押注也同样清晰（稠密 vs MoE、AdamW vs Muon、GRPO vs GSPO vs SAO/PPO、重 RL vs DPO、合成 vs 人类）。2026 年年中的这一波（DeepSeek-V4、GLM-5.2、Kimi K3、Inkling、Grok 4.5、Qwen3.5）把前沿推向 1M 上下文、线性/混合注意力、Muon 和长程智能体 RL——而且据 Artificial Analysis 的 Intelligence Index，如今已有六家实验室各自拥有一个前沿级模型，而 6 月初还只有两家。

大家一致认同的部分（八点共识）：现代解码器块；细粒度 + 共享专家的 MoE，并在全局批次上做负载均衡；重度去重 + scaling-law 数据配比 + 一段 mid-training 收尾；刻意过训练；SFT/冷启动 → RL；带熵控制和可训练性筛选的 GRPO 系可验证奖励 RL；在某处包含蒸馏的多阶段后训练；以及安全奖励栈 + preparedness/红队流程。

真正的押注所在（值得争论的分歧）：合成 vs 人类数据；继承（蒸馏） vs 习得（RL）；AdamW vs Muon（截至 2026 年，Muon 正决定性地胜出——Kimi、GLM，如今还有 DeepSeek-V4）；aux-loss vs aux-loss-free vs 全局批次负载均衡；稠密 vs MoE vs 混合；用多少 RL vs DPO；RL 算法本身——GRPO vs GSPO（序列级） vs 为长程智能体回归带 critic 的 PPO（GLM-5.2），这是最新、也最具说明性的转变；保留 vs 丢弃 KL 项；拒绝 vs safe-completions；以及披露多少（完全开放的配方 vs 只有基准表格的卡片）。

小结。 深读一份报告，你就等于读了全部——只差大约九个旋钮的不同。有趣的分歧（很可能还有下一步进展）所在之处，正是这些旋钮，而非那副骨架。

开放挑战

这套配方是有效的，但它若干承重的假设，其实比排行榜数字所暗示的更为脆弱。下面是我会投以怀疑目光的几处。

验证是 RL 的天花板。 整个 RL 阶段都建立在你能信任的奖励之上，而我们已经看到：奖励模型会利用表面伪特征作弊，LLM 评判者会败给单 token 的“万能钥匙”。这正是 RL 在数学和代码上效果如此之好、在其他几乎所有地方效果如此之差的原因——那两个领域拥有廉价而稳健的验证器。把可靠的验证扩展到真正不可验证的目标（“这份分析好不好？”），是横亘在其他大多数问题之下的开放难题。

数据墙撞上合成数据的两难。 刻意的过训练和越来越大的 token 预算，正撞上高质量人类文本的有限供给。逃生口是合成数据——但这恰恰是 MAI 拒绝的押注，它对在 AI 生成内容上训练发出了警告。合成数据究竟是乘数还是慢性毒药，尚无定论，而诚实的答案大概是“看用来做什么”（对多样性和可验证领域很好，作为整体性的预训练替代品则有风险）。

污染的诚实问题。 随着基准趋于饱和并发生泄漏，报告出虚高的数字变得越来越容易——甚至是无意为之。这个领域大多是在假定已经做了去污染，而非证明之；私有基准和实时基准有所帮助，但跨实验室的可比性正在悄然瓦解。

千步 RL 的成本与脆弱性——如今算法问题又被重新打开。 要维持一条对数线性的 RL 攀登曲线，需要一整套稳定器（熵控制、router replay、top-p 掩码 replay、自蒸馏存档点、异步基础设施）以及大量算力，而这部分算力如今在总训练成本中所占的比例正越来越大。而就在 GRPO 看起来已是尘埃落定的默认选项时，长程智能体 RL 又重新打开了算法之问：轨迹的“compaction（压实）”会产生长度不一的子轨迹，破坏了组内相对比较，这促使 Qwen 转向序列级的 GSPO，也让 GLM-5.2 转向一种单轨迹 critic 方法（SAO）——它在异步设定下能比 GRPO 稳定训练 6 倍长。这个领域会重新收敛，还是 RL 会永久地变得与任务相关（短的可验证任务用 GRPO/GSPO，长的智能体任务用 critic）——这是真正开放的问题，也是 2026 年最活跃的训练之争。这其中很大一部分仍是手艺，而非科学。

可监控性 vs 能力。 CoT monitoring 是推理时代为数不多的安全成果之一——但它只有在我们不针对它做优化时才有效。让思维链既忠实、可读，又同时把它训练得高效，是一个尚未解决的张力。

从经济角度看继承 vs 习得。 从一个强推理者蒸馏，比从零开始做 RL 更便宜，而且按每美元算往往更好——R1 已经表明蒸馏可以击败小模型的 RL。如果这个结论成立，这个领域就会把能力集中在少数几个前沿基座模型上，其余所有人都去做蒸馏。MAI“习得，而非继承”的押注，部分是在赌：就可操控性和稳健性而言，这条路是死胡同。究竟谁对，我们还不知道。

值得关注的前沿： 真正智能体化的长程 RL，以及喂养它的那些环境（环境扩展这一供给侧）；为跨越许多步骤行动的智能体提供校准过的诚实与弃答；以及 Muon 和低于 4-bit 的精度是否会把成本曲线压低到足以改变“究竟谁能在前沿做训练”的程度。

小结。 诚实的成绩单是：验证、数据墙/合成数据问题，以及污染，这三处是当今前沿训练结果最可能言过其实的地方——而它们恰恰是下一轮报告必须直面的地方。

致谢 / 来源：标注「图片来源」的图复制自所引论文；其余图均为原创。

如何引用

Zhang, Jiaxin.（2026 年 6 月）。How Frontier Labs Train Large Language Models。Jiaxin Zhang’s Blog. https://jxzhangjhu.github.io/blog/2026/how-frontier-labs-train-llms/

@article{zhang2026frontierllmtraining,
  title   = "How Frontier Labs Train Large Language Models",
  author  = "Zhang, Jiaxin",
  journal = "Jiaxin Zhang's Blog",
  year    = "2026",
  month   = "Jun",
  url     = "https://jxzhangjhu.github.io/blog/2026/how-frontier-labs-train-llms/"
}

References

[1] Amro Abbas, et al. “SemDeDup: Data-efficient learning at web-scale through semantic deduplication” arXiv:2303.09540, 2023.

[2] Rishabh Agarwal, et al. “On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes” arXiv:2306.13649, 2023.

[3] Yu, et al. “Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for LLM Agents” ACL 2026.

[4] Joshua Ainslie, et al. “GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints” arXiv:2305.13245, 2023.

[5] Rahul K. Arora, et al. “HealthBench: Evaluating Large Language Models Towards Improved Human Health” arXiv:2505.08775, 2025.

[6] Yushi Bai, et al. “LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks” arXiv:2412.15204, 2024.

[7] Bowen Baker, et al. “Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation” arXiv:2503.11926, 2025.

[8] Mayee F. Chen, et al. “Olmix: A Framework for Data Mixing Throughout LM Development” arXiv:2602.12237, 2026.

[9] Hongyang Chen, et al. “Continual Learning in Large Language Models: Methods, Challenges, and Opportunities” arXiv:2603.12658, 2026.

[10] Aakanksha Chowdhery, et al. “PaLM: Scaling Language Modeling with Pathways” arXiv:2204.02311, 2022.

[11] Ganqu Cui, et al. “The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models” arXiv:2505.22617, 2025.

[12] Damai Dai, et al. “DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models” arXiv:2401.06066, 2024.

[13] DeepSeek-AI, et al. “DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model” arXiv:2405.04434, 2024.

[14] DeepSeek-AI, et al. “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning” arXiv:2501.12948, 2025.

[15] DeepSeek-AI, et al. “DeepSeek-V3 Technical Report” arXiv:2412.19437, 2024.

[16] DeepSeek-AI, et al. “DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models” arXiv:2512.02556, 2025.

[17] DeepSeek-AI, et al. “DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence” arXiv:2606.19348, 2026.

[18] Jasper Dekoninck, et al. “Beyond Benchmarks: MathArena as an Evaluation Platform for Mathematics with LLMs” arXiv:2605.00674, 2026.

[19] Yue Deng, et al. “Multilingual Jailbreak Challenges in Large Language Models” arXiv:2310.06474, 2023.

[20] Xiang Deng, et al. “SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?” arXiv:2509.16941, 2025.

[21] Shehzaad Dhuliawala, et al. “Chain-of-Verification Reduces Hallucination in Large Language Models” arXiv:2309.11495, 2023.

[22] Essential AI, et al. “Essential-Web v1.0: 24T tokens of organized web data” arXiv:2506.14111, 2025.

[23] Lang Feng, et al. “Group-in-Group Policy Optimization for LLM Agent Training” arXiv:2505.10978, 2025.

[24] Kanishk Gandhi, et al. “Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs” arXiv:2503.01307, 2025.

[25] Tao Ge, et al. “Scaling Synthetic Data Creation with 1,000,000,000 Personas” arXiv:2406.20094, 2024.

[26] Gemma Team, et al. “Gemma 4 Technical Report” arXiv:2607.02770, 2026.

[27] GLM-4. 5 Team, et al. “GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models” arXiv:2508.06471, 2025.

[28] GLM-5-Team, et al. “GLM-5: from Vibe Coding to Agentic Engineering” arXiv:2602.15763, 2026.

[29] GLM-5.2 Team (Zhipu AI). “GLM-5.2: Built for Long-Horizon Tasks” Zhipu AI / Z.AI, 2026.

[30] Aaron Grattafiori, et al. “The Llama 3 Herd of Models” arXiv:2407.21783, 2024.

[31] Yuxian Gu, et al. “MiniLLM: On-Policy Distillation of Large Language Models” arXiv:2306.08543, 2023.

[32] Melody Y. Guan, et al. “Monitoring Monitorability” arXiv:2512.18311, 2025.

[33] Lukas Haas, et al. “SimpleQA Verified: A Reliable Factuality Benchmark to Measure Parametric Knowledge” arXiv:2509.07968, 2025.

[34] David Heineman, et al. “Signal and Noise: A Framework for Reducing Uncertainty in Language Model Evaluation” arXiv:2508.13144, 2025.

[35] Dan Hendrycks, et al. “Measuring Mathematical Problem Solving With the MATH Dataset” arXiv:2103.03874, 2021.

[36] Dan Hendrycks, et al. “Measuring Massive Multitask Language Understanding” arXiv:2009.03300, 2020.

[37] Jordan Hoffmann, et al. “Training Compute-Optimal Large Language Models” arXiv:2203.15556, 2022.

[38] Zhenyu Hou, et al. “Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning” arXiv:2607.07508, 2026.

[39] Jian Hu, et al. “OpenRLHF: An Easy-to-use, Scalable and High-performance RLHF Framework” arXiv:2405.11143, 2024.

[40] Jiaxin Huang, et al. “Large Language Models Can Self-Improve” arXiv:2210.11610, 2022.

[41] Gabriel Ilharco, et al. “Editing Models with Task Arithmetic” arXiv:2212.04089, 2022.

[42] Naman Jain, et al. “LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code” arXiv:2403.07974, 2024.

[43] Jared Kaplan, et al. “Scaling Laws for Neural Language Models” arXiv:2001.08361, 2020.

[44] Kimi Team, et al. “Kimi K2: Open Agentic Intelligence” arXiv:2507.20534, 2025.

[45] Kimi Team. “Kimi K3: Open Frontier Intelligence” Moonshot AI (blog), 2026.

[46] James Kirkpatrick, et al. “Overcoming catastrophic forgetting in neural networks” arXiv:1612.00796, 2016.

[47] Nathan Lambert, et al. “Tulu 3: Pushing Frontiers in Open Language Model Post-Training” arXiv:2411.15124, 2024.

[48] Dmitry Lepikhin, et al. “GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding” arXiv:2006.16668, 2020.

[49] Nathaniel Li, et al. “The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning” arXiv:2403.03218, 2024.

[50] Yaxuan Li, et al. “Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe” arXiv:2604.13016, 2026.

[51] Hunter Lightman, et al. “Let’s Verify Step by Step” arXiv:2305.20050, 2023.

[52] Jingyuan Liu, et al. “Muon is Scalable for LLM Training” arXiv:2502.16982, 2025.

[53] Tianqi Liu, et al. “RRM: Robust Reward Model Training Mitigates Reward Hacking” arXiv:2409.13156, 2024.

[54] Anton Lozhkov, et al. “StarCoder 2 and The Stack v2: The Next Generation” arXiv:2402.19173, 2024.

[55] Yiyang Lu, et al. “MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning” arXiv:2603.09892, 2026.

[56] Wenhan Ma, et al. “Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers” arXiv:2510.11370, 2025.

[57] Wenhan Ma, et al. “MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training” arXiv:2606.30406, 2026.

[58] Aman Madaan, et al. “Self-Refine: Iterative Refinement with Self-Feedback” arXiv:2303.17651, 2023.

[59] Rabeeh Karimi Mahabadi, et al. “Nemotron-CC-Math: A 133 Billion-Token-Scale High Quality Math Pretraining Dataset” arXiv:2508.15096, 2025.

[60] Anay Mehrotra, et al. “Tree of Attacks: Jailbreaking Black-Box LLMs Automatically” arXiv:2312.02119, 2023.

[61] Mike A. Merrill, et al. “Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces” arXiv:2601.11868, 2026.

[62] Paulius Micikevicius, et al. “FP8 Formats for Deep Learning” arXiv:2209.05433, 2022.

[63] Paulius Micikevicius, et al. “Mixed Precision Training” arXiv:1710.03740, 2017.

[64] The Microsoft AI Team. “MAI-Thinking-1: Building a Hill-Climbing Machine” Microsoft AI, 2026.

[65] Sewon Min, et al. “FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation” arXiv:2305.14251, 2023.

[66] MiniMax, et al. “MiniMax-M1: Scaling Test-Time Compute Efficiently with Lightning Attention” arXiv:2506.13585, 2025.

[67] MiniMax, et al. “The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence” arXiv:2605.26494, 2026.

[68] Mistral-AI, et al. “Magistral” arXiv:2506.10910, 2025.

[69] Gary D. Lopez Munoz, et al. “PyRIT: A Framework for Security Risk Identification and Red Teaming in Generative AI System” arXiv:2410.02828, 2024.

[70] NVIDIA, et al. “NVIDIA Nemotron 3: Efficient and Open Intelligence” arXiv:2512.20856, 2025.

[71] Long Ouyang, et al. “Training language models to follow instructions with human feedback” arXiv:2203.02155, 2022.

[72] Kaan Ozkara, et al. “Stochastic Rounding for LLM Training: Theory and Practice” arXiv:2502.20566, 2025.

[73] Long Phan, et al. “Humanity’s Last Exam” arXiv:2501.14249, 2025.

[74] Mary Phuong, et al. “Evaluating Frontier Models for Dangerous Capabilities” arXiv:2403.13793, 2024.

[75] Felipe Maia Polo, et al. “tinyBenchmarks: evaluating LLMs with fewer examples” arXiv:2402.14992, 2024.

[76] Zihan Qiu, et al. “Demons in the Detail: On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert Models” arXiv:2501.11873, 2025.

[77] Qwen Team. “Qwen3.5: Towards Native Multimodal Agents” Alibaba (blog), 2026.

[78] Jack W. Rae, et al. “Scaling Language Models: Methods, Analysis & Insights from Training Gopher” arXiv:2112.11446, 2021.

[79] David Rein, et al. “GPQA: A Graduate-Level Google-Proof Q&A Benchmark” arXiv:2311.12022, 2023.

[80] Mark Russinovich, et al. “Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack” arXiv:2404.01833, 2024.

[81] John Schulman, et al. “Proximal Policy Optimization Algorithms” arXiv:1707.06347, 2017.

[82] Zhihong Shao, et al. “DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models” arXiv:2402.03300, 2024.

[83] Noam Shazeer. “GLU Variants Improve Transformer” arXiv:2002.05202, 2020.

[84] Idan Shenfeld, et al. “RL’s Razor: Why Online Reinforcement Learning Forgets Less” arXiv:2509.04259, 2025.

[85] Guangming Sheng, et al. “HybridFlow: A Flexible and Efficient RLHF Framework” arXiv:2409.19256, 2024.

[86] Avi Singh, et al. “Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models” arXiv:2312.06585, 2023.

[87] Aaditya Singh, et al. “OpenAI GPT-5 System Card” arXiv:2601.03267, 2025.

[88] Mingyang Song and Mao Zheng. “A Survey of On-Policy Distillation for Large Language Models” arXiv:2604.00626, 2026.

[89] Jianlin Su, et al. “RoFormer: Enhanced Transformer with Rotary Position Embedding” arXiv:2104.09864, 2021.

[90] Xingwu Sun, et al. “Hunyuan-Large: An Open-Source MoE Model with 52 Billion Activated Parameters by Tencent” arXiv:2411.02265, 2024.

[91] Guanglong Sun, et al. “Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection” arXiv:2602.07892, 2026.

[92] Team OLMo, et al. “2 OLMo 2 Furious” arXiv:2501.00656, 2024.

[93] Thinking Machines Lab. “Inkling (Model Card).” Thinking Machines, 2026.

[94] Thinking Machines Lab. “On-Policy Distillation (blog).” Thinking Machines, 2025.

[95] Kushal Tirumala, et al. “D4: Improving LLM Pretraining via Document De-Duplication and Diversification” arXiv:2308.12284, 2023.

[96] Kiran Vodrahalli, et al. “Michelangelo: Long Context Evaluations Beyond Haystacks via Latent Structure Queries” arXiv:2409.12640, 2024.

[97] Eric Wallace, et al. “The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions” arXiv:2404.13208, 2024.

[98] Shengye Wan, et al. “CYBERSECEVAL 3: Advancing the Evaluation of Cybersecurity Risks and Capabilities in Large Language Models” arXiv:2408.01605, 2024.

[99] Peiyi Wang, et al. “Math-Shepherd: Verify and Reinforce LLMs Step-by-step without Human Annotations” arXiv:2312.08935, 2023.

[100] Lean Wang, et al. “Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts” arXiv:2408.15664, 2024.

[101] Zengzhi Wang, et al. “OctoThinker: Mid-training Incentivizes Reinforcement Learning Scaling” arXiv:2506.20512, 2025.

[102] Jason Wei, et al. “Measuring short-form factuality in large language models” arXiv:2411.04368, 2024.

[103] Quan Wei, et al. “Reinforcing Multi-Turn Reasoning in LLM Agents via Turn-Level Reward Design” arXiv:2505.11821, 2025.

[104] Mitchell Wortsman, et al. “Small-scale proxies for large-scale Transformer training instabilities” arXiv:2309.14322, 2023.

[105] Mitchell Wortsman, et al. “Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time” arXiv:2203.05482, 2022.

[106] xAI (SpaceXAI). “Grok 4.5 (Model Card).” xAI, 2026.

[107] Zhiheng Xi, et al. “BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping” arXiv:2510.18927, 2025.

[108] Zhiheng Xi, et al. “AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress” arXiv:2511.08325, 2025.

[109] Violet Xiang, et al. “Just Enough Thinking: Efficient Reasoning with Adaptive Length Penalties Reinforcement Learning” arXiv:2506.05256, 2025.

[110] Xiaomi LLM-Core Team, et al. “MiMo-V2-Flash Technical Report” arXiv:2601.02780, 2026.

[111] Can Xu, et al. “WizardLM: Empowering large pre-trained language models to follow complex instructions” arXiv:2304.12244, 2023.

[112] Greg Yang, et al. “Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer” arXiv:2203.03466, 2022.

[113] An Yang, et al. “Qwen3 Technical Report” arXiv:2505.09388, 2025.

[114] Zhuolin Yang, et al. “Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation” arXiv:2603.19220, 2026.

[115] Jiasheng Ye, et al. “Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance” arXiv:2403.16952, 2024.

[116] Qiying Yu, et al. “DAPO: An Open-Source LLM Reinforcement Learning System at Scale” arXiv:2503.14476, 2025.

[117] Pedram Zamirai, et al. “Revisiting BFloat16 Training” arXiv:2010.06192, 2020.

[118] Eric Zelikman, et al. “STaR: Bootstrapping Reasoning With Reasoning” arXiv:2203.14465, 2022.

[119] Yi Zeng, et al. “How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to Challenge AI Safety by Humanizing LLMs” arXiv:2401.06373, 2024.

[120] Yi Zeng, et al. “AIR-Bench 2024: A Safety Benchmark Based on Risk Categories from Regulations and Policies” arXiv:2407.17436, 2024.

[121] Biao Zhang and Rico Sennrich. “Root Mean Square Layer Normalization” arXiv:1910.07467, 2019.

[122] Chenchen Zhang. “From Reasoning to Agentic: Credit Assignment in Reinforcement Learning for Large Language Models” arXiv:2604.09459, 2026.

[123] Guibin Zhang, et al. “The Landscape of Agentic Reinforcement Learning for LLMs: A Survey” arXiv:2509.02547, 2025.

[124] Siyan Zhao, et al. “Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models” arXiv:2601.18734, 2026.

[125] Shiwan Zhao, et al. “Large Language Model Post-Training: A Unified View of Off-Policy and On-Policy Learning” arXiv:2604.07941, 2026.

[126] Yulai Zhao, et al. “One Token to Fool LLM-as-a-Judge” arXiv:2507.08794, 2025.

[127] Chujie Zheng, et al. “Group Sequence Policy Optimization” arXiv:2507.18071, 2025.

[128] Yifei Zhou, et al. “ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL” arXiv:2402.19446, 2024.

[129] Yuxin Zuo, et al. “MedXpertQA: Benchmarking Expert-Level Medical Reasoning and Understanding” arXiv:2501.18362, 2025.