智东西（公众号：zhidxcom）

编译 | 程茜

裁剪 | 李水青

智东西 10 月 15 日音尘，10 月 14 日，小米和北京大学鸠集签字的论文发表于 arXiv，曾被曝获小米集团首创东说念主兼 CEO 雷军以千万年薪招募的 DeepSeek "天才仙女"罗福莉，出当今了这篇论文的通信作家之列，但值得珍摄的是，论文作家中并莫得标注罗福莉属于小米大模子团队。

通信作家中的罗福莉是 95 后，她本科就读于北京师范大学操办机专科，硕士毕业于北京大学操办谈话学盘考所操办谈话学专科。随后罗福莉曾在阿里巴巴达摩院主导开导了多谈话预考研模子 VECO，并鼓舞了 AliceMind 的开源责任，2022 年入职 DeepSeek，参与了 MoE 大模子 DeepSeek-V2 的研发。旧年年底，小米被曝以千万年薪挖角 DeepSeek-V2 中枢开导者之一罗福莉，使其冲上热搜，但两边于今都未公开声明是否追究入职小米。

▲ DeepSeek "天才仙女"罗福莉（图源：罗福莉个东说念主公众号）

这篇论文提倡了进步 MoE 模子强化学习考研的新法式 Rollout Routing Replay（R3）。履行罢休解释，R3 的举座性能优于 GRPO、TIS 这类强化学习鸿沟进步模子性能的优化算法，且引入 R3 的统统组合法式全经由无崩盘，考研经由中考研 - 推理 KL 散度等长期较低，在不影响考研速率的情况下，使得极点 token 比例减少一个量级。

当下，强化学习（RL）已成为进步大谈话模子身手的要害法式。但是，在 MoE 模子中，路由机制经常会引入不清爽性，甚而导致强化学习考研崩溃，但现存的引入进军性采样机制等并不可进步考研清爽性。不同于此前采选诸如丢弃相反较大的数据之类的变通法式，这篇论文的盘考东说念主员但愿通过责罚路由散布也便是 R3 来根人性责罚这个问题。

论文地址：https://arxiv.org/pdf/2510.11370

一、破解强化学习崩溃的要害法式，小米团队提倡 R3

强化学习已成为大谈话模子后期考研的基石，诳骗大范围强化学习，大模子更深切、更平素推理，得回责罚复杂问题所需的高等身手，但其濒临的要害挑战是若何均衡遵循和清爽性。

当代强化学习框架经常使用不同的引擎进行推理和考研用于部署，但这种架构上的区分可能导致 token 概率出现不对，甚而可能导致横祸性的强化学习崩溃。但是，现存的创新法式并不可统统责罚 MoE 模子上进行强化学习考研时出现的强化学习离线计策问题。

盘考东说念主员提倡的 R3，其责任旨趣是在序列生成时期从推理引擎拿获路由散布，并将其径直重放到考研引擎中。这依然由不错消弱考研和推理之间的差距，其权臣特征是不同引擎生成的逻辑向量的 KL 散度（量化两个概率散布之间的相反进度，值越小诠释两个散布越接近）权臣缩短，两个阶段之间概率相反权臣的 token 数目减少了大致一个数目级。

此外，该法式同期适用于在线计策（on-policy）和小批量（mini-batch）式离线计策强化学习（off-policy）场景。

论文提到了盘考团队的三大主要孝顺：

1、系统识别和分析了 MoE 模子中考研和推理之间的路由散布相反，强调了它们在考研不清爽性中的作用；

2、提倡 Rollout Routing Replay，它重用考研引擎里面的推理时辰路由散布，以合作考研和推理之间的路由活动；

3、将 R3 应用于多种 RL 成立进行 MoE 强化学习，并标明 R3 在清爽性和举座性能方面优于 GSPO 和 TIS。

二、可权臣消弱考研 - 推理相反，对 Agent 任务大有裨益

R3 的主要想路是在考研前向传播经由中重用推理路由掩码 I，同期仍将 softmax 应用于考研逻辑以保捏梯度流。

这种假想主要有两个见识：一是对皆考研和推理，确保考研重放时期使用的群众与推理时期汲取的群众相匹配，从而放手群众汲取中的不匹配；二是保留梯度数据流，通过仅重放掩码，梯度仍然不错流回 logits 而不会插手操办图，这有助于灵验地优化路由器。

▲重放门控权重、重放输出 y 的操办神色

具体来看，R3 在遵循优化上，通过路由掩码缓存（Router Mask Caching）适配多轮对话场景，缩短操办支出。

其论文提到，缓存的路由掩码具有通常的属性，关于相易的前缀 token，MoE 路由器应该产生相易的罢休，因此来自推理引擎的路由掩码不错与前缀 KVCache 一说念缓存。

关于每个层和 token 前缀，相应的路由掩码都存储在 KVCache 中。当相易的前缀出现并掷中缓存时，这些掩码不错被重用，从而无需重新操办，这使得 R3 概况与前缀缓存机制无缝集成。

盘考东说念主员称，缓存路由掩码在 Agent 场景中有较大应用空间。举例软件工程和网页浏览等 Agent 任务，都波及自总结生成和器具调用之间的多轮交互，为了提高遵循，这些经由径直重用了前几轮的 KVCache，因此无需重腾达成已操办的数据。路由掩码缓存使 R3 概况在强化学习代理任务中保捏高效，而无需重新预填充以生成路由掩码。

为了解释 R3 在消弱考研 - 推理相反上的灵验性，盘考东说念主员使用 Qwen3-30B-A3B 模子进行了考据，其将推理经由中得回的路由散布缓存在 SGLang 上，并在 Megatron 框架内重放它们。

▲使用 Megatron 进行两次前向传播得回的概率

罢休标明，应用 R3 后，考研和推理之间的 KL 散度从 1.5×10 ⁻ ³ 减小到 7.5×10 ⁻⁴，接近于广阔模子的 6.4×10 ⁻⁴水平，这标明其考研 - 推理相反减少。

盘考东说念主员还画图了使用 R3 的考研 - 推理相反比率的积蓄散布图，关于 MoE 模子，应用 R3 可将具有较大考研推理相反的 token 的频率缩短一个数目级。

▲ a、MoE 模子中考研 - 推理相反的诠释，b、MoE+R3 模子中考研 - 推理相反的诠释，c、广阔模子中考研 - 推理相反的诠释，d、极点 token 散布函数

三、实测三大身手进步：举座性能、考研清爽、优化生成活动

为了评估 R3 对强化学习的性能创新，盘考东说念主员从 BigMath、ORZ 等开源数据集筛选约 10 万说念可考据数学题，采选 AIME24、AIME25、AMC23 和 MATH500 动作基准数据集进行评估，并在单次考研经由中每 5 个全局法式测量一次模子性能。

其汲取的模子是 Qwen3-30B-A3B-Base 过火微调模子 Qwen3-30B-A3B-SFT。

评估神色是每 5 个全局法式纪录模子性能，最终叙述最好性能及对应试研法式，若模子后期性能骤降，同期跟踪考研崩盘法式"。

履行罢休标明，举座性能上，R3 在多步更新场景，GRPO+R3 平均得分 68.05 分，比 GSPO 发轫 1.29 分；GSPO+R3 进一步进步至 69.00，比单独 GSPO 高 2.24 分。

单步更新场景，SFT 模子上，GRPO+R3 平均得分 71.83 分，比 GRPO（62.23）高 9.6 分，比 GRPO+TIS（66.24）高 5.59 分；Base 模子上，GRPO+R3 平均得分 70.73，比 GRPO（61.69）高 9.04 分。

▲主要评估罢休

盘考东说念主员还发现，将 R3 与 TIS 承接使用并不可带来彰着的性能进步，甚而可能缩短性能，举例在 SFT 模子的单小步成立下，TIS+R3 的得分比单独使用 R3 低 1.69 分。由于 R3 已经权臣缩短了考研和推理之间的计策相反，因此 TIS 的非凡改革恶果聊胜于无。

考研清爽性方面：如 GRPO、GRPO+TIS 等无 R3 的法式在单步更新场景中均出现崩盘，GRPO 在 60 步崩盘、GRPO+TIS 在 105 步崩盘。

引入 R3 后，统统组合法式均无崩盘，且考研经由中考研 - 推理 KL 散度等长期较低。

▲多步更新考研 - 推理崩溃分析

优化与生成活动方面，在考研经由中，R3 还能增强优化清爽性、探索活动和生成动态。下图是盘考东说念主员画图的单步 + 基础模子组考研经由中的序列长度、梯度范数、生成熵和评估分数。

▲ wen3-30B-A3B-Base 考研动态

罢休表露，R3 具有更小的梯度范数、更平滑的序列增长款式和更清爽的熵。履行中使用 R3 时，生成的序列长度在考研驱动时飞速高涨，标明 R3 概况快速捕捉到正确的优化标的，比较之下其他两个考研经由在第 80 步之后才渐渐高涨，而况波动更为彰着；R3 长期保捏较低的梯度范数，标明优化经由愈加清爽；履行使用 R3 时，熵在大致第 25 步后驱动稳步高涨，标明模子更早地驱动探索更优计策，不使用 R3 时，熵高涨得更晚，而况波动较大。

结语：聚焦 MoE 模子考研艰苦，小米提倡新想路

MoE 架构如今已成为膨胀当代谈话模子的基石，其采选门控网罗，对每个 token 疏淡地仅激活一部分群众参数，从而将模子的总参数数目与其推理本钱区分开来，从而大幅进步了模子容量。但是，由于门控网罗的明锐性，MoE 模子容易受到考研不清爽性的影响，这使得路由持重性成为灵验模子管理的中枢挑战。

在这篇论文中，盘考东说念主员在考研经由中重用推理时的路由散布开云kaiyun中国官方网站，以在保留梯度流的同期对皆群众汲取。这种想路或为行业提供了新的盘考想路。