这一页是 Agentic RL 系列的导航与阅读路线图。定位是：用最少的前置，把你带到“看懂 PPO/PG loss 的公式，能对齐到代码实现，并能读懂训练日志与稳定性问题”。
配套视频与资料：
- 视频 01（工程组件）：BV1KFpczQEkA
- 视频 02（推导主线）：BV12NHJzTEoP
- 视频 03（PG 补充 / GRPO / 优势标准化 / On-policy）：BV18hsFzbEKJ
- 视频 04（REINFORCE 4 LLM / reward 设计 / PG+KL loss 细节）：BV1Ya1LB1EDM
- 视频 05（vLLM 推理参数 / 显存分析 / max_num_batched_tokens）：BV1QnSFBkEZU
- 视频 06（DeepSeekMath-v2 自我验证 / verifier + meta-verifier / 迭代验证与微调）：BV1AaSTBEEeS
- 视频 07（RLVR 的边界 / Base vs RL / pass@k / PPL / vLLM 评测细节）：BV1pWSvBtEAk
- veRL（verl 框架 / 训练参数理解：PPO & GRPO / batch size / KL & entropy）：BV1DZL1zNEN2
- veRL（verl 核心算法 / GRPO、RLOO、REINFORCE++ / Baseline）：BV1d4Yvz4EXA
- veRL（FSDP SFT trainer / SFT vs RL / 交叉熵损失 / loss mask / LR scheduler）：BV1CkJgzAEAG
- veRL（FSDP SFT trainer 补充 / teacher forcing / shift labels-logits / loss mask）：BV1eWjtzbEdP
- veRL（MultiTurn Tool Use / Coding Agent SFT / Cold Start for RL）：BV19PmwB5ERd
- veRL（Tokenizer 编解码非对称性 / token-in-token-out / Agent loop）：BV1b2pDzYEY2
- Reward Model insights（Bradley-Terry / MLE / 深度学习）：BV1z4vkBBEgD
- 视频 10（分布视角：SFT vs RL / Forward-Reverse KL / 分布与奖励）：BV1WvrGBGEbf
- 视频 11（DPO：KL 正则 RL 推导 / 隐式 RM / 缺陷与不足）：BV1N16ZBuERA
- 视频 12（verl infra：AgentLoop / AgentLoopManager / hybrid 推训）：BV135zrBaEEU
- 视频 13（verl infra：AgentLoop 代码串讲 / multi-turn 推理 / ray trainer）：BV1MizSBJEbi
- 视频 14（verl AgentLoop：全流程与计算细节 / async rollout / 状态机 / tool-interaction）：BV18d6sBpEZq
- 配套仓库：wdkns/modern_genai_bilibili/agentic_rl
1. 两条阅读路径（按你的目标选）
如果你希望先把“公式链路”打通：
- 02 从 PG 到 TRPO 到 PPO-Clip（推导与代码对齐）
- 01 PG Loss 组件详解（PPO-clip / Dual-Clip / Entropy / KL / 聚合）
- 04 REINFORCE 4 LLM（Reward 设计 / PG+KL loss 细节 / KL 计算坑点）
- 09 Reward Model Insights（Bradley-Terry / MLE / 深度学习）
- 10 分布视角理解 SFT 与 RL（Forward/Reverse KL、分布与奖励）
- 11 重新理解 DPO（KL 正则 RL / 隐式 RM / 缺陷与不足）
- 05 vLLM 推理参数与显存/吞吐调优（max_num_batched_tokens）
- 06 DeepSeekMath-v2：Verifier + Meta-Verifier 与 Self-Verification
- 07 RLVR 的边界：Base vs RL、pass@k、PPL 与 vLLM 评测细节
- veRL（verl）训练参数理解：PPO & GRPO、Batch Size、KL & Entropy
- veRL 核心算法：GRPO / RLOO / REINFORCE++ 与 Baseline 设计
- veRL：FSDP SFT Trainer（交叉熵 / loss mask / scheduler）
- veRL：SFT Trainer 补充（Teacher Forcing / Shift / Loss Mask 对齐）
- veRL：MultiTurn Tool Use / Coding Agent SFT（Cold Start for RL）
- 12 veRL Infra：AgentLoop、AgentLoopManager 与 hybrid 推训
- 13 veRL Infra：AgentLoop 代码串讲（multi-turn 推理 / Ray trainer）
- 14 veRL AgentLoop 全流程与计算细节（async rollout / 状态机 / tool-interaction）
- Tokenizer 非对称性与 Token-in-Token-out（RL 训练崩溃的根因）
如果你希望先能写/改训练代码（工程优先）：
- 01 PG Loss 组件详解（PPO-clip / Dual-Clip / Entropy / KL / 聚合）
- 02 从 PG 到 TRPO 到 PPO-Clip（推导与代码对齐）
- 04 REINFORCE 4 LLM（Reward 设计 / PG+KL loss 细节 / KL 计算坑点）
- 09 Reward Model Insights（Bradley-Terry / MLE / 深度学习）
- 10 分布视角理解 SFT 与 RL（Forward/Reverse KL、分布与奖励）
- 11 重新理解 DPO（KL 正则 RL / 隐式 RM / 缺陷与不足）
- 05 vLLM 推理参数与显存/吞吐调优（max_num_batched_tokens）
- 06 DeepSeekMath-v2：Verifier + Meta-Verifier 与 Self-Verification
- 07 RLVR 的边界：Base vs RL、pass@k、PPL 与 vLLM 评测细节
- veRL（verl）训练参数理解：PPO & GRPO、Batch Size、KL & Entropy
- veRL 核心算法：GRPO / RLOO / REINFORCE++ 与 Baseline 设计
- veRL：FSDP SFT Trainer（交叉熵 / loss mask / scheduler）
- veRL：SFT Trainer 补充（Teacher Forcing / Shift / Loss Mask 对齐）
- veRL：MultiTurn Tool Use / Coding Agent SFT（Cold Start for RL）
- 12 veRL Infra：AgentLoop、AgentLoopManager 与 hybrid 推训
- 13 veRL Infra：AgentLoop 代码串讲（multi-turn 推理 / Ray trainer）
- 14 veRL AgentLoop 全流程与计算细节（async rollout / 状态机 / tool-interaction）
- Tokenizer 非对称性与 Token-in-Token-out（RL 训练崩溃的根因）
2. 系列内容地图（你看完应该掌握什么）
2.1 你会搞清楚的 5 个问题
- PG loss 是什么，为什么它不是“监督学习意义上的 loss”，为什么更该看 reward curve。
log π从哪来：log-trick 让“对分布求导”变成“对 logprob 求导”。- ratio
r=π/π_old从哪来：重要性采样让你能复用旧策略采样的数据做多步更新。 - TRPO 在约束什么：KL trust region 的直觉与局限（实现成本高）。
- PPO-clip 在做什么近似：clip 生效的 case-by-case，为什么能稳住训练，以及它的副作用（探索/概率上限）。
2.2 你会对齐到代码的关键点
r = exp(logp_new - logp_old)：PPO 公式看起来“没 log”，但实现里 log 只是被藏进 ratio 计算了。advantages.detach()/old_logp.detach()：采样得到的信号当常数，梯度只通过当前策略回传。clip fraction / KL / entropy：稳定性指标怎么看、怎么联动调参。agg_loss（token/seq/group mean/sum）：聚合方式如何改变梯度尺度，从而改变你对学习率和系数的“手感”。
3. 文章列表（按主题）
- 推导主线（PG -> TRPO -> PPO-clip）
- 工程组件（PPO-clip / Dual-clip / Entropy / KL / 聚合）
- RL4LLM 最小闭环（REINFORCE + reward + KL）
- Reward Model / Preference Modeling（Bradley-Terry / MLE / RM 边界）
- 分布视角：SFT vs RL（Forward/Reverse KL、分布与奖励）
- 偏好优化：DPO（KL 正则 RL / 隐式 RM / 缺陷与不足）
- 推理部署与吞吐调优（vLLM）
- Reasoning 的评测闭环（Verifier / Meta-Verifier / Self-Verification）
- RLVR 的边界与评测指标（Base vs RL / pass@k / PPL / vLLM logprob 细节）
- veRL（verl）训练框架与参数理解（PPO & GRPO / batch size / KL & entropy / loss 聚合）
- veRL（verl）核心算法与 Baseline（GRPO / RLOO / REINFORCE++）
- SFT 工程（FSDP trainer / 交叉熵 / loss mask / scheduler）
- Tool Use Agent（MultiTurn / Coding Agent / Cold Start for RL）
- veRL Infra（AgentLoop / Async Rollout / Ray Trainer / multi-turn 推理）
- Tokenizer / Token-in-Token-out（RL 训练稳定性）
4. 下一步（面向 Agentic RL / Deep Research）
如果你的最终目标是 agentic RL 用于 deep research 任务，建议你在“先看懂 PPO/PG loss”之后尽快做两件事：
- 明确你的“研究型任务”到底在优化什么：质量、引用覆盖、事实一致性、成本、时延，哪些能被可靠评测，哪些只能做 proxy。
- 决定训练对象：先训 agent 决策层（检索/工具/规划策略）还是直接训 LLM token policy（更吃数据/算力/评测闭环）。
后续如果你要把这个系列扩展到 PPO/GRPO 在 LLM-RL 框架里的工程落地（rollout、reward manager、objective、聚合与调参），我可以继续按同样方式把 verl / openrlhf 的链路拆开整理成可复现笔记。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 WPIRONMAN！
微信
相关推荐
2026-02-09
Agentic RL：从 PG 到 TRPO 到 PPO-Clip（推导与代码对齐）
这篇文章面向“RL 基础薄弱但想快速读懂 PPO/Agentic RL 训练代码”的读者，目标是把下面三件事讲清楚，并且和你能跑起来的代码一一对应： PG loss 到底是什么：它不是“监督学习意义上的 loss”，而是为了拿到正确梯度构造的 surrogate（代理目标）。 TRPO 想解决什么：为什么要用 KL trust region 限制策略更新幅度。 PPO-clip 为什么长这样：clip 不是拍脑袋，而是在做一个“好实现”的 trust region 近似。 系列导航： Agentic RL：系列导航（PG Loss、TRPO、PPO-Clip） 配套资料来自 B 站视频与仓库（建议你边看边对照）： 视频 02：[Agentic RL] 02 策略梯度基础，从 PG 到 TRPO 到 PPO-Clip 核心公式简单推导 https://www.bilibili.com/video/BV12NHJzTEoP/ 视频 03：[Agentic RL] 03 策略梯度补充，GRPO loss 分析，优势标准化，On...
2026-02-09
Agentic RL：PG Loss 组件详解（PPO-clip / Dual-Clip / Entropy / KL / 聚合）
这篇文章把「Agentic RL / LLM-RL 训练里常见的 Policy Gradient (PG) loss 到底由哪些组件拼起来」讲清楚，重点解释： PPO-clip：为什么要 clip、clip 住了哪些情况、什么时候梯度为 0 Dual-clip：它在 PPO-clip 基础上到底“多 clip 了什么”，解决什么不稳定 Entropy / KL：为什么要加正则、权重怎么理解 聚合（aggregate）：token/sequence/group 维度的 sum/mean 会如何改变梯度尺度 推导补全（视频 02）：从 REINFORCE / PG 到 TRPO，再到 PPO-clip，解释 log pi、ratio、以及“为什么 PPO 公式里看起来没有 log” 本文偏“工程视角”：你看完应该能把这些项在代码里正确实现出来，并能解释训练曲线为什么会那样。 补充说明：下面不少“实现细节/监控指标/聚合模式”的表述，我会刻意对齐 verl 生态里常见写法。 我不会把任何视频/博客里的“经验区间”当成硬规则。对 LLM-RL...
2026-02-10
Agentic RL：veRL AgentLoop 全流程与计算细节（Async Rollout、状态机、Tool-Interaction）
这篇文章对应视频：【[Agentic RL] 14 verl AgentLoop 全流程与计算细节，async rollout 实现，状态机，tool / interaction】（BV18d6sBpEZq）。 我会用“系统 + 数据契约”的方式把 AgentLoop 讲清楚：不是复述视频，而是把你真正会卡住的点拆开，直到你能做到： 读 AgentLoop 相关代码时，能快速定位“当前在数据流的哪一段”。 你能解释清楚：为什么 agent loop 输出必须是交错轨迹（LLM token + tool obs token），以及为什么必须带 response_mask。 你能把“tool / interaction / termination / reward attach”这几个最容易写乱的逻辑写成一套可 debug 的状态机。 系列导航： Agentic RL：系列导航（PG Loss、TRPO、PPO-Clip） 建议先读（否则你会觉得本文有点“infra 细节过密”）： 12 先建立 AgentLoop 的架构直觉（async / sticky...
2026-02-10
Agentic RL：veRL Infra AgentLoop（AgentLoopManager、Async Rollout 与 Hybrid 推训）
这篇文章对应视频：【[Agentic RL] 12 verl infra AgentLoop 基本概念及流程，AgentLoopManager，hybrid训练与推理】（BV135zrBaEEU）。 如果你已经看完我在上一篇里写的 “Agent Loop 为什么需要 async rollout” 与 “response_mask 基本概念”，那么这篇就是 infra 深挖版：把 verl 的 AgentLoop 体系从“能用”讲到“你能改、能调、能排障”。 你看完应该能回答这些工程问题： AgentLoopManager / Worker / AgentLoop / AsyncLLMServerManager 各自负责什么，边界怎么划？ 为什么 async rollout 不是优化项，而是 multi-turn tool use 的必要条件？它和 vLLM 的 continuous batching 怎么配合？ sticky session 为什么必须有？它和 prefix cache、load balancing 是什么关系？ “hybrid...
2026-02-09
Agentic RL：veRL（verl）训练参数理解（PPO & GRPO、Batch Size、KL & Entropy）
这一篇对应 veRL 视频：“从原理层面理解训练参数，PPO & GRPO，batch size，kl & entropy”（BV1DZL1zNEN2）。 写这篇的目标不是“照着参数表翻译”，而是把你在 verl（veRL）里最常改、最容易踩坑的配置项，和它背后的算法对象一一对齐：你改的到底是“采样分布/有效 batch/更新步长/探索强度/保守性”，还是只是在调一个看起来像超参的数字。 我不会把视频内容当成“圣经”。这类讲解里最容易出错的两件事是： 把经验区间说成普适真理（例如某个指标“应该在 0.1-0.4”）。 把实现细节当成算法本身（例如 KL 的某种近似估计，被误当成 KL 的定义）。 所以本文会更强调“你应该如何用日志闭环验证”，而不是“照着配方抄参数”。一句话：参数之间强耦合，你改一个数字，往往同时改了“有效学习率、更新步长、数据复用程度和探索强度”。 系列导航： Agentic RL：系列导航（PG Loss、TRPO、PPO-Clip） 延伸阅读（更偏算法本体而不是参数）： veRL 核心算法：GRPO / RLOO...
2026-02-09
Agentic RL：REINFORCE 4 LLM（Reward 设计与 PG+KL Loss 细节）
这一篇对应视频 04：“REINFORCE 4 LLM，设计 reward，如何维护和计算 PG/KL loss，KL loss 计算细节”（BV1Ya1LB1EDM）。 它的价值不在于“给你一个能把大模型训得多强的框架”，而在于把 RL4LLM 里最容易被 verl/openrlhf/... 这些工程封装遮住的核心逻辑，拆成一个可手写、可调试、可逐行对齐公式的最小闭环： LLM 作为 policy：state/action/trajectory 怎么映射 REINFORCE/PG loss 在 LLM 上怎么落地：联合 logprob 怎么维护 KL penalty 为什么是“语言能力 vs reward-max”的拨杆 KL 计算最容易踩坑在哪里：sum vs mean / fKL vs rKL / mask 与聚合 系列导航： Agentic RL：系列导航（PG Loss、TRPO、PPO-Clip） 建议阅读顺序（我按“先理解再工程”的顺序排）： 02&03：PG→TRPO→PPO + GRPO/On-policy...
评论