1. 为什么需要强化学习？
在进入数学公式之前，我们需要理解强化学习（Reinforcement Learning, RL）解决的是什么核心问题。
与监督学习（Supervised Learning）不同，RL 没有“上帝视角”的标签（Label）。Agent（智能体）是在未知的环境中，通过**试错（Trial-and-Error）**来学习的。这就像一个婴儿学习走路，没有说明书，只有摔倒时的疼痛（负奖励）和站稳时的喜悦（正奖励）。
本章我们将基于 Westlake University 赵世钰老师 的课程，结合配套的 GridWorld 代码，从零构建 RL 的数学大厦——马尔可夫决策过程 (MDP)。
2. 核心图景：Agent 与 Environment 的交互
RL 的世界观可以浓缩为一张图（对应视频中的核心板书）：
- Time $t$: Agent 处于状态 $S_t$（State）。
- Decision: Agent 观察到 $S_t$，根据策略 $\pi$ 选择动作 $A_t$（Action）。
- Interaction: Agent 将 $A_t$ 施加给 Environment。
- Feedback: Environment 根据物理规则（Dynamics）演变到新状态 $S_{t+1}$，并反馈即时奖励 $R_{t+1}$（Reward）。
- Loop: 时间来到 $t+1$，循环继续。
这个循环产生的序列称为轨迹 (Trajectory)：
$$ \tau = S_0, A_0, R_1, S_1, A_1, R_2, S_2, A_2, R_3, \dots $$
3. 马尔可夫决策过程 (MDP) 深度解析
为了用数学描述上述过程，我们定义 MDP 五元组 $\mathcal{M} = (\mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma)$。
3.1 状态空间 (State Space, $\mathcal{S}$)
状态是 Agent 做决策的依据。
- GridWorld 实例: 在一个 $5 \times 5$ 的网格中，状态空间是所有方格的集合。
$$ \mathcal{S} = { (x,y) \mid x,y \in {0,1,2,3,4} } $$
或者将其展平为索引 $s \in {0, 1, \dots, 24}$。 - 代码视角:
在src/grid_world.py中，self.num_states = env_size[0] * env_size[1]定义了状态大小。
3.2 动作空间 (Action Space, $\mathcal{A}$)
- GridWorld 实例: Agent 可以向四个方向移动或原地不动。
$$ \mathcal{A} = { \text{Up}, \text{Down}, \text{Left}, \text{Right}, \text{Stay} } $$ - 代码视角:
1
2# 动作被编码为坐标的变化量
self.action_space = [(0, -1), (0, 1), (-1, 0), (1, 0), (0, 0)]
3.3 状态转移概率 (State Transition Probability, $\mathcal{P}$) —— 核心中的核心
这是环境的“物理定律”。当我们执行动作 $a$ 时，环境并不一定 100% 听话。
- 定义:
$$ p(s’ | s, a) = \mathbb{P}(S_{t+1} = s’ \mid S_t = s, A_t = a) $$
它表示：在状态 $s$ 采取动作 $a$，跳转到状态 $s’$ 的概率。 - 性质: $\sum_{s’ \in \mathcal{S}} p(s’ | s, a) = 1$。
- GridWorld 代码逻辑:
虽然书中的数学定义允许随机性（例如：想向右走，但有 10% 概率被风吹向上），但在配套代码grid_world.py的基础实现中，转移是确定性 (Deterministic) 的：注意：理解 MDP 时，必须时刻记住 $p(s’|s,a)$ 通常是一个概率分布，确定性只是概率为 1 的特例。1
2
3
4def _get_next_state_and_reward(self, state, action):
# 确定性计算：当前坐标 + 动作向量
new_state = tuple(np.array(state) + np.array(action))
# ... (然后进行边界检查，撞墙则弹回)
3.4 奖励函数 (Reward Function, $\mathcal{R}$)
奖励是指挥棒，引导 Agent 学习我们期望的行为。
- 定义:
$$ r(s, a) = \mathbb{E}[R_{t+1} \mid S_t = s, A_t = a] $$
或者更通用的形式 $r(s, a, s’)$，依赖于下一状态。 - GridWorld 设计哲学:
在代码中，Reward 设计不仅是为了告诉 Agent “好坏”，更是为了“引导”。reward_target = 1: 正向激励，到达终点。reward_forbidden = -10: 强负反馈，踩到陷阱（禁区）。reward_step = -0.1(假设值): 生存惩罚。每走一步都扣分，这不仅不是坏事，反而是为了鼓励 Agent 走最短路径（因为走得越久扣得越多）。
3.5 折扣因子 (Discount Factor, $\gamma$)
这是一个常数 $\gamma \in [0, 1)$。为什么要它？
- 数学收敛性: 避免无限时间序列求和发散。
- 经济学/心理学: “双鸟在林不如一鸟在手”。未来的奖励充满不确定性，且价值随时间衰减。
4. 回报 (Return) —— 真正要最大化的目标
初学者容易混淆 Reward (即时奖励) 和 Return (回报)。
- Reward ($R_t$): 这一步走得怎么样？
- Return ($G_t$): 从这一步开始，未来这一辈子总共能拿多少分？
数学定义（Discounted Return）:
$$ G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \dots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} $$
从代码看 Return 的计算:
在 example_grid_world.py 的循环中，我们其实是在收集 $R$：
1 | state = env.reset() |
5. 策略 (Policy, $\pi$)
MDP 给了我们环境规则，Policy 则是 Agent 的玩法。
- 定义: $\pi(a|s)$ 是在状态 $s$ 选择动作 $a$ 的概率分布。
$$ \sum_{a \in \mathcal{A}} \pi(a|s) = 1 $$ - 代码实战:
在example_grid_world.py中，有一段代码手动添加了一个策略矩阵：可视化的结果是：在每个格子上，会有不同粗细的箭头指向不同方向，箭头越粗代表 $\pi(a|s)$ 越大。1
2
3
4
5
6
7# 创建一个随机策略矩阵 (num_states x num_actions)
policy_matrix = np.random.rand(env.num_states, len(env.action_space))
# 归一化：保证每一行的概率和为 1
policy_matrix /= policy_matrix.sum(axis=1)[:, np.newaxis]
env.add_policy(policy_matrix) # 可视化策略箭头
6. 本章总结与下章预告
本章我们构建了 RL 的静态框架：
- 我们有了地图 (State)。
- 我们知道能怎么走 (Action)。
- 我们知道走一步会发生什么 (Transition)。
- 我们知道什么是好的结果 (Reward)。
- 我们定义了终极目标：最大化 Return ($G_t$)，而不是短视地看 $R_t$。
遗留问题:
现在 Agent 只是在“瞎走”（Random Policy）。如果你是 Agent，站在某个格子上，你怎么知道往哪走才是通往高 Return 的路？
你需要一个“地图导航”，告诉你每个格子的价值 (Value)。
这就引出了下一章的核心：状态价值函数 (State Value) 与 贝尔曼方程 (Bellman Equation) —— 它们是 RL 中评估策略好坏的标尺。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 WPIRONMAN！
微信
相关推荐
2026-02-09
强化学习数学原理 - 第2章：贝尔曼方程 (Bellman Equation)
1. 为什么需要贝尔曼方程？ 在第1章中，我们建立了 MDP 模型，但留下了一个核心问题：如何评价一个策略（Policy）的好坏？ 直观上，如果一个策略能让 Agent 获得更多的 Return（累积回报），它就是好的。但 Return $G_t$ 是一个随机变量（取决于未来的随机状态转移和奖励），我们不能直接比较随机变量。因此，我们引入 期望（Expectation），即 状态价值（State Value）。 贝尔曼方程（Bellman Equation）就是描述状态价值之间关系的数学工具，它是强化学习的基石。 2. 状态价值函数 (State Value Function) 2.1 定义 给定一个策略 $\pi$，状态 $s$ 的价值 $v_\pi(s)$ 定义为从状态 $s$ 出发，遵循策略 $\pi$ 能获得的期望回报： $$ v_\pi(s) = \mathbb{E}[G_t \mid S_t = s] $$ 2.2 为什么叫 “Bootstrapping” (自举)？ 我们可以把 Return 展开： $$ \begin{aligned} G_t &=...
2026-02-09
强化学习数学原理 - 第3章：最优状态值与贝尔曼最优方程 (Bellman Optimality)
1. 终极目标：寻找最优策略 在第2章中，我们学会了“给定一个策略，评估它好不好（Policy Evaluation）”。但这只是第一步，RL 的终极目标是找到最好的那个策略（Optimal Policy, $\pi^*$）。 什么叫“最好”？ 数学定义：如果策略 $\pi^$ 的状态价值 $v_{\pi^}(s)$ 在每一个状态 $s$ 上都不低于其他任何策略 $\pi$ 的价值 $v_\pi(s)$，那么 $\pi^$ 就是最优策略。 $$ v_{\pi^}(s) \ge v_\pi(s), \quad \forall s \in \mathcal{S}, \forall \pi $$ 直观理解： 最优策略就像一个完美的导航仪，无论你现在身处何地（哪怕是被风吹到了错误的格子），它都能告诉你接下来该怎么走才能获得最大的未来回报。 2. 贝尔曼最优方程 (Bellman Optimality Equation, BOE) 2.1 从 Bellman Equation 到 BOE 回忆普通贝尔曼方程： $$ v_\pi(s) = \sum_{a} \pi(a|s)...
2026-02-09
强化学习数学原理 - 第6章：随机近似 (Stochastic Approximation)
1. 为什么学 RL 要学“随机近似”？ 本章看似是数学插曲，实则是连接蒙特卡洛 (MC) 和时序差分 (TD) 的桥梁。 所有现代 RL 算法（Q-learning, DQN, Policy Gradient）的更新公式都长这样： $$ w ← w + α ( ext{Target} - w) $$ 这个公式是怎么来的？为什么它能收敛？这背后的数学原理就是 Robbins-Monro 算法。 2. 均值估计：从批量到增量 假设我们想求随机变量 $X$ 的期望 $w = ℕ[X]$。 我们可以采样 $x_1, x_2, …, x_k$。 2.1 批量计算 (Batch) $$ w_k = rac{1}{k} ∑_{i=1}^k x_i $$ 缺点：每次都要把所有数加起来除以 $k$，或者保存所有数。 2.2 增量计算 (Incremental) 我们可以推导出递推公式： $$ w_{k+1} = w_k + rac{1}{k+1} (x_{k+1} - w_k) $$ 这就是最简单的随机近似！ $w_k$: 当前的估计值。 $x_{k+1}$:...
2026-02-09
强化学习数学原理 - 第4章：值迭代与策略迭代 (Value & Policy Iteration)
1. 动态规划的登场 在第3章中，我们推出了 Bellman Optimality Equation (BOE)： $$ v^(s) = \max_{a} \sum_{s’} p(s’|s,a) [ r + \gamma v^(s’) ] $$ 因为 $\max$ 的非线性，我们无法直接解方程。本章我们将介绍求解 BOE 的两把“倚天屠龙剑”： Value Iteration (VI, 值迭代)：粗暴直接，对着 BOE 猛算。 Policy Iteration (PI, 策略迭代)：优雅从容，交替进行评估和改进。 这两类算法统称为 动态规划 (Dynamic Programming, DP) 方法。它们要求我们完全已知环境模型（$P$ 和 $R$）。 2. 值迭代 (Value Iteration) 2.1 算法逻辑 VI 的思想非常简单：既然 $v^*$ 是 BOE 的不动点，那我就把 BOE 当作更新规则，一直迭代直到收敛。 $$ v_{k+1}(s) = \max_{a} \underbrace{\sum_{s’} p(s’|s,a) [ r(s,a,s’) +...
2026-02-09
强化学习数学原理 - 第5章：蒙特卡洛方法 (Monte Carlo Methods)
1. 跨越：从“有模型”到“无模型” 在之前的章节中，我们假设自己是“上帝”，完全知道环境的秘密：状态转移概率 $P$ 和奖励函数 $R$。但在现实中（如炒股、下棋），这些参数通常是不可知的。 蒙特卡洛 (Monte Carlo, MC) 方法 的出现，标志着我们进入了 Model-free (无模型) 学习的领域。它的核心思想极度朴素：“实践出真知” —— 如果我不知道概率，那我就多试几次，然后算平均值。 2. 蒙特卡洛估算 (MC Prediction) 2.1 核心思想：大数定律 我们想求 $v_ ps(s) = [G_t | S_t = s]$。 根据大数定律，如果我们能生成很多条从状态 $s$ 出发的轨迹（Episodes），并记录每一条的回报 $G$，那么它们的平均值就会收敛于期望。 $$ v_ ps(s) r rac{1}{N} sum_{i=1}^N G_i $$ 2.2 两种采样方式 First-visit MC: 在一个 Episode 中，如果多次经过 $s$，只计算第一次访问后的回报。 Every-visit MC: 只要经过...
2026-02-09
强化学习数学原理 - 第7章：时序差分方法 (Temporal-Difference Methods)
1. TD：结合 MC 与 DP 的艺术 时序差分 (TD) 是强化学习中最核心、最独特、最优雅的思想。它不需要像 DP 那样已知模型，也不需要像 MC 那样等到 Episode 结束。它边走边学 (Bootstrapping from Experience)。 核心公式 (TD(0)): $$ V(S_t) < V(S_t) + α [ R_{t+1} + γ V(S_{t+1}) - V(S_t) ] $$ 直观解释： Target: 我走了这一步，拿到了 $R_{t+1}$，加上我对下一步状态价值的预估 $γ V(S_{t+1})$，我觉得这才是更靠谱的价值。 Error: 那个 Target 和我原来的估计 $V(S_t)$ 之间的差，就是惊讶程度 (TD Error)。 Update: 用这个差乘以学习率 $α$ 来修正我的观念。 2. Sarsa: On-policy 的稳健派 2.1 算法流程 (State-Action-Reward-State-Action) Sarsa 之所以叫 Sarsa，是因为它一次更新需要的数据五元组是...
评论