跟着西湖大学赵世钰老师的《强化学习的数学原理》系列课程啃了一遍,把笔记整理在这里,持续更新。
为什么选这门课
市面上 RL 课程不少,但这门课的特点是从贝尔曼方程的数学本质讲起,而不是直接甩算法代码。对我这种想搞清楚”为什么”而不是只调包的人来说很合适。
核心概念梳理
状态价值与动作价值
- 状态价值 $V(s)$:从状态 $s$ 出发,按策略 $\pi$ 行动的期望回报;
- 动作价值 $Q(s, a)$:在 $s$ 下先执行动作 $a$,之后按 $\pi$ 行动的期望回报。
两者的关系是理解几乎所有 RL 算法的钥匙:
$$V(s) = \sum_a \pi(a|s) Q(s, a)$$
贝尔曼最优方程
贝尔曼最优方程是整门课的枢纽:
$$V^(s) = \max_a \left[ r(s,a) + \gamma \sum_{s’} P(s’|s,a) V^(s’) \right]$$
赵老师强调的一点我很认同:值迭代和策略迭代本质上都是在解这个方程,只是一个用压缩映射直接迭代,一个交替改进策略与估值。
学习心得
- 先数学后算法:直接学 PPO 容易停留在”知道每个超参干嘛”,但从贝尔曼方程推下来,PPO 的 clip 就变得顺理成章;
- 手推一遍很重要:GridWorld 的例子我用手推了两遍值迭代的每一步,直觉一下子就建立了;
- 收敛性证明别跳过:压缩映射的证明看着抽象,但它是”为什么迭代一定会收敛”的唯一解释。
后续计划
- 补完无模型方法(MC / TD / Q-learning)部分;
- 把 GridWorld 的推导用 Python 复现一遍,验证手推结果;
- 结合 NapMem 那篇论文,思考 RL 在记忆管理上的应用。
这门课的 B 站视频和讲义都是公开的,强烈推荐给想打牢 RL 数学基础的同学。
