规划 vs. 学习
规划已知环境模型，直接对 Bellman 方程反复 backup；学习不知道 (P)，从 sample backup 逼近相同固定点。A1 用 GridWorld 把二者放在同一环境对照。
01 / THE MAP
先建立“问题地图”，再学习算法。
强化学习不是一串算法名。它研究的是：智能体在不确定环境中采取行动、延迟获得反馈，并最大化长期回报。每一种算法都在回答三个问题：如何估值、如何探索、如何稳定地更新策略。
01 · MODEL
环境转移已知吗？已知时可以规划；未知时只能通过样本估计。
02 · DATA
数据来自当前策略、历史日志，还是可验证的 rollout？这决定偏差和稳定性。
03 · OBJECTIVE
最大化什么回报、如何定义 reward、怎样约束策略变化，决定真正被优化的行为。
A
表格型 RL：理解学习信号
Value Iteration、Monte Carlo、SARSA、Q-learning。环境小到可以看见每个 (Q(s,a)) 如何变化。
产出：Bellman backup 图、收敛曲线、最优策略。
B
深度 RL：处理高维状态
DQN、Double/Dueling DQN、PPO、SAC。理解神经网络近似如何带来不稳定、过估计和样本效率问题。
产出：消融表、seed 方差、learning curve。
C
长时程决策：模型、离线数据与多智能体
World Model、Offline RL、Decision Transformer、CTDE。重点变成分布外动作和 imagined rollout 是否可信。
产出：offline score、OOD 风险、world-model error。
D
LLM / Agent RL：把环境变成可验证任务
Reward model、PPO、DPO、RLOO、GRPO、工具调用与 multi-turn agent。核心问题是 reward、rollout、评估器和系统吞吐的共同设计。
产出：pass@k、reward、KL、rollout cost、真实任务成功率。
02 / MATHEMATICAL CORE
所有路线都从同一条反馈方程出发。
先把 MDP 写清楚：状态 (s)、动作 (a)、转移 (P(s'|s,a))、奖励 (r)、折扣 (gamma)。目标是最大化期望折扣回报，而不是只追逐眼前 reward。
G_t = Σₖ₌₀∞ γᵏ rₜ₊ₖ₊₁
回报：未来奖励的折扣和。γ 越小，策略越偏好近处回报。
Vᵖ(s) = Eₚ[ rₜ₊₁ + γVᵖ(sₜ₊₁) | sₜ = s ]
Bellman expectation equation：当前价值 = 一步奖励 + 下一状态价值。
Q(s,a) ← Q(s,a) + α [ r + γ maxₐ′ Q(s′,a′) − Q(s,a) ]
Q-learning 的 TD error 就是方括号。它用一次交互样本替代未知的转移期望。
on-policy vs. off-policy
on-policy用当前行为策略收集并优化当前策略，如 PPO；off-policy可以复用历史数据，如 DQN、SAC。收益是样本效率，代价是分布偏移与稳定性难题。
学习检查点
在进入 DQN 前，必须能解释：为什么低 (gamma) 改变的是“任务偏好”而不是“训练速度”；为什么 (epsilon) 衰减太快会造成局部最优；以及 TD target 中哪些量应该 stop-gradient。
03 / ALGORITHM FAMILIES
算法选择，本质是偏差、方差、样本效率的交换。
不要从“哪个算法最新”开始。先判断动作空间、是否可重放历史数据、是否能安全在线探索、以及是否具备环境模型。
DQN → Double / Dueling / Rainbow
离散动作。用 replay buffer 打破时间相关性，用 target network 稳定 bootstrap；Double DQN 抑制 max 操作的过估计。
REINFORCE → TRPO → PPO
直接优化策略。PPO 用 clipped objective 限制单次更新过大，是理解 RLHF 的重要入口。
A2C / DDPG / TD3 / SAC
actor 选择动作，critic 估值。SAC 通过熵正则化保留探索，在连续控制中具备高样本效率。
MuZero · Dreamer · Offline RL
学习环境动力学或直接从固定日志学习。关键风险是 model error 和 distributional shift，而非单纯 reward 不够高。
Lᴾᴾᴼ(θ) = Eₜ[ min(rₜ(θ)Âₜ, clip(rₜ(θ), 1−ε, 1+ε)Âₜ) ]
PPO：当新旧策略概率比 rₜ 偏离太远时，截断策略梯度的获利。它不是“永远稳定”的保证，而是一个局部更新约束。
Jₛₐc(π) = E[ Σₜ r(sₜ,aₜ) + α H(π(·|sₜ)) ]
SAC：奖励之外还最大化策略熵；α 控制“利用已知高回报动作”和“维持探索”之间的权衡。
04 / FRONTIER CONNECTIONS
前沿不是脱离基础的新名词。
LLM 后训练和 Agent 训练仍然是 RL，只是状态变成 token / trajectory，环境可能是代码解释器、检索工具或浏览器，奖励可能来自 verifier 或偏好模型。
| 方向 | 核心问题 | 需要掌握的基础 | 可测量指标 |
|---|---|---|---|
| RLHF / RLAIF | 偏好如何变成可优化的 reward？如何避免 reward hacking？ | policy gradient、KL 正则、reward model | 偏好胜率、KL、长度偏置、安全性 |
| Direct Preference Optimization | 能否绕开显式 reward model 与在线 PPO？ | log-likelihood ratio、偏好数据、reference policy | win rate、held-out preference accuracy |
| Verifiable Reward RL | 数学、代码等任务能否以可判定结果提供低噪声 reward？ | group-relative advantage、rollout、verifier | pass@k、reward variance、采样成本 |
| Agentic RL | 多轮工具轨迹如何 credit assignment？环境如何防投机？ | MDP/POMDP、trajectory credit、evaluation design | 任务成功率、步骤数、工具错误率、成本 |
| World Models | 能否在潜变量世界中做 imagined rollout？ | model bias、planning、uncertainty | model loss、return、真实环境迁移差 |
LLM 的 PPO loop
- 从 prompt 分布采样 response trajectory。
- reward model 或 verifier 给分。
- 估计 advantage，加入 KL 约束以不偏离 reference model。
- 多轮 minibatch 更新 policy，同时监控 reward 与 KL 是否失控。
GRPO 的直觉
- 对同一个 prompt 采样一组输出。
- 用组内相对 reward 构造 advantage，减少依赖独立 value critic。
- 尤其适合 reward 可以自动验证的推理任务。
- 仍需警惕 reward saturation、长度偏置和 verifier 漏洞。
05 / EVIDENCE, NOT VIBES
没有对照和方差，曲线不构成结论。
RL 的随机性很强。一个 seed 的最终 reward 不能说明算法更好；每一个实验都要记录配置、随机种子、环境版本、预算、均值与离散程度。
已完成的 GridWorld 基线
A1 / A2 · deterministic environment · public code
9A1 Value Iteration 收敛 sweeps
3/3A1 Q-learning seeds 到达目标
8/8A2 基线在 episode 200 前收敛至远期目标
0/8快速衰减探索下，到达远期目标的 seeds
我们从 A2 得到的、可证伪的结论
(gamma=0.5) 时选择近处终点并非训练失败：在该折扣目标下它具有更高 discounted return；而 (epsilon) 在 25 episodes 内衰减完会让所有 seed 锁定近处终点。Potential-based shaping 保留最终正确策略，但本实验中没有比基线更早达到全 seed 收敛。完整脚本与数据见 RL Lab A2 ↗。
| 阶段 | 最低实验纪律 | 不应得出的结论 |
|---|---|---|
| Tabular RL | 至少 3 个 seed；报告成功率、步数、return；画策略图。 | “收敛了，所以参数最优。” |
| Deep RL | 5–10 个 seed；固定环境与 step budget；报告 median / IQR 或置信区间。 | “最后一个点更高，所以方法更好。” |
| Offline RL | 固定数据集版本；区分 in-distribution 与 OOD；报告 normalized score。 | “训练 loss 更低，所以行为更优。” |
| LLM RL | 固定 prompt/eval set；分离训练 reward 与 held-out task metric；报告 rollout token 成本。 | “reward 上升，所以模型更有用。” |
06 / PAPER READING ORDER
论文按“要解决什么失败模式”阅读。
每篇论文都要写出四件事：问题设定、核心假设、目标函数/系统机制、以及它在哪些条件下会失效。下列链接指向原始论文或作者页面；页面图均为自绘，不转载论文插图。
01Reinforcement Learning: An IntroductionSutton & Barto · MDP、Bellman、MC、TD 的共同语言。
02Human-level control through deep RLDQN · 为什么 replay buffer 和 target network 必须出现。
03Trust Region Policy OptimizationTRPO · 策略更新为何需要“信赖域”。
04Proximal Policy OptimizationPPO · clipped objective 与实用 on-policy 训练。
05Soft Actor-CriticSAC · 最大熵 RL、连续动作和样本效率。
06Mastering Atari, Go, Chess and Shogi by Planning with a Learned ModelMuZero · 未知动力学下的规划。
07Decision Transformer将 offline RL 转换为条件序列建模的视角。
08InstructGPTReward model + PPO 的经典 RLHF pipeline。
09Direct Preference Optimization偏好优化的直接目标，不等于传统在线 RL。
10DeepSeekMathGRPO：以 group-relative advantage 面向可验证奖励推理。
07 / WHAT WE DO NEXT
下一节：DQN 为什么不稳定？
开始实验前，先完成 B1 的原理页：函数逼近 + bootstrap + off-policy 三者为何形成“deadly triad”；然后用 CartPole 做最小对照，逐项加入 replay buffer、target network 和 Double DQN。
B1
DQN stability lab
同一环境、同一 seed budget，比较 vanilla Q-network、replay、target network、Double DQN。先定义 failure，再写代码。
指标：return、TD error、Q-scale、seed variance、wall-clock。
B2
PPO from equations
实现 GAE、ratio、clipped objective、value loss 和 entropy bonus；分开观察 policy loss、value loss、KL 与 clip fraction。
指标：success rate、KL、entropy、explained variance。
B3
从 RL 到 LLM rollout
用公开可验证任务构建最小 rollout → verifier → advantage → update 的训练闭环；训练与评估数据严格分离。
指标：pass@k、verifier error、tokens / solved task。