PLACIDOE / REINFORCEMENT LEARNING COLLECTION

强化学习
从 0 到 1

强化学习（Reinforcement Learning，RL）不是算法清单，而是一套从零开始、可推导、可质疑、可测量的学习系统。先补齐最小前置，再理解反馈闭环，最后进入深度强化学习（Deep RL）、LLM 后训练与 Agentic RL。

模式：零基础可进入
实验：按阶段逐步开启
当前：Lesson 03

COLLECTION MANIFESTO

每一课都回答一个明确的问题。

我们先不追求跑出分数，而是先建立判断力：优化目标是什么？数据从哪里来？哪个假设使算法成立？什么指标能推翻结论？每课固定包含“前置、直觉、符号、推导、伪代码、失败模式、自检题、下一课连接”；实验只在结果可审计时标记完成。

START HERE · 零基础前置地图 →

不默认你懂概率、线代、微积分或深度学习。先判断自己该补什么、何时补、补到什么程度。

GLOSSARY →

不认识名词时先查 Agent、State、Policy、Return、Value、TD、Replay 等术语；每个词给出一句定义和一个例子。

TEXTBOOK STANDARD

不是“看懂一遍”，而是能从零复述与推导。

01 · WHY

先用一个反例说明它要解决什么问题，避免公式先行、概念悬空。

02 · BUILD

从白话定义到符号表，再逐步推导；每个新符号都链接到名词速查。

03 · TEST

给出数值算例、伪代码、失败模式与可展开答案；会算才算真正理解。

CURRICULUM

路线不是直线，是能力依赖图。

先掌握一条 transition 如何变成学习信号，再理解神经网络如何放大不稳定性，最后迁移到 LLM 与工具环境。每一节都给出“必需前置”与“可跳过的进阶数学”。

UNDERSTAND → IMPLEMENT → MEASURE → EXTEND 01 · MDP 与回报状态、动作、奖励、轨迹02 · 价值与 Bellman估值、backup、TD error03 · 控制与探索策略、Q-learning、ε-greedy04+ · Deep / LLM / Agent RL近似、rollout、verifier、系统 实验将跟在原理之后；不会让“跑通代码”替代理解。
自绘依赖图：后续每个阶段都会回到前一层的 MDP、回报与估值概念。
00

零基础入口：前置知识与学习方法

只补当前需要的数学、Python 与 ML 常识；解释什么时候才需要线代、导数与深度网络。

START → 01

什么是强化学习？MDP、轨迹与长期回报

前置：G0 读公式 + 概率直觉。学习交互闭环、状态、动作、奖励与长期目标。

READ → 02

价值函数与 Bellman 方程

前置：Lesson 01 + G1 期望。把长期问题拆成一步 backup，区分 V、Q 与 TD error。

READ → 03

规划、Monte Carlo 与 Temporal Difference

前置：Lesson 02。模型已知时如何规划；模型未知时怎样通过完整回报或一步自举学习。

READ → 04

控制：SARSA、Q-learning 与探索

前置：Lesson 03。评估怎样变成改策略；on-policy / off-policy、ε-greedy 与最大化偏差。

CURRENT →
05

函数近似与 DQN：为什么深度 RL 容易不稳定

前置：G2/G4。神经网络替代表格后，deadly triad、replay buffer 与 target network 如何出现。

PENDING
06

Policy Gradient 与 Actor-Critic

前置：G3。log-derivative、REINFORCE、baseline、advantage 与 credit assignment。

PENDING
07

PPO / SAC 与现代稳定训练

前置：Lesson 06。trust region、KL、entropy、连续动作与离线评估的边界。

PENDING
08

前沿：Offline RL、World Models、RLHF 与 Agentic RL

前置：全课程地基。将 reward、rollout、verifier 与工具环境放进 LLM 系统。

PENDING

ALREADY IN THE LAB

实验不抢跑，但已有证据不会丢失。

A1 / COMPLETE

GridWorld 中 Value Iteration 9 次 sweep 收敛；Q-learning 的 3/3 seed 达到目标。

A2 / COMPLETE

8/8 baseline seed 在 episode 200 前收敛到远期目标；快速停止探索会锁定近处终点。

B1+ / PENDING

深度 RL 先完成原理页与评估方案，再开始训练和消融。

实验策略：每一项新实验先写“问题、变量、反事实、指标、停止条件”。只有脚本、配置、聚合数据和图都齐全，才会从 PENDING 变为 COMPLETE。