MDP 与长期回报：
强化学习到底在学什么？

FIRST TERM · MDP

MDP 是什么？先把名字拆开。

完整卡片见术语表：MDP。现在只记一句：先建 MDP，才谈算法。

LEARNING TARGET

学完后，你能把一个真实任务判断为“是否适合用强化学习（Reinforcement Learning，RL）”。

PRINCIPLE LAYER · MARKOV

Markov 性不是名词标签，而是让价值递推成立的“状态充分性”假设。

完整历史记为 h_t=(s₀,a₀,r₁,…,s_t)。若我们选出的状态表示真的充分，则在给定当前状态和动作后，未来不再需要历史：

若无法把足够历史压进有限状态，问题不是“MDP 理论失效”，而是部分可观测：需要 belief state、RNN／Transformer memory 或 POMDP 建模。先检查状态是否足够，常比先换算法更有价值。

DEEP DIVE · MDP

把环境从“能跑”提升为“可被正确学习”。

MODELING WORKSHOP

先把一个故事写成 MDP，再读任何公式。

设想一个 3×3 的“拿钥匙开门”游戏：起点在左下角；钥匙在中间；门在右上角；每走一步 −1，开门后 +10；没有钥匙时碰门留在原地。下面不是答案模板，而是每次遇到新 RL 问题都应填写的建模工作表。

def step(state, action):
    row, col, has_key = state
    next_row, next_col = move_or_stay(row, col, action)
    next_has_key = has_key or is_key(next_row, next_col)
    if is_door(next_row, next_col) and not next_has_key:
        return state, -1, False  # 门打不开：留在原地
    if is_door(next_row, next_col):
        return (next_row, next_col, next_has_key), +10, True
    return (next_row, next_col, next_has_key), -1, False

PREREQUISITES

开始这一课前，你只需要这些。

THE QUESTION

为什么“预测下一个标签”不足以描述 RL？

监督学习通常假设训练数据已经给定：输入 x 对应标签 y，模型减少预测误差即可。强化学习中，动作会改变下一个状态；当前为了拿到小 reward 的选择，可能损失未来更大的 reward。更关键的是：数据分布不是固定的，而是策略自己参与生成的。

这不是一个“为了写公式而写”的抽象。只要你能把一个任务描述成「看见什么 → 能做什么 → 做完会发生什么 → 什么算好」，它就已经是 RL 问题的雏形。

THE FIVE PIECES

把 MDP 的 5 个组成部分逐项说清。

标准记法是 MDP = ⟨S, A, P, R, γ⟩。下面用一个有步数成本的 GridWorld：每走一步 -1，抵达宝箱 +10，来区分每个符号真正承担的职责。

THE LOOP

一条 trajectory 是怎样产生的？

策略 π 在状态 sₜ 看到可行动的信息后选择 aₜ；环境才返回下一状态 sₜ₊₁ 和因这次转换得到的 reward rₜ₊₁。连续记录就是一条轨迹（trajectory） τ。

很多算法的差异不是交互循环不同，而是如何从同一批轨迹里估计长期好坏：Monte Carlo 等整局结束，TD 用下一步估计做 backup，policy gradient 则提高产生高回报轨迹的动作概率。

THE OBJECTIVE

reward 不是目标；长期回报才是。

某一时刻的 reward 只是局部信号。强化学习定义从时刻 t 开始的折扣回报（return）：

把数字真正算一遍。

假设从起点有两条路线：安全路线依次得到 -1、-1、+10；捷径立即得到 +3 并结束。对安全路线：

结论很重要：同一个环境、同一批 reward，换 γ 就可能换掉“正确策略”。因此把 γ 当作优化器学习率一样随意调，容易让实验在回答另一个问题。

THE MARKOV ASSUMPTION

为什么状态要“足够”描述过去？

MDP 假设：给定当前状态和动作，未来与更早历史独立。形式上：

这里要区分状态（state）与观测（observation）：环境内部可以有完整状态 s，智能体常常只拿到观测 o。若 o 丢了影响未来的变量，问题称为部分可观测 MDP（POMDP）。RNN、Transformer 或历史窗口不是“让问题自动变成 MDP”，而是在根据过去猜测隐藏状态。

MISCONCEPTIONS

四个会在后续反复出现的坑。

CHECK YOUR UNDERSTANDING

先自己答，再展开答案。

READ BEFORE NEXT LESSON

阅读不求快，求能复述假设。