TARGET
读完后，你能区分 Bellman expectation / optimality、方程 / 算法、真实 fixed point / 单次 noisy target。
| 核心对象 | 它在回答 | 不能混成 |
|---|---|---|
| Return G | 一条实际轨迹从现在起拿到了什么。 | 不是 value，也不是单步 reward。 |
| Vπ / Qπ | 固定策略下 return 的条件期望。 | 不是“最优”价值，除非 π 已最优。 |
| Bellman expectation | 固定 π 的自洽条件。 | 不是 max 方程。 |
| Bellman optimality | 最优价值的自洽条件。 | 不是任意当前策略的评价式。 |
1 · RECURSION COMES FROM THE DEFINITION
先从 G 开始：Bellman 不是额外假设。
Gt=rt+1+γrt+2+γ²rt+3+···
=rt+1+γGt+1第二行只是把第一项切出。它说明“现在开始的完整回报”等于“一步 reward 加折扣后的下一时刻完整回报”。这是所有 backup 的根源。
=rt+1+γGt+1第二行只是把第一项切出。它说明“现在开始的完整回报”等于“一步 reward 加折扣后的下一时刻完整回报”。这是所有 backup 的根源。
固定策略 π、并假定 state 满足 Markov 性后，对给定 s 的上述随机等式取条件期望：
Vπ(s)=Eπ[rt+1+γVπ(st+1) | st=s]从 G 到 V 的唯一变化是对随机未来取平均；从 Gt+1 到 V(s′) 则使用“当前 state 足够概括未来”的 Markov 建模。
2 · EXPAND THE EXPECTATION
两个求和分别是谁的随机性？
Vπ(s)=Σaπ(a|s)Σs′,rP(s′,r|s,a)[r+γVπ(s′)]第一层对策略可能选的动作平均；第二层对环境在该动作后的所有随机后继平均。确定策略或确定环境会让相应求和退化，但不是把它们从原理上删掉。
| 若改变什么 | 方程怎样变 | 含义 |
|---|---|---|
| π 确定 | 第一层只留一个动作。 | 评价“永远选某动作”的未来。 |
| 环境确定 | 第二层只留一个 (s′,r)。 | 模型期望退化成一条确定 next state。 |
| 策略改成最优选择 | 第一层加权平均换为 max。 | 不再评价固定 π，而是定义最优控制。 |
3 · TWO DIFFERENT FIXED POINTS
Expectation 与 optimality 只差一个 max，却在求不同问题。
(TπV)(s)=Σaπ(a|s)Σs′,rP[ r+γV(s′) ]
(T*V)(s)=maxaΣs′,rP[ r+γV(s′) ]Tπ 的固定点是当前策略价值 Vπ；T* 的固定点是最优价值 V*。不能在“我固定评估 π”时偷偷把平均换成 max，否则评价对象变了。
(T*V)(s)=maxaΣs′,rP[ r+γV(s′) ]Tπ 的固定点是当前策略价值 Vπ；T* 的固定点是最优价值 V*。不能在“我固定评估 π”时偷偷把平均换成 max，否则评价对象变了。
两者在 γ<1 的有限设置下都是压缩映射，因此各自有唯一固定点。算法层面的差异来自如何获得算子右侧：DP 有模型直接计算；MC 用完整 return；TD 用一步样本；Q-learning 用最优 max target。
4 · A BACKUP IS NOT A TRUTH ASSIGNMENT
target 是当前证据下的局部承诺，不是 state 的最终真值。
若看到 s→s′，r=2，当前 V(s′)=5，γ=0.9，则一步 TD target=6.5。若 V(s)=4、α=0.2，更新后是 4.5，而不是直接把 V(s) 写为 6.5：
δ=6.5−4=2.5；V(s)←4+0.2×2.5=4.5target 自己依赖 V(s′) 的当前估计且样本可能有噪声；小步更新是在累积证据。把 target 与真值混同，会看不懂为什么需要重复数据、target network 或评估。
5 · FAILURE MODES
Bellman 方程正确，不等于任意实现都正确。
| 错误 | 破坏了哪层原理 | 结果 |
|---|---|---|
| terminal 仍 bootstrap | 终止后 G 的后缀应为 0。 | 虚构未来价值泄漏，Q / V 系统性偏高。 |
| 状态不 Markov | V(s′) 不能代表完整未来条件。 | 同一 s 的 target 互相矛盾，价值抖动。 |
| 用 max 评价固定 π | 把 expectation 问题偷换为 optimality 问题。 | 声称在评估实际策略，实际却学另一个 greedy 策略。 |
| 把一次 TD error 当 loss 已收敛 | 单样本只是带噪算子样本。 | 对训练稳定性作过度结论。 |
SELF-CHECK
能分清这三层，Bellman 才不再是公式记忆。
01 · 为什么 Vπ(s) 要对动作做 Σπ(a|s)，而 Qπ(s,a) 不需要？
Vπ 尚未固定当前动作，必须按 π 对可能动作平均；Qπ 已条件于“先做 a”，所以当前动作不再平均。
02 · γ=0 会怎样？
return 只剩即时 reward；Bellman backup 不再传递未来。它仍是数学上可定义的目标，但任务已失去长期决策意义。
03 · 为什么 Q-learning 的 max 在 s′ 而不是 s？
当前 a 已经发生；最优性只允许从下一状态开始继续选最好动作。把 max 放在 s 会重写已经固定的条件。