TD(0) 深潜 — Placidoe RL

TARGET

学完后，你会知道 TD(0) 快在哪里、偏在哪里，以及它和 MC 的差别不是“是否使用 reward”。

掌握	原理	能诊断
TD target 与 TD error	r+γV(s′) 是一步 Bellman target 的样本；δ 衡量自洽性缺口。	为什么 terminal 要 mask；为什么 value 需要多次访问才传播远期收益。
bootstrap	target 部分来自自身当前估计。	速度收益与误差传播、偏差来源。
MC–TD 光谱	完整 return 与一步 target 是 n-step 家族两端。	何时应等更多真实奖励，何时应更早更新。

1 · DERIVATION

TD(0) 并不是把完整 return 扔掉，而是用 Bellman 递归替代它的未知后缀。

固定策略 π 下，真实回报满足 G_t=r_t+1+γG_t+1。如果还没有等到终局，G_t+1 不可见；TD(0) 用当前估计 V(s_t+1) 替换它：

target_TD = r_t+1 + γV_t(s_t+1)
δ_t = target_TD − V_t(s_t)
V_t+1(s_t) = V_t(s_t) + αδ_t下标 0 表示：只使用 0 个额外的真实 future reward，立刻由 V bootstrap。它仍用到一条真实 reward，不是纯模型推演。

条件期望下，E[r+γV(s′)|s] 恰是 Bellman 算子 T^πV 的一个分量。因此 TD 是朝固定点走的随机逼近；单次样本有噪声，但不需等整局。

2 · THE MECHANICS

一条两步轨迹怎样把终点 reward 向前传？

轨迹 A --0→ B --10→ terminal，γ=0.9、α=0.5，初始 V(A)=V(B)=0：

观察到的 transition	target	更新结果	为什么 A 暂时不变
A→B，r=0	0+0.9×V(B)=0	V(A) 仍为 0	后继 B 还没有价值；TD 只看一步。
B→terminal，r=10	10+0=10	V(B)=0+0.5×10=5	终点没有未来项，直接 reward 先写入 B。
下一局 A→B，r=0	0+0.9×5=4.5	V(A)=0+0.5×4.5=2.25	B 的已有估计向前 bootstrap 一步。

这不是 TD “学得慢”的缺陷，而是局部更新的代价；它换来的是无需等待 episode。n-step TD 会等 n 步真实 reward 后再 bootstrap，在传播速度、方差、偏差之间插入可调中间点。

3 · MC VS TD, PRECISELY

不要简化为“MC 完整、TD 不完整”；关键是 target 的随机性与估计依赖。

属性	MC	TD(0)
target	真实完整 G_t	r_t+1+γV(s_t+1)
是否 bootstrap	否；不依赖当前 value 估计。	是；后继估计错误会进入当前 target。
何时更新	episode 结束。	每条 transition 后。
典型有限样本特征	完整 future 随机性都进 target，方差大。	后继估计压缩了 future 随机性，常更低方差但有偏。
数据适配	需要自然终止。	适合持续任务与在线控制。

“TD 有偏、MC 无偏”需要条件

若固定策略、完整采样并以样本均值估计，MC 对 Vπ 的样本均值可无偏；TD target 因 V 仍不准而有 bootstrap bias。但函数近似、有限数据、变化策略都会改变这个简单二分，不能把它当绝对性能结论。

4 · CONVERGENCE AND FAILURE

表格 TD(0) 的稳定性来自固定点，不来自“每次误差变小”的幻觉。

在固定策略、有限 MDP、充分访问以及合适步长的表格条件下，TD(0) 可收敛到 V^π。其直觉是：每次更新的条件均值朝 T^πV−V 走，而 T^π 的固定点正是 Vπ；噪声靠重复采样与步长安排平均掉。

前提	少了会怎样	实验观测
策略固定或更新足够缓慢	目标本身移动，旧数据不再估同一个 Vπ。	行为策略／ε 曲线与 value 目标同时剧烈变化。
每个相关 state 被充分访问	未访问 state 的 value 只能保留初始化。	state visitation histogram。
步长合适	过大追逐噪声，过小传播极慢。	TD error 方差、value scale、不同 α 消融。
表格表示	函数共享参数使一个状态更新影响别处。	进入半梯度与 deadly triad 的问题域。

5 · THE SPECTRUM

TD(0) 不是孤岛，它处在 bootstrapping 程度的连续谱上。

G⁽ⁿ⁾_t = r_t+1+γr_t+2+···+γⁿ⁻¹r_t+n+γⁿV(s_t+n)n=1 是 TD(0) 的一步 target；n 一直延伸到终局时，最后一项消失，就变成 MC。n 越大，真实 reward 更多、bootstrap 更少；n 越小，更新更快、对估计依赖更多。

资格迹（eligibility trace）与 λ-return 会把许多 n-step target 加权组合；GAE 则把这种思想带入 policy gradient 的 advantage 估计。后续算法不是另起炉灶，而是在这条谱上选择偏差—方差位置。

SELF-CHECK

能推这三题，TD 原理就不是口号。

01 · r=−1，γ=0.9，V(s′)=8，V(s)=4，α=0.5；更新后 V(s) 是多少？

target=−1+0.9×8=6.2，δ=2.2，新值=4+0.5×2.2=5.1。

02 · 为什么 TD 可在线更新却可能传播错误？

它只需一步真实 transition 就有 target，因此快；但 target 的未来部分 V(s′) 是当前估计，错误会沿 backup 传向前驱状态。

03 · TD(0) 的“0”不是零 reward，是什么意思？

表示在 bootstrap 前不额外展开任何未来的真实 reward；只取一步 r 后就用 value estimate 补剩余未来。

从 value evaluation 到 action control。

Q-learning 深潜 →将 TD target 换为最优 action-value target，进入 off-policy control。