AGENT / 智能体做决定的一方
接收信息、选择动作、根据反馈调整行为的程序或模型。
例子：玩 Atari 的控制器、机械臂控制网络、会调用工具的 LLM agent。
HOW TO USE
遇到陌生词，先回到它在交互闭环中的位置。
大多数 RL 术语属于四类：谁在行动、看见了什么、如何评价好坏、怎样从经验中更新。不要背定义；把术语放回“Agent → Action → Environment → Reward / Next State”的循环里。
INTERACTION
谁与谁交互？
ENVIRONMENT / 环境被行动影响的世界
接收动作，返回下一步信息和奖励的系统；可以是游戏、仿真器、代码执行器或浏览器任务。
例子：GridWorld 根据“向右走”返回新格子和 reward。
STATE / 状态 s决策所需的“充分信息”
如果知道当前状态和动作，就足以描述未来的概率分布，那么它是 Markov state。
例子：棋盘局面通常比“刚才下了什么棋”更接近状态。
OBSERVATION / 观测 oAgent 实际看得到的输入
观测不一定等于真实状态；它可能缺少隐藏信息，因此任务可能是部分可观测的。
例子：摄像头画面看不到机器人被遮挡的速度。
ACTION / 动作 aAgent 对环境施加的选择
动作可以是离散的，也可以是连续向量；动作空间决定可用算法。
例子：GridWorld 的上/下/左/右；机械臂每个关节的力矩。
REWARD / 即时奖励 r环境给出的局部反馈
它是每一步的信号，不等于最终目标；reward 设计会直接改变被优化的行为。
例子：抵达终点 +10、每走一步 -1，鼓励更短路径。
DATA & OBJECTIVE
一段经验怎样变成“长期好坏”？
TRAJECTORY / 轨迹 τ一次连续交互记录
由状态、动作、奖励不断交替形成的数据序列，是 RL 的基本训练材料。
例子：(s₀,a₀,r₁,s₁,a₁,r₂, …)。
EPISODE / 回合有开始和结束的一段轨迹
通常在成功、失败、超时或达到终止状态后结束；并非所有任务都天然分回合。
例子：走到 GridWorld 终点，或 CartPole 倒下。
POLICY / 策略 π从状态到动作的规则
策略可以确定性地选一个动作，也可以输出动作分布。训练的最终产物通常就是它。
例子：π(右|当前位置)=0.8，π(上|当前位置)=0.2。
RETURN / 回报 G从现在开始的长期奖励
未来 reward 的折扣和。优化 return，才会让智能体权衡短期成本与远期收益。
例子：现在 -1、以后 +10，是否值得要看完整 G。
DISCOUNT / 折扣 γ未来 reward 的权重
γ 接近 1 更重视长期后果；减小 γ 不只是“让训练更稳”，也会改变优化目标。
例子：A2 中 γ=0.5 会理性偏向较近的收益。
MDP / MARKOV DECISION PROCESS / 马尔可夫决策过程把“连续做决定的世界”写清楚的说明书
Markov（马尔可夫）指：当前状态已经包含预测未来所需的信息；Decision（决策）指 Agent 要选动作；Process（过程）指这个互动会不断重复。MDP 由状态、动作、转移概率、奖励和折扣组成，规定“环境是什么”和“好坏如何定义”。
例子：GridWorld：格子、移动规则、终点奖励与 γ。若“是否拿到钥匙”会改变开门结果，它也必须写进状态。
LEARNING SIGNALS
算法在估计什么，又靠什么更新？
VALUE / 状态价值 V(s)处于一个状态有多好
在遵循某个策略的前提下，从状态开始可获得的期望 return。
例子：离目标近不一定价值高，还要考虑陷阱和未来路径。
Q-VALUE / 动作价值 Q(s,a)在状态 s 做动作 a 有多好
它把“选择哪个动作”的比较显式化，Q-learning 因而可以直接选 max Q 的动作。
例子：同一格子中，向右与向上有不同 Q 值。
BELLMAN BACKUP用下一步估计当前步
当前价值 = 当前 reward + 折扣后的下一状态价值。它将长期问题递归拆解。
例子：Q(s,a) 用 r + γ max Q(s′,a′) 作为学习目标。
TD / TEMPORAL DIFFERENCE / 时序差分用“下一步”纠正“这一刻”的估计
Temporal（时序）说的是相邻时间步；Difference（差分）是新 target 与旧预测的差。TD error 写作 δ = r + γV(s′) − V(s)，表示“我原先对未来估计错了多少”。
例子：若意外拿到高 reward，δ 为正，相关价值会上调。
EXPLORATION / 探索主动尝试尚不确定的动作
不探索就可能永远不知道更好的路径；探索过多又会牺牲即时表现。
例子：ε-greedy 以 ε 的概率随机行动。
EXPLOITATION / 利用选择当前估计最好的动作
利用已有知识拿 reward；它与探索共同构成经典张力。
例子：选择当前 Q(s,a) 最大的动作。
MODEL / 环境模型预测环境如何回应动作的规则
模型给出转移概率与奖励，即 P(s′,r|s,a)。它可以由人提供、通过数据学习，或完全未知。
例子：棋盘游戏的移动规则是已知模型；真实机器人动力学常需要估计。
DP / DYNAMIC PROGRAMMING / 动态规划在已知模型上做递归 backup
Dynamic Programming（动态规划）不是“动态地写程序”：它把大问题拆成相互依赖的子问题，重复使用它们的答案。RL 里遍历状态，用所有可能后继的期望更新价值。
例子：Value Iteration 反复执行 maxₐ E[r+γV(s′)]。
MC / MONTE CARLO / 蒙特卡洛用完整随机样本回报做平均
Monte Carlo（蒙特卡洛）方法以大量随机试验的统计平均逼近期望。在 RL 中，它不需要环境模型，也不 bootstrap；要等 episode 结束得到真实 Gₜ。
例子：多次走到终点后，平均每次从某格开始的完整回报。
BOOTSTRAP / 自举用自己的下一步估计构造当前 target
不等最终结果，而以 r+γV(s′) 或 r+γmaxQ(s′,a′) 提前更新。它加快学习，也可能传播估计误差。
例子：TD(0) 看见一步 transition 就更新 V(s)。
NEXT
接下来这些词会自然出现。
Replay Buffer、Target Network、Actor、Critic、Advantage、KL、Verifier、Rollout、Off-policy、On-policy 会在对应原理课出现时补齐，不让词表领先于理解。