状态–动作–奖励–状态–动作

描述

状态–动作–奖励–状态–动作（SARSA）是机器学习的强化学习领域中的一项基本算法。最初由 Rummery 和 Niranjan 开发为“改进的联结主义 Q-Learning”，其当前名称 SARSA 由 Rich Sutton 推广。该名称本身源自构成其 Q 值更新规则基础的五个元素：当前状态（S）、采取的动作（A）、获得的奖励（R）、后续状态（S'）以及在新状态下选择的下一个动作（A'）。这个特定的序列，通常表示为（S_t, A_t, R_{t+1}, S_{t+1}, A_{t+1}），正是赋予该算法独特名称的原因。

SARSA 作为一种同策略学习算法运行，这意味着它在遵循某个策略的同时学习该策略的价值。该算法的核心在于其 Q 值更新方程：Q_new(S_t, A_t) ← (1 - α)Q(S_t, A_t) + α [R_{t+1} + γ Q(S_{t+1}, A_{t+1})]。其中，α 代表学习率，控制新信息覆盖旧信息的程度；γ 是折扣因子，决定了未来奖励的重要性。学习率为 0 意味着不发生学习，而学习率为 1 则优先考虑最新信息。折扣因子为 0 使智能体变得短视，只关注即时奖励，而接近 1 的因子则鼓励最大化长期奖励。

与 Watkin 的 Q-Learning 等算法不同，后者通过考虑下一个状态可能获得的最大奖励来估计最优状态-动作值函数，SARSA 则学习与其当前执行策略相关的 Q 值。这种区别对于理解其行为至关重要，尤其是在采用探索策略的环境中。Q-Learning 的优化有时可以应用于 SARSA。算法的性能也受其初始条件的影响。“乐观初始条件”，即 Q 值被设置为一个高值（可能为无穷大），可以通过使初始动作看起来更有回报来鼓励探索。最近的研究还探索了使用首次获得的奖励来重置初始条件，从而在确定性奖励场景中实现即时学习，这种方法与人类学习模式一致。

SARSA 特别适用于需要在环境中通过试错来学习最优行为的智能体，尤其是在行动后果未完全知晓的情况下。其同策略的性质使其适用于智能体必须学习根据特定策略行事的场景，例如在机器人技术、游戏玩法或资源管理中，其中探索策略直接影响学习到的策略。

状态–动作–奖励–状态–动作亮点

• 学习马尔可夫决策过程策略

• 使用状态、动作、奖励、下一个状态和下一个动作进行更新

• 同策略学习算法

• 基于学习率（alpha）的 Q 值更新规则

• 用于未来奖励重要性的折扣因子（gamma）

• 可适应不同的初始条件

• 支持用于探索的乐观初始条件

• 可整合首次奖励以重置初始条件

• 强化学习智能体的基础

• 在动态环境中实现自适应决策

• 适用于通过试错学习

状态–动作–奖励–状态–动作入门

1. 1

   初始化状态-动作对的 Q 值

2. 2

   根据当前策略和 Q 值选择一个动作

3. 3

   执行动作，观察奖励和下一个状态

4. 4

   根据当前策略在新的状态下选择下一个动作

5. 5

   使用 SARSA 更新规则更新前一个状态-动作对的 Q 值

6. 6

   重复直到收敛或满足终止条件

状态–动作–奖励–状态–动作的使用案例

• 机器人控制
• 游戏 AI 开发
• 自主导航
• 资源管理
• 个性化推荐
• 算法交易

状态–动作–奖励–状态–动作的常见问题

• SARSA 在机器学习中是什么？

  SARSA（状态–动作–奖励–状态–动作）是一种强化学习算法，用于在马尔可夫决策过程中学习策略。它根据智能体的当前状态、动作、奖励、后续状态以及选择的下一个动作来更新其知识。

• SARSA 算法是如何工作的？

  SARSA 通过迭代更新 Q 值来工作，Q 值估计在给定状态下采取特定动作的预期未来奖励。更新规则结合了即时奖励和基于下一个状态-动作对的未来奖励的折扣估计。

• SARSA 和 Q-Learning 有什么区别？

  SARSA 是一种同策略算法，意味着它学习当前正在遵循的策略的价值。相比之下，Q-Learning 是一种异策略算法，它学习最优策略的价值，而不管探索过程中遵循的策略是什么。

• SARSA 中的学习率（alpha）起什么作用？

  SARSA 中的学习率（alpha）决定了更新 Q 值的步长。较高的 alpha 意味着新信息的影响更大，而较低的 alpha 则导致更新更慢、更谨慎。

• SARSA 中的折扣因子（gamma）是什么？

  SARSA 中的折扣因子（gamma）权衡了未来奖励的重要性。接近 0 的 gamma 使智能体变得短视，专注于即时奖励，而接近 1 的 gamma 则鼓励智能体寻求长期奖励。

• SARSA 中的乐观初始条件是什么？

  乐观初始条件涉及将初始 Q 值设置为一个高值。这通过使所有动作最初看起来都有吸引力来鼓励探索，从而增加它们的被选择概率，并使智能体能够发现更好的策略。

• SARSA 何时最有效？

  SARSA 在智能体需要通过与环境的交互来学习策略的场景中非常有效，尤其是在探索策略直接影响学习行为的情况下。例如机器人技术和游戏 AI。

• SARSA 能用于复杂环境吗？

  是的，SARSA 可以应用于复杂环境，但其有效性可能取决于状态-动作空间的大小和选择的探索策略。函数逼近技术通常用于处理大型状态空间。

• 在 SARSA 的上下文中，“同策略”是什么意思？

  “同策略”意味着 SARSA 学习当前用于做出决策的策略的价值。更新基于根据当前策略采取的动作，包括探索步骤。

• SARSA 如何处理奖励？

  SARSA 使用在采取动作并转移到新状态后获得的即时奖励（R_{t+1}）来更新 Q 值。该奖励与来自下一个状态-动作对的折扣未来奖励估计相结合。