RL-赵-(七)-不基于模型2-时序差分/TD算法04-计算ActionValue：n-step Sarsa【折中①one-step Sarsa与②∞-step MC：采样n步然后更新π】-北京尧图网络

RL-赵-(七)-不基于模型4：n-step Sarsa【TD算法】【Sarsa与MC的折中形式：采样n步就更新π】【Sarsa只需要一步的数据就更新；MC需等到一个episode数据搜集结束再更新】n-Step Sarsa是Sarsa的一个变型或者是一个推广，因为n-step Sarsa包含了Sarsa和蒙特卡洛两种方法，也就是can unify Sarsa and Monte Carlo learning。Action Value的定义如下：q π ( s , a ) = E [ G t ∣ S t = s , A t = a ] q_\pi(s,a)=\mathbb{E}[G_t|S_t=s,A_t=a]qπ(s,a)=E[Gt∣St=s,At=a]其中的 discounted returnG t G_tGt有很多种写法【G t ( 1 ) G_t^{(1)}Gt(1)表示第一种写法，G t ( n ) G_t^{(n)}Gt(n)表示第n nn中写法】：Sarsa ⟵ G t ( 1 ) = R t + 1 + γ q π ( S t + 1 , A t + 1 ) , 【第 t + 1 时间步后的所有 r e w a r d 都汇总到 q π ( S t + 1 , A t + 1 ) 】 G t ( 2 ) = R t + 1 + γ R t + 2 + γ 2 q π ( S t + 2 , A t + 2 ) , 【第 t + 2 时间步后的所有 r e w a r d 都汇总到 q π ( S t + 2 , A t + 2 ) 】 : n -stepSarsa ⟵ G t ( n ) = R t + 1 + γ R t + 2 + ⋯ + γ n q π ( S t + n , A t + n ) , 【第 t + n 时间步后的所有 r e w a r d 都汇总到 q π ( S t + n , A t + n ) 】 MC ⟵ G t ( ∞ ) = R t + 1 + γ R t + 2 + γ 2 R t + 3 + … \begin{aligned} \text{Sarsa}\longleftarrow G_t^{(1)} =R_{t+1}+\gamma q_{\pi}(S_{t+1},A_{t+1}), 【第t+1时间步后的所有reward都汇总到q_{\pi}(S_{t+1},A_{t+1})】\\ G_{t}^{(2)} =R_{t+1}+\gamma R_{t+2}+\gamma^2q_\pi(S_{t+2},A_{t+2}), 【第t+2时间步后的所有reward都汇总到q_{\pi}(S_{t+2},A_{t+2})】\\ \text{:} \\ n\text{-step Sarsa}\longleftarrow G_t^{(n)} =R_{t+1}+\gamma R_{t+2}+\cdots+\gamma^nq_\pi(S_{t+n},A_{t+n}), 【第t+n时间步后的所有reward都汇总到q_{\pi}(S_{t+n},A_{t+n})】 \\ \text{MC}\longleftarrow G_t^{(\infty)} =R_{t+1}+\gamma R_{t+2}+\gamma^{2}R_{t+3}+\ldots \end{aligned}Sarsa⟵Gt(1)Gt(2):n-stepSarsa⟵Gt(n)MC⟵Gt(∞)=Rt+1+γqπ(St+1,At+1),【第t+1时间步后的所有reward都汇总到qπ(St+1,At+1)】=Rt+1+γRt+2+γ

RL-赵-(七)-不基于模型2-时序差分/TD算法04-计算ActionValue：n-step Sarsa【折中①one-step Sarsa与②∞-step MC：采样n步然后更新π】

相关推荐

HBase 2.0上安装Phoenix 5.0.0：选包、配置与生产避坑全指南

ROS移动机器人路径规划：A*与人工势场法融合实战

医疗设备电击防护分类详解：B型、BF型、CF型设计与漏电流控制

更多资讯

sql-server-samples 中的 SmoSamples:基于单元测试的 SMO 性能优化与网络度量实战

Tftpd64从安装到首次传文件：10分钟搭好Windows轻量级TFTP服务器教程

百考通AI实操指南：毕业设计从“肝”到“干”的高效路径

从线上事故到分层记忆：Agent上下文工程实战指南

WebMCP 声明式 API 终极指南：用＜form＞零 JS 把网页表单变成 AI 可调用工具

基于企业微信API的Python智能聊天机器人开发实践指南

今日更新

AI元人文：从工具使用到思维重构的深度探索

Python+CNN车牌识别实战：从数据预处理到模型训练与部署

Vim基础操作全攻略：保存退出、模式切换与高频命令实战

本周精选

深入解析Transformer多头注意力机制与工程优化

OpenClaw 的 Skills 跑学习任务，模型通道改到 TaoToken 通道行不行？

ChatGPT报错Oops, an error occurred! 全链路排查指南

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？