RL-赵-(七)-不基于模型2-时序差分/TD算法05-计算ActionValue：Q-Learning01【求贝尔曼最优公式⮕直接得最优ActionValue⮕直接更新目标π】【无需PE与PI迭代】-北京尧图网络

RL-赵-(七)-不基于模型5：Q-Learning【TD算法】【离线】【基于RM算法在无模型条件下求解贝尔曼最优公式-＞直接计算出最优ActionValue-＞直接更新目标π】【无需PE与PI迭代】直接求解q*(最优action value)得到最优策略，无需在PE与PI迭代来找最优策略。直接估计optimal action values，不需要进行policy evaluation和policy improvement相互迭代计算来找最优策略。接下来，我们介绍Q-learning，这是最广泛使用的强化学习算法之一。Sarsa基于一个给定的policy估计action value，它必须整合policy improvement step才能寻找最优策略。Q-learning直接估计optimal action values，从而找到最优策略。TD算法【用来计算State Valuevvv】：vt+1(st)⏟newestimate=vt(st)⏟currentestimate−αt(st)[vt(st)−[rt+1+γvt(st+1)⏟υˉtTDtargetvˉt]]⏞TDerrorδt\color{red}{ \underbrace{v_{t+1}(s_t)}_{\text{new estimate}} =\underbrace{v_t(s_t)}_{\text{current estimate}} - \alpha_t(s_t)[\overbrace{v_t(s_t)-[\underbrace{r_{t+1}+\gamma v_t(s_{t+1})}_{\bar{\upsilon}_t}^{\text{TD target }\bar{v}_t}]]}^{\text{TD error}\ \delta_t}}newestimatevt+1(st)=currentestimatevt(st)−αt(st)[vt(st)−[TDtargetvˉtrt+1+γvt(s

RL-赵-(七)-不基于模型2-时序差分/TD算法05-计算ActionValue：Q-Learning01【求贝尔曼最优公式⮕直接得最优ActionValue⮕直接更新目标π】【无需PE与PI迭代】

相关推荐

C语言详解

RL-赵-(七)-不基于模型2-时序差分/TD算法04-计算ActionValue：n-step Sarsa【折中①one-step Sarsa与②∞-step MC：采样n步然后更新π】

HBase 2.0上安装Phoenix 5.0.0：选包、配置与生产避坑全指南

更多资讯

sql-server-samples 中的 SmoSamples:基于单元测试的 SMO 性能优化与网络度量实战

Tftpd64从安装到首次传文件：10分钟搭好Windows轻量级TFTP服务器教程

百考通AI实操指南：毕业设计从“肝”到“干”的高效路径

从线上事故到分层记忆：Agent上下文工程实战指南

WebMCP 声明式 API 终极指南：用＜form＞零 JS 把网页表单变成 AI 可调用工具

基于企业微信API的Python智能聊天机器人开发实践指南

今日更新

AI元人文：从工具使用到思维重构的深度探索

Python+CNN车牌识别实战：从数据预处理到模型训练与部署

Vim基础操作全攻略：保存退出、模式切换与高频命令实战

本周精选

深入解析Transformer多头注意力机制与工程优化

OpenClaw 的 Skills 跑学习任务，模型通道改到 TaoToken 通道行不行？

ChatGPT报错Oops, an error occurred! 全链路排查指南

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？