强化学习这条路上,PPO(Proximal Policy Optimization,近端策略优化)几乎是绕不开的一座山。不管你是做游戏AI、机器人控制、推荐系统,还是最近火起来的大模型对齐训练,PPO都稳稳地坐在核心算法的位置上。但…
强化学习这块我踩过的坑不算少,但真正让我从“调参玄学”里爬出来的,是认真把 PPO 的每一行损失函数拆开看了一遍。今天这篇不打算写成教科书,就按我自己从看懂公式到跑通训练、再到踩坑排查的顺序,把 PPO 这个算法从头到尾捋一遍…
1. 从Q-learning到CQL:一条被低估的进阶路线很多人学强化学习,路径是这样的:先看几篇科普,觉得“智能体自己试错学策略”很酷,然后直接冲进PPO、SAC的代码里,调包跑通一个CartPole或者HalfCheetahÿ…
先别急着把一万篇文章塞进 Obsidian。我是认真做过“收藏控”的,浏览器书签几千条,微信浮窗永远两位数爆满,云笔记里堆满了“改天细读”的文章。结果真到写方案、做周报、复盘项目的时候,一条都用不上。后来我花了几个月时间&…
/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
简介:面向Java毕业设计者的医院门诊挂号系统全套开源毕业设计资源包,基于SSM与JSP技术构建,采用Mysql数据库,适合毕业设计、课程设计或项目实训使用。压缩包约15.34MB,内含完整Java源码、Mysql数据库脚本、开题报告、毕…
国庆 7 天哪儿也没去。二线城市老城区的书房里,书桌一角放着放凉了的普洱茶,窗外是偶尔划过的汽笛声,屋里只有机械键盘清脆的敲击声。过去两个月,我们技术部所有业务线都在疯狂推进 AI 化改造,作为写了整整十年 Go 的老…
后台连着收到好几条几乎是同一个模板的私信:“Ponytail 插件怎么用?”“求一个 ponytail 插件安装包”“为什么我装的 ponytail 不生效”。我一开始也以为,这又是某个新出的效率工具,毕竟最近带“Skill”“插件”后缀的东西实在太…
最近一两年,"skills"这个词在AI工具链里的地位,简直像坐上了火箭。尤其是Claude Code、Codex这类编程智能体普及以后,大家对skills的讨论从"这是什么"直接跳到了"我今天又学会了几个skill""打开新世界&qu…
1. 从“skills”这个标题说起:为什么它值得单独拿出来聊“skills”这个词看起来简单到有点敷衍,但如果你最近在关注 Agent 开发、Google Cloud 的 AI 工具链,或者刷到过 Gemini 相关的各种讨论,就会发现它其实踩在了一个非常关键的…
1. 从"skills"这个热词说起:它到底在解决什么问题最近一段时间,不管是在技术社区还是各类开发者群组里,"skills"这个词出现的频率高得离谱。有人把它当成一个工具,有人把它当成一套规范,还有人把它…
/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …