蒙特卡洛方法实战CartPole：从回报设计到策略改进的完整落地-北京尧图网络

CartPole 这个环境几乎是每个接触强化学习的人绕不开的第一道坎。倒立摆本身不复杂一根杆子铰接在小车上小车左右移动目标是让杆子别倒。但真动手写代码的时候很多人会卡在同一个地方——策略到底怎么评估回报怎么算为什么我写的蒙特卡洛版本跑了几千个 episode 还是学不出东西这篇就围绕蒙特卡洛方法在 CartPole 上的完整落地过程展开从回报设计、采样逻辑、策略改进到实测中那些文档里不会写的坑一次讲透。适合已经看过一点强化学习基础概念、但还没真正把一套算法跑通的人也适合想回头把蒙特卡洛这条线彻底理清楚的老手。1. 为什么 CartPole 是蒙特卡洛方法的天然试验场1.1 这个环境的本质一个有限步的 episodic 任务CartPole 有几个非常关键的性质决定了它和蒙特卡洛方法的契合度。第一它是episodic 任务每一局有明确的终止条件杆子倾斜超过约 12 度或者小车偏离中心超过约 2.4 个单位或者步数达到 200老版本或 500新版本。这意味着每一局都会结束而蒙特卡洛方法恰恰要求回合必须终止才能用完整回报做估计。这一点是它和时序差分最根本的分野——蒙特卡洛必须等一局走完拿到真实的累计回报才能更新价值。第二它的状态空间是连续的四个维度小车位置、小车速度、杆子角度、杆子角速度但动作空间是离散的只有两个向左推、向右推。这个组合很有意思——动作少策略可以很简单地表示状态连续又逼着你必须做离散化或者函数近似不能像格子世界那样直接开一张表。对蒙特卡洛来说最朴素的做法就是对状态做分桶离散化然后维护一张状态-动作的价值表。第三它的奖励结构极其稀疏又极其简单每存活一步给 1倒了就结束。没有中间奖励没有惩罚。这种设计让回报的计算变得干净但也埋了一个坑——回报的绝对值会随存活步数线性增长如果不做折扣数值会很大价值估计的方差也会很吓人。我一开始就是没想清楚这几点直接照搬格子世界的蒙特卡洛代码结果跑了一晚上策略还是随机乱推。后来才明白问题不在算法本身而在于我对episodic 连续状态稀疏奖励这三者叠加后的采样效率估计得太乐观了。1.2 蒙特卡洛和这个任务的气质匹配在哪蒙特卡洛方法的核心思想可以用一句话概括用一整局真实走下来的回报去估计某个状态或状态-动作对的价值。它不需要环境模型不需要自举bootstrap完全靠采样。这个特性在 CartPole 上体现得特别直观——你推一步环境给你下一个状态和奖励一局结束后你手里就有一条完整的轨迹从这条轨迹里能反推出每个访问过的状态-动作对到底值多少。对比一下时序差分TD 每走一步就能更新靠的是当前奖励下一状态价值的估计来自举。自举的好处是方差小、学得快坏处是引入了偏差而且对价值函数的初始值敏感。蒙特卡洛则是无偏的但方差大必须等回合结束。在 CartPole 这种回合长度可能从十几步到几百步不等的任务里方差问题会被放大——有的局十几步就倒了回报是十几有的局能撑到两百步回报是两百。同一个状态在不同局里的回报可能差一个数量级这就是方差。所以选蒙特卡洛做 CartPole本质上是在用无偏但高方差换实现简单、逻辑清晰。对于学习目的来说这笔买卖很划算因为你能亲眼看到回报是怎么算出来的、价值是怎么更新的。但如果追求样本效率后面肯定要往 TD 或者带基线的策略梯度走。这一点我心里一直有数所以这篇的重点放在把蒙特卡洛这条链路彻底跑通、跑明白而不是追求最快收敛。1.3 先明确我们要实现的是哪种蒙特卡洛蒙特卡洛方法本身有好几个变种动手前必须选清楚否则代码会写得很拧巴。主要分两个维度维度选项在 CartPole 上的取舍估计对象状态价值 V(s) / 状态-动作价值 Q(s,a)选 Q(s,a)因为要做控制需要知道每个动作的好坏更新时机首次访问 / 每次访问选首次访问实现简单方差略低探索方式同策略on-policy/ 异策略off-policy先用同策略的 ε-greedy最直观是否采样完整回合是蒙特卡洛的硬性要求必须等回合结束最终我落地的是首次访问、同策略、基于 ε-greedy 的蒙特卡洛控制。这个组合是教科书里最标准的版本也是理解后续所有改进的基准。选它的理由很实在首次访问只需要在一条轨迹里记录每个状态-动作对第一次出现的位置后面的重复访问直接跳过代码里一个set就能搞定同策略意味着采样用的策略和评估、改进的策略是同一个不用处理重要性采样那套权重逻辑干净。提示如果你看到某些实现里对同一条轨迹里重复出现的状态-动作对反复累加那是每次访问版本。两者在理论上都收敛但首次访问的样本利用率略低、方差略小初学阶段建议先用首次访问把逻辑理顺。2. 状态离散化连续空间落地的第一道关2.1 为什么必须离散化以及分桶的粒度怎么定CartPole 的观测是四个浮点数范围大致是小车位置 [-4.8, 4.8]小车速度 [-3.4, 3.4] 左右实际会更大杆子角度 [-0.418, 0.418] 弧度约 ±24 度但终止阈值是 ±12 度杆子角速度 [-3.4, 3.4] 左右。这些值都是连续的而蒙特卡洛的价值表需要一个可枚举的键。最直接的办法就是把每个维度切成若干段用段索引组成一个四元组作为字典的键。粒度怎么定这是第一个真正的决策点。切太粗比如每个维度只切 3 段那总共 3^4 81 个状态表达力太弱杆子稍微偏一点就落到同一个桶里策略根本学不出精细的控制。切太细比如每个维度切 20 段那就是 20^4 160000 个状态蒙特卡洛靠采样去填这张表绝大多数格子一辈子都访问不到价值全是初始值等于没学。我实测下来比较稳的一组是小车位置 6 段、小车速度 12 段、杆子角度 12 段、杆子角速度 12 段总共 6×12×12×12 10368 个状态。这个量级对蒙特卡洛来说是可以接受的——跑几千局之后高频访问的状态基本都能被覆盖到。角度维度切得细一点是有道理的因为角度是决定倒不倒的最直接因素分辨率不够的话策略对角度变化不敏感。具体分桶的代码逻辑是这样对每个维度给定上下界和段数用np.linspace生成边界再用np.digitize找到当前值落在哪一段。这里有个细节必须处理——超出边界的值要截断到边界内否则digitize会返回越界索引字典键就对不上了。CartPole 的速度维度实际可能超过理论范围不截断的话会偶发索引错误。import numpy as np # 每个维度的下界、上界、分桶数 bins [ (-4.8, 4.8, 6), # 小车位置 (-3.5, 3.5, 12), # 小车速度 (-0.42, 0.42, 12), # 杆子角度 (-3.5, 3.5, 12), # 杆子角速度 ] def discretize(obs): idx [] for value, (low, high, n) in zip(obs, bins): # 先截断防止越界 value min(max(value, low), high) # 生成 n-1 个内部边界 edges np.linspace(low, high, n 1)[1:-1] idx.append(int(np.digitize(value, edges))) return tuple(idx)2.2 分桶边界的一个隐蔽陷阱上面这段代码看起来没问题但有一个非常隐蔽的坑np.linspace(low, high, n1)[1:-1]生成的内部边界配合np.digitize的默认行为rightFalse会让最右端的值落到索引 n-1这是对的但如果你把上下界设得比实际观测范围窄截断之后大量值会堆在边界桶里导致边界桶的价值被严重平均化。我踩过一次一开始把杆子角速度的界设成 [-2, 2]结果高速旋转的样本全被截断到两端桶那两个桶里混了各种不同的真实角速度价值估计完全失真策略在杆子快速倾斜时反应迟钝。后来把界放宽到 [-3.5, 3.5]问题才消失。经验是分桶的上下界宁可放宽一点让截断尽量少发生也不要为了看起来整齐而收窄。截断是兜底手段不是常规手段。另一个相关的问题是角度维度。终止阈值是 ±12 度约 ±0.209 弧度但观测里角度可能到 ±0.418。如果你把角度界设成 ±0.209那所有接近终止的状态都会被截断到边界桶而这些恰恰是最需要精细区分的关键状态。所以角度界要设到 ±0.42 左右让终止前的状态有独立的桶。2.3 用字典还是用数组存价值表状态离散化之后价值表有两种存法字典键是四元组或者多维 numpy 数组形状是 6×12×12×12×2最后一维是动作。我两种都试过说下真实感受。字典的好处是灵活不用预先分配访问不存在的键时用defaultdict或者dict.get(key, 0.0)兜底就行。坏处是每次读写都有哈希开销而且遍历所有状态做策略改进时不如数组方便。数组的好处是索引快、可以直接做向量化操作、内存连续坏处是形状固定分桶方案一改就得重新分配而且 10368×2 个 float 也就 20 万字节左右内存完全不是问题。实测下来数组版本在几千局的量级上明显更快因为蒙特卡洛每局要更新几十到几百个状态-动作对哈希开销累积起来不小。所以我最终用的是 numpy 数组形状(6, 12, 12, 12, 2)初始值全设 0。这里初始值设 0 是有讲究的——蒙特卡洛是首次访问、无偏估计初始值不影响最终收敛只要每个状态-动作对都被访问足够多次设 0 最省事。但如果你用的是每次访问或者加了常数偏移初始值的选择就会影响早期行为这点要注意区分。3. 一整局的采样与回报计算蒙特卡洛的心脏3.1 轨迹的采集与存储结构蒙特卡洛的每一局本质上是在采集一条轨迹(s0, a0, r1, s1, a1, r2, ..., sT)。这里我用 0 基索引表示状态和动作奖励用下一步的索引避免混淆。采集的时候要按顺序把每一步的(状态, 动作, 奖励)存下来因为回合结束后要从后往前算回报。存储结构我推荐用一个列表每个元素是(state_tuple, action, reward)。不要在这一步就急着更新价值因为回报还没算出来。很多人图省事走一步就用当前奖励之前累积去更新那是 TD 的思路不是蒙特卡洛。蒙特卡洛必须等整条轨迹完整这是它的定义决定的不能偷懒。采集循环里有一个关键点ε-greedy 的探索必须作用在动作选择上而不是状态上。具体做法是以概率 ε 随机选动作0 或 1以概率 1-ε 选当前 Q 值最大的动作。当两个动作 Q 值相等时比如初始全 0要有一个确定的打破平局规则否则行为不可复现。我一般用np.argmax它在平局时返回第一个最大值的索引也就是固定选动作 0。这个细节在调试时很重要——如果你发现前期策略总是往一个方向推很可能就是平局规则导致的不是 bug。import random def choose_action(q_table, state_idx, epsilon): if random.random() epsilon: return random.randint(0, 1) q_values q_table[state_idx] # 长度为 2 的数组 return int(np.argmax(q_values))3.2 回报的计算折扣因子到底该不该用这是蒙特卡洛在 CartPole 上最容易被忽视、又最影响效果的一个决策。回报的定义是G_t r_{t1} γ·r_{t2} γ²·r_{t3} ...其中 γ 是折扣因子。γ1 表示不折扣γ1 表示越远的奖励权重越低。在 CartPole 里每步奖励都是 1所以如果 γ1那 G_t 就等于从 t 时刻到回合结束还剩多少步。这个量直接反映了从当前状态继续走下去能活多久语义非常清晰。如果 γ0.99那远处的步数会被逐渐打折G_t 会收敛到一个有限值大约 100 左右语义变成折扣后的存活时长。我一开始用的是 γ1理由是存活步数就是最直接的优化目标。跑下来发现一个问题不同局之间的回报差异极大十几到两百导致 Q 值的方差非常大策略改进时经常出现某个状态-动作对的 Q 值被一局超长回合拉得特别高之后很久都降不下来的现象。这就是高方差带来的估计不稳。后来改成 γ0.99方差明显下降收敛也稳了不少。原因很直观折扣让远处的奖励权重衰减一条两百步的轨迹对早期状态的价值贡献被压缩了不会因为偶尔一局超长就把某些 Q 值顶到天上。代价是引入了轻微偏差因为优化目标从存活步数变成了折扣存活步数但在 CartPole 上这个偏差可以接受因为杆子能撑过 100 步之后再往后的边际收益本来就在递减。注意如果你坚持用 γ1那 Q 值的量级会到几百学习率步长要相应调小否则单次更新就会把估计值拉爆。这是很多人 γ1 跑崩的直接原因。3.3 从后往前算回报的实现细节回报的计算必须从轨迹末尾往前推因为G_t r_{t1} γ·G_{t1}。用一个变量G从 0 开始倒序遍历轨迹每次G reward γ·G然后把 G 累加到对应的状态-动作对上。这个倒序累加是蒙特卡洛的标准写法比正序算每个 G_t 再求和要高效得多因为它是 O(T) 而不是 O(T²)。首次访问的处理在这里体现维护一个visited集合倒序遍历时如果当前(state, action)已经在集合里就跳过更新因为我们要的是这条轨迹里第一次出现的位置的回报而倒序遍历时最后遇到的才是正序的第一次。等等这里容易绕晕——倒序遍历时正序的第一次出现是倒序的最后一次遇到。所以正确做法是倒序遍历遇到没见过的就更新并加入集合遇到见过的就跳过。这样最终被更新的是正序第一次出现的位置符合首次访问的定义。def update_q(q_table, trajectory, gamma, alpha): G 0.0 visited set() for state_idx, action, reward in reversed(trajectory): G reward gamma * G key (state_idx, action) if key in visited: continue visited.add(key) # 增量式更新alpha 是步长 q_table[state_idx][action] alpha * (G - q_table[state_idx][action])这里用增量式更新Q α(G - Q)而不是直接赋值Q G是因为蒙特卡洛的每次估计都有方差直接赋值等于完全相信这一局的回报波动会非常大。用步长 α 做滑动平均相当于在多次采样之间做平滑。α 取 0.1 到 0.2 之间比较稳太小收敛慢太大震荡。这个 α 在理论上要满足随机逼近的收敛条件求和发散、平方和收敛但实操中固定一个 0.1 左右的值就够用了不必纠结理论条件。4. 策略改进与探索衰减的节奏控制4.1 ε-greedy 的 ε 该怎么衰减同策略蒙特卡洛控制的核心循环是用当前策略采样一整局 → 算回报 → 更新 Q → 用更新后的 Q 改进策略ε-greedy→ 下一局。这里的 ε 控制探索强度是整个算法能不能学出来的关键旋钮。ε 太大比如一直 0.5策略一直在乱试Q 值被随机动作的回报污染学不出精细控制。ε 太小比如一开始就 0.01前期 Q 值全是 0贪心选择永远选动作 0采样严重偏向一个方向另一侧的状态-动作对几乎访问不到价值表一半是空的。所以 ε 必须从大往小衰减。我实测的衰减方案是前 500 局 ε 从 1.0 线性降到 0.1之后保持 0.1 不再降。前 500 局基本是纯探索把状态空间大致扫一遍500 局之后开始利用但保留 10% 的随机性防止陷入局部最优。这个保留一个下限很重要——如果 ε 一路降到 0策略会完全贪心一旦某个状态-动作对的 Q 值被偶然高估就再也不会去尝试其他动作容易卡死。阶段局数范围ε 值目的纯探索期0 - 5001.0 → 0.1 线性覆盖状态空间填充价值表利用期500 以后固定 0.1主要利用保留少量探索这个节奏不是拍脑袋定的。500 局大概能让高频状态被访问几十次Q 值有了初步的区分度如果状态分桶更细比如两万多个状态探索期要相应拉长到一两千局。判断标准很简单看价值表里非零项的比例如果还有大量状态从没被访问过说明探索不够ε 衰减太快了。4.2 策略改进为什么不能每局都做理论上蒙特卡洛控制的策略改进是在每局结束后、Q 更新完之后立即进行的因为 ε-greedy 本身就是基于当前 Q 的。但实操中有一个微妙的问题单局的 Q 更新可能让策略发生剧烈跳变尤其是早期 Q 值还很不可靠的时候。如果每局都严格按最新 Q 做贪心策略会在不同方向之间来回横跳采样分布极不稳定。我的处理办法是让策略改进温和一点不是每局都重新计算贪心动作而是依赖 ε-greedy 在动作选择时实时读取 Q 值——也就是说策略改进是隐式的、连续的而不是显式地存一张策略表再整体替换。这样做的好处是策略随 Q 平滑演化不会因为某一局的异常回报就整体翻转。代价是理论上不如显式策略迭代严谨但在 CartPole 这种小任务上完全够用。如果你想要更严谨的版本可以每 N 局比如每 10 局才做一次显式的策略评估和改进中间用固定的 ε-greedy 采样。这种批量更新的思路能进一步降方差但实现复杂度上去了初学阶段没必要。4.3 一个反直觉的观察Q 值不需要精确跑通之后我盯着价值表看了很久发现一个有意思的现象很多状态的 Q 值估计其实相当粗糙两个动作的 Q 值差距可能只有零点几但策略依然能撑到两百步。这说明 CartPole 这个任务对价值估计的精度要求并不高只要在关键状态杆子明显偏向一侧时能选对动作其他时候选哪个都无所谓。这个观察对调参很有指导意义。很多人花大量时间调 α、调分桶、调 γ想让 Q 值更精确但其实收益递减很快。真正决定成败的是关键状态有没有被充分采样——也就是杆子接近终止阈值时那些状态。如果这些状态的价值估计不准杆子一到临界角度就倒。所以与其全局调精度不如针对性地保证关键区域的分桶分辨率和采样密度。我后来把角度维度的桶在 ±0.2 弧度附近加密用非均匀分桶效果比全局调参明显得多。5. 实测中的坑与排查链路5.1 跑了几千局还是不收敛问题出在哪这是最常见的情况我自己也卡过。现象是训练曲线每局存活步数一直在 20 到 50 之间震荡偶尔冒个 100 多但整体没有上升趋势。排查这种问题我总结了一条从外到内的链路按顺序走一遍基本能定位。第一步先确认环境交互本身没问题。写一个纯随机策略跑 100 局看平均存活步数。CartPole 随机策略大概能撑 20 步左右。如果随机策略都撑不到 10 步那可能是环境版本或者重置逻辑有问题跟算法无关。这一步是排除法的基础很多人跳过它直接怀疑算法结果在错误的方向上折腾很久。第二步检查回报的计算方向。这是最容易出错的地方。倒序累加时如果写成G reward gamma * G但遍历顺序搞反了正序遍历算出来的 G 就完全错了。验证方法手动构造一条三步轨迹奖励都是 1γ0.9手算 G_0 1 0.9 0.81 2.71然后打印代码算出来的值对比。对不上就是这里的问题。第三步看价值表的填充率。统计 Q 表中非零项的比例。如果训练几千局后还有 80% 的项是 0说明探索严重不足或者分桶太细采样根本覆盖不过来。这时候要么加大 ε、拉长探索期要么减少分桶数。第四步检查 ε 的衰减曲线。打印每局的 ε 值确认它确实在按预期衰减。我遇到过一次 ε 衰减写成了epsilon * 0.999但放在内层循环里结果一局之内 ε 就衰减到接近 0等于没有探索。这种 bug 不看打印根本发现不了。第五步看关键状态的 Q 值。挑几个杆子角度接近 ±0.2 弧度的状态打印它们的两个动作 Q 值。如果两个值几乎相等说明这些关键状态没被充分学习如果明显偏向往杆子倾斜的反方向推那策略其实是对的问题可能在别处比如评估指标。5.2 收敛了但表现不稳忽好忽坏另一种情况是训练后期平均步数上去了但方差很大有的局能到 200有的局三十几步就倒。这通常不是算法 bug而是蒙特卡洛固有的高方差在起作用加上 ε 保留的随机探索偶尔会选错动作导致翻车。缓解办法有几个。一是降低 ε 的下限从 0.1 降到 0.05减少随机翻车二是增大 α 的平滑减小 α让 Q 值更稳三是用多次评估取平均来判断真实水平而不是看单局。我一般训练完后用 ε0 的纯贪心策略跑 100 局取平均这个数字才代表策略的真实能力训练过程中的单局波动不用太在意。还有一个容易被忽视的点CartPole 的初始状态是随机的重置时四个维度都在小范围内随机初始化。如果某次评估恰好抽到杆子初始角度就偏大的状态那局本来就难撑。所以评估时样本量要够100 局起步否则平均值没意义。5.3 一个真实踩过的索引错位坑说一个我自己踩得最惨的坑。早期我用字典存 Q 表键是离散化后的四元组。有一次为了省事在采集轨迹时存的是原始连续观测更新时再离散化。看起来没问题但离散化函数里我用了np.digitize的默认参数而采集和更新两处的边界生成方式有细微差异一处用了n1个点取中间一处用了n个点导致同一个连续观测在两处被映射到不同的桶索引。结果就是采样的状态和更新的状态对不上Q 表被更新到了错误的键上怎么跑都不收敛。这个 bug 极其隐蔽因为代码不报错只是默默地学错东西。定位方法是在采集和更新两处都打印离散化结果对比同一条轨迹的同一个状态是否映射到同一个索引。发现不一致之后我把离散化逻辑抽成一个单独的函数两处都调用它问题才解决。教训是离散化这种翻译逻辑必须单一来源绝对不能在两处各写一遍。6. 把蒙特卡洛版本跑出效果的关键参数组合6.1 一套可以直接复现的参数把上面所有决策汇总成一套可复现的配置这是我实测下来在标准 CartPole 上能稳定跑到平均 150 步以上的组合参数取值说明分桶数(6, 12, 12, 12)位置粗、其余细分桶边界位置 ±4.8速度 ±3.5角度 ±0.42角速度 ±3.5略宽于理论范围减少截断折扣因子 γ0.99降方差可接受轻微偏差步长 α0.1滑动平均兼顾收敛与稳定ε 初始1.0纯探索起步ε 衰减前 500 局线性降到 0.1之后固定训练局数3000 - 5000视分桶粒度调整评估方式ε0 跑 100 局取平均排除随机探索干扰这套参数不是唯一解但它覆盖了所有关键决策点照着填基本能跑出效果。如果你的分桶更细训练局数要相应增加如果 γ 改成 1α 要降到 0.05 以下。6.2 训练过程该盯哪些指标不要只盯每局步数这一个数字它波动太大容易误判。我一般同时看三个滑动平均步数窗口 50 局看整体趋势这是主指标。Q 表非零率看探索覆盖度低于 50% 说明采样不足。贪心策略的评估步数每 200 局评估一次看真实策略水平排除 ε 探索的干扰。这三个指标配合起来看能区分探索不够和价值估计不准两种不同的停滞。前者表现为非零率低、滑动平均上不去后者表现为非零率高但贪心评估上不去。对症下药才有效。6.3 蒙特卡洛之后往哪走把蒙特卡洛这条线跑通之后最自然的下一步是对比 TD 方法。同样的离散化、同样的 ε-greedy把等回合结束算回报换成每步用下一状态价值自举你会直观感受到方差和偏差的权衡——TD 通常几百局就能到 150 步以上比蒙特卡洛快一个量级但初期波动可能更大。这个对比做一遍对强化学习里最核心的那个 trade-off 会有肌肉记忆级的理解。再往后可以试带基线的策略梯度或者 DQN但那些都需要函数近似复杂度上一个台阶。我的建议是别急着跳先把蒙特卡洛版本的各种参数都手动调一遍亲眼看看 γ、α、ε、分桶粒度各自怎么影响结果。这种手动建立直觉的过程比直接抄一个 DQN 跑通要有价值得多。毕竟算法可以查文档但这个参数动了会发生什么的判断力只能靠一次次实测攒出来。

蒙特卡洛方法实战CartPole：从回报设计到策略改进的完整落地

相关推荐

微信社群机器人开发指南：从技术选型到合规实践

多模态大模型中的System 2认知架构与工程实践

AI驱动学术写作：智能文献管理6大核心技术解析

更多资讯

Windows开机加速：5种启动项管理方法详解

Edge兼容性修复实战：从翻车到可复现的完整指南

Aspose.Words for Java 14.9 离线破解版技术解析

企业微信 iPad 方案怎么选？官方 API、自动化能力与风险边界

YOLOv10与红外成像在太阳能板缺陷检测中的应用

PyTorch安装验证全链路指南：CUDA、驱动、Python版本精准校准

今日更新

基于YOLOv11的石油泄漏智能检测系统开发实践

AI行业变局：合规、Mod化与上下文管理的实战启示

计算机视觉与AI原生应用融合的技术实践

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？