最近正在研究如何使用强化学习（RL）技术微调大模型，读 VeRL 框架 的代码。VeRL 代码库在 examples/ 目录下提供了一些 RL 训练的示例脚本。其中，ppo_trainer/run_deepseek7b_llm.sh 和 grpo_trainer/run_deepseek7b_llm.sh 这两个脚…
考虑这个场景：在 RL 微调大模型的过程中，我们让模型生成了一批回答，每个回答是一串文字；然后，我们给每个回答里的每个字（token）算了一个“损失值”（可以理解为这个字写得“好不好”的…
)
最近正在入门大模型 RL 微调，阅读 VeRL 框架代码。在这篇博客中，我们从 VeRL 源码入手，解读一下 ppo 和 grpo 算法的 advantage 计算方法： # 来自 verl/trainer/ppo/core_algos.py register_adv_est(AdvantageEstimator.GAE) # …
1. 榜单背景与行业价值2025年中国大数据产业正经历从规模扩张向价值深挖的关键转型期。Data Agent（数据智能体）作为融合大模型与垂直场景的新范式，正在重构企业数据应用的基础架构。金猿奖作为国内大数据领域最具公信力的行业奖项之一&#x…
简介：面向电机控制与嵌入式开发学习者的有感FOC位置、速度与电流三环算法实现资料，围绕坐标变换、PID调节、SVPWM调制、编码器反馈与电流采样等关键环节展开，代码在STM32F4平台上运行，适合希望理解有感控制链路、搭建实验样机或对…
简介：面向嵌入式学习者与需在STM32上实现存储读写的开发者，这份资料展示KEIL环境下通过SPI或SDIO驱动SD卡并挂载FATFS的完整思路，涉及引脚配置、扇区读写、FATFS裁剪及f_open、f_read等文件操作，也包含未检测到卡、文件不存在、读…
1. 从代码编写到架构设计：AI如何重塑工程师角色十年前我刚入行时，工程师的核心竞争力是能写出高效可靠的代码。现在打开GitHub Copilot，它能在几秒内生成比我当年更规范的函数实现。上周团队新来的应届生用GPT-4重构了我们的日志模块…
1. 项目概述这个项目提出了一种创新的机械故障诊断方法，将时频分析领域的离散韦格纳分布（DWVD）与深度学习中的多尺度卷积神经网络（MCNN）相结合。作为一名长期从事机械状态监测的工程师，我深知传统故障诊断方…
简介：这份资源面向嵌入式系统初学者与进阶开发者，围绕三星S3C2410（ARM920T内核）硬件平台与Windows CE系统的集成开发展开，提供实验手册与配套源码，帮助读者理解从系统架构、硬件接口到驱动与应用程序开发的…
1. 多智能体协作系统的时代背景2017年Transformer架构的诞生彻底改变了人工智能的发展轨迹。当行业还沉浸在单一大模型带来的性能突破时，Anthropic的研究团队已经将目光投向了更前沿的领域——如何让多个智能体通过协作产生超越单体能力的系统智能。这就像交响乐团中…
提到大模型的系统性入门，我先说个结论：这事真不难，难的是资料太散、路线太多，今天这个框架明天那个工具，新人很容易在“收藏夹吃灰”和“教程看到一半放弃”之间反复横跳。市面上关于大模型的内容少说有几十万篇&#…
1. 鸿蒙文件系统沙箱机制深度解析作为一名从Android转向鸿蒙开发的工程师，我深刻体会到文件系统访问是迁移过程中最先遇到的"拦路虎"。在Android上运行良好的文件读写代码，在鸿蒙真机环境却频频出现文件写入后神秘消失或直接抛出权限拒绝错误的…
在智慧养宠时代，基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而，与配合度高的人类不同，宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态，更无法控制光照环境。实际应用中，我们常…
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
在智慧养宠时代，基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而，与配合度高的人类不同，宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态，更无法控制光照环境。实际应用中，我们常…
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …