初创实习-CFF-GRPO-北京尧图网络

1. 背景无论是GRPO还是PPO，都需要RM，但是RM无法迁移到corner data上，因此这种在线的方式需要进行修改，如果能完全依靠规则的方式进行奖励那就好很多了🤔（参考 GRPO 的规则奖励）我们希望在Stage3的基础之上，表现能够进一步提升；GRPO 相关链接：https://blog.csdn.net/weixin_57128596/article/details/157809869?ops_request_misc=elastic_search_miscrequest_id=1f63ad9481efb869fc7a4eac50b49b62biz_id=0utm_medium=distribute.pc_search_result.none-task-blog-2allElasticSearch~search_v3-1-157809869-null-null.541v3pc_search_result_blog2utm_term=GRPOspm=1018.2226.3001.4450PPO 相关链接：https://blog.csdn.net/weixin_57128596/article/details/163241993?ops_request_misc=elastic_search_miscrequest_id=4cedcbdcffcadf1dd3661c04f4d7fc48biz_id=0utm_medium=distribute.pc_search_result.none-task-blog-2allElasticSearch~search_v3-2-163241993-null-null.541v3pc_search_result_blog2utm_term=PPOspm=1018.2226.3001.44502 期望我们期望模型的生成考虑符号规则，如：|顶级分隔：分割JSON最外层一级字段，顺序固定不可乱，固定顺序：cats_visible | lighting | cats内容 | other_beings | interactions | environment_anomalies | summary,二级分隔：一只猫咪体内所有属性用逗号挨个隔开，顺序固定；多只猫可继续用,追加。~三级内嵌分隔：只用于nearby_anchors锚点，格式固定：anchor_type~visual_id~proximity。因此完整期望如下：符号本身、和总数应该都是固定的，需要占据高权重，对模型的梯度影响要更大；模型生成内容需要正确，即符号后面的内容也很重要；参数不要和模型原来偏离太多；3 第一版奖励设计3.1 符号定义π θ \pi_\thetaπθ：Actor模型（带LoRA，待优化）π ref \pi_{\text{ref}}πref：冻结参考模型（Stage2 SFT基座，无LoRA）D DD：训练数据集，单条样本 = 图像 + prompt + GT compact标注N NN：一组内候选输出总数量i ii：组内第i ii条生成样本r i r_iri：自定义复合奖励（JSON格式分 + 视觉字段识别分 + 猫咪数量硬惩罚）A i A_iAi：组内标准化优势函数λ sft \lambda_{\text{sft}}λsft：SFT损失权重β KL \beta_{\text{KL}}βKL：KL正则权重特点：只需要Actor模型、Ref模型，和传统的强化学习不一样的是，数据集是带GT的 list；过程：组内优势函数A i A_iAi是由静态的规则决定的，不涉及 RM；3.2 损失函数（1）完整总损失公式：L total = L GRPO ( π θ ) + λ sft ⋅ L SFT ( π θ ) \mathcal{L}_{\text{total}} = \mathcal{L}_{\text{GRPO}}(\pi_\theta) + \lambda_{\text{sft}} \cdot \mathcal{L}_{\text{SFT}}(\pi_\theta)Ltotal=LGRPO(πθ)+λ

初创实习-CFF-GRPO

相关推荐

基于 ARM 异构跨芯片算力调度的端侧离线 AI 智能体多端分级同系统及方法协

Git 完整学习笔记：从入门到团队协作

C++核心构造单元：类、结构体、指针与引用深度解析与实战指南

更多资讯

Aseprite 像素美术工作流：从角色动画、精灵表到关卡搭建

LoRa抗干扰实战：工业复杂电磁环境下的稳定通信方案

Scratch积木渲染性能优化：从DOM瓶颈到GPU加速

ESP32+W5500有线以太网：SPI时序、寄存器读写与避坑实战

边缘AI芯片SoC资源权衡的12种实战组合

EMC测试条件对齐：传导发射与辐射发射复测差异解析

今日更新

AReaL 调试指南：从 Agent Workflow 验证到分布式训练死锁诊断

MATLAB实现GPS L1 C/A信号仿真与二维捕获验证

彻底搞懂ASCII、Unicode与UTF-8：从乱码根源到编码实战

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？