尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
初创实习-CFF-GRPO
1. 背景无论是GRPO还是PPO,都需要RM,但是RM无法迁移到corner data上,因此这种在线的方式需要进行修改,如果能完全依靠规则的方式进行奖励那就好很多了🤔(参考 GRPO 的规则奖励)我们希望在Stage3的基础之上,表现能够进一步提升;GRPO 相关链接:https://blog.csdn.net/weixin_57128596/article/details/157809869?ops_request_misc=elastic_search_miscrequest_id=1f63ad9481efb869fc7a4eac50b49b62biz_id=0utm_medium=distribute.pc_search_result.none-task-blog-2allElasticSearch~search_v3-1-157809869-null-null.541v3pc_search_result_blog2utm_term=GRPOspm=1018.2226.3001.4450PPO 相关链接:https://blog.csdn.net/weixin_57128596/article/details/163241993?ops_request_misc=elastic_search_miscrequest_id=4cedcbdcffcadf1dd3661c04f4d7fc48biz_id=0utm_medium=distribute.pc_search_result.none-task-blog-2allElasticSearch~search_v3-2-163241993-null-null.541v3pc_search_result_blog2utm_term=PPOspm=1018.2226.3001.44502 期望我们期望模型的生成考虑符号规则,如:|顶级分隔:分割JSON最外层一级字段,顺序固定不可乱,固定顺序:cats_visible | lighting | cats内容 | other_beings | interactions | environment_anomalies | summary,二级分隔:一只猫咪体内所有属性用逗号挨个隔开,顺序固定;多只猫可继续用,追加。~三级内嵌分隔:只用于nearby_anchors锚点,格式固定:anchor_type~visual_id~proximity。因此完整期望如下:符号本身、和总数应该都是固定的,需要占据高权重,对模型的梯度影响要更大;模型生成内容需要正确,即符号后面的内容也很重要;参数不要和模型原来偏离太多;3 第一版奖励设计3.1 符号定义π θ \pi_\thetaπθ​:Actor模型(带LoRA,待优化)π ref \pi_{\text{ref}}πref​:冻结参考模型(Stage2 SFT基座,无LoRA)D DD:训练数据集,单条样本 = 图像 + prompt + GT compact标注N NN:一组内候选输出总数量i ii:组内第i ii条生成样本r i r_iri​:自定义复合奖励(JSON格式分 + 视觉字段识别分 + 猫咪数量硬惩罚)A i A_iAi​:组内标准化优势函数λ sft \lambda_{\text{sft}}λsft​:SFT损失权重β KL \beta_{\text{KL}}βKL​:KL正则权重特点:只需要Actor模型、Ref模型,和传统的强化学习不一样的是,数据集是带GT的 list;过程:组内优势函数A i A_iAi​是由静态的规则决定的,不涉及 RM;3.2 损失函数(1)完整总损失公式:L total = L GRPO ( π θ ) + λ sft ⋅ L SFT ( π θ ) \mathcal{L}_{\text{total}} = \mathcal{L}_{\text{GRPO}}(\pi_\theta) + \lambda_{\text{sft}} \cdot \mathcal{L}_{\text{SFT}}(\pi_\theta)Ltotal​=LGRPO​(πθ​)+λ
RELATED

相关推荐

基于 ARM 异构跨芯片算力调度的端侧离线 AI 智能体多端分级同系统及方法协

基于 ARM 异构跨芯片算力调度的端侧离线 AI 智能体多端分级同系统及方法协

已提交申请发明专利发明名称基于 ARM 异构跨芯片算力调度的端侧离线 AI 智能体多端分级同系统及方法协一、技术领域本发明属于 ARM 架构异构算力调度、端侧离线人工智能、多终端协同技术领域,涵盖嵌入式音视频采集、无线图传、AI 智能导播推流、本地多人隔离办公、离…

📅 2026/10/7 15:56:06
Git 完整学习笔记:从入门到团队协作

Git 完整学习笔记:从入门到团队协作

文章目录Git 完整学习笔记:从入门到团队协作(版本控制 命令 分支 冲突 远程仓库)一、版本控制分类1. 集中式版本控制2. 分布式版本控制二、Git 三大工作区域1. 工作区(workspace)2. 缓存区(index / 暂存…

📅 2026/9/18 21:00:48
C++核心构造单元:类、结构体、指针与引用深度解析与实战指南

C++核心构造单元:类、结构体、指针与引用深度解析与实战指南

1. 从“砖块”到“蓝图”:C核心构造单元深度解析干了这么多年C,我越来越觉得,学语言就像盖房子。你光知道砖头(基础数据类型)怎么用是远远不够的,你得知道怎么把它们砌成一面墙(结构体/类&#…

📅 2026/10/6 16:40:55
MORE NEWS

更多资讯

📰

浙江特种工招聘网站多久拿证?别再被中介骗了

浙江特种工招聘网站多久拿证?别再被中介骗了 你是不是也经常在【浙江特种工招聘网站】上看到“快速拿证”“1天出证”这些广告,但又怕被中介坑?别急,今天就给你讲明白, 多久拿证…

📰

长治什么地方学电工证真实经历告诉你怎么选

长治什么地方学电工证真实经历告诉你怎么选 之前考的证在外省能不能转过来?这是我最近接到的一个真实经历,不少人在外地打工、培训,考了证之后想回老家继续用,结果却发现流程复杂,不知道该从哪里开始。今天我来聊聊长治什么地方学电工证的问题,特别是怎…

📰

平阴特种作业证考试别怕学历低 上岗必备证书怎么拿

平阴特种作业证考试别怕学历低 上岗必备证书怎么拿 你是不是也在担心自己学历不高,根本报不了名?别急,平阴特种作业证考试其实对学历的要求并没有你想象中那么高,只要符合基本条件, 上岗必备…

📰

江苏南通特种工培训含金量有多高?这些干货必须知道

江苏南通特种工培训含金量有多高?这些干货必须知道 你是不是正为找一份稳定的工作发愁?是不是听说很多工地、工厂、企业都要求必须有特种作业证才能上岗?别急,江苏南通特种工培训正在帮你打开这扇门,但你知道它的含金量到底有多高吗?本文就从信阳浉河区…

📰

大同电工证怎么考,真实经历告诉你怎么破学历门槛

大同电工证怎么考,真实经历告诉你怎么破学历门槛 学历不高怕报不上名?这是很多想考电工证的人心里的坎。我以前也这么想,觉得没文凭就别想搞这些证件。直到我亲身经历了一次电工证考试,才明白, 学历不是门槛,而是你有没有认真准备…

📰

吴江哪里能办电工证多久拿证?电工证培训别踩这些坑

吴江哪里能办电工证多久拿证?电工证培训别踩这些坑 急需特种作业证才能上岗找工作,可很多人一到报名就犯难,尤其像吴江这种地方,找对地方、避开陷阱是关键。我之前帮洛阳某培训机构学员处理过一个真实案例,他花了几个月时间才拿到低压电工证,结果上岗后…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬