过程奖励模型（PRM）vs 结果奖励模型（ORM）深度解析：从 Monte Carlo 标注到推理验证的 LLM 推理能力训练新范式核心痛点：大模型推理能力训练中，仅靠结果奖励信号稀疏且易导致奖励劫持，过程级奖励建模成为突破推理瓶颈的关键适配人群：AI 研究工程师、大模型训练工程师、推理系统架构师、强化学习研究者收获能力：深入理解 PRM/ORM 的数学原理与训练方法论，掌握 Monte Carlo 标注、MCTS 搜索、Best-of-N 采样等核心机制，具备在生产环境中选择和部署奖励模型的实战能力技术背景与演进逻辑推理能力训练的三大范式演进第一阶段：监督微调（SFT）- 通过标注推理链数据直接训练 - 依赖人工标注成本高且泛化性有限第二阶段：结果奖励模型（ORM）- 仅对最终答案给出奖励信号 - 信号稀疏、难以定位推理错误第三阶段：过程奖励模型（PRM）- 对每个推理步骤给出奖励信号 - 信号密集、可精确定位错误步骤核心驱动力复杂数学推理任务中，ORM 无法区分"过程正确但计算错误"与"过程错误但碰巧得到正确答案"推理时计算扩展（Test-Time Compute Scaling）需要可靠的步骤级验证器来指导搜索OpenAI 的 “Let’s Verify Step by Step” (2023) 首次系统证明 PRM 在数学推理上显著优于 ORM演进时间线时间线 ├── 2022 - Uesato et al.: 提出过程监督 vs 结果监督的概念框架 ├── 2023 - OpenAI PRM800K: 首个大规模人工标注 PRM 数据集 ├── 2024 - Math-Shepherd: Monte Carlo 自动标注 PRM 训练 ├── 2024 - DeepSeek-R1: 结合 ORM 与强化学习的推理模型 ├── 2025 - OmegaPRM / GenPRM: 自动化 PRM 训练方法成熟 └── 2026 - CRM / SP-PRM: 过程-结果联合建模新范式核心原理深度解析结果奖励模型（ORM）核心原理数学定义给定问题q qq和推理步骤序列s = ( s 1 , s 2 , l d o t s , s n ) s = (s_1, s_2, ldots, s_n)s=(s1,s2,ldots,sn)，ORM 仅对最终答案a = s n a = s_na=sn给出奖励公式：R m a t h r m O R M ( q , s ) = m a t h b b 1 [ m a t h r m v e r i f y ( a , a ∗ ) ] R_{mathrm{ORM}}(q, s) = mathbb{1}[mathrm{verify}(a, a^*)]RmathrmORM(q,s)=mathbb1[mathrmverify(a,a∗)]其中a ∗ a^*a∗为标准答案，m a t h b b 1 mathbb{1}mathbb1为指示函数训练方法正负样本构建ORM 训练数据构建 ├── 正样本：推理链最终答案正确 - 标签 = 1 ├── 负样本：推理链最终答案错误 - 标签 = 0 └── 训练目标：二分类交叉熵损失训练流程ORM 训练流程 ├── 收集推理轨迹 - 判断最终答案对错 ├── 对错标注 - 训练二分类器 └── 二分类器 - 奖励模型 R(q,s)核心局限信号稀疏：只在推理链末端给出反馈，无法指导中间步骤的优化奖励劫持：模型可能学会"碰巧得到正确答案"的捷径路径信用分配困难：无法确定哪个步骤导致了最终的正确或错误过程奖励模型（PRM）核心原理数学定义PRM 对推理链中的每个步骤s i s_isi给出奖励信号公式：R m a t h r m P R M ( q , s , i ) = P ( s i m a
过程奖励模型（PRM）vs 结果奖励模型（ORM）深度解析：从 Monte Carlo 标注到推理验证的 LLM 推理能力训练新范式核心痛点：大模型推理能力训练中，仅靠结果奖励信号稀疏且易导致奖励劫持，过程级奖励建模成为突破推理瓶颈的关键适配人群：AI 研究工程师、大模型训练工程师、推理系统架构师、强化学习研究者收获能力：深入理解 PRM/ORM 的数学原理与训练方法论，掌握 Monte Carlo 标注、MCTS 搜索、Best-of-N 采样等核心机制，具备在生产环境中选择和部署奖励模型的实战能力技术背景与演进逻辑推理能力训练的三大范式演进第一阶段：监督微调（SFT）- 通过标注推理链数据直接训练 - 依赖人工标注成本高且泛化性有限第二阶段：结果奖励模型（ORM）- 仅对最终答案给出奖励信号 - 信号稀疏、难以定位推理错误第三阶段：过程奖励模型（PRM）- 对每个推理步骤给出奖励信号 - 信号密集、可精确定位错误步骤核心驱动力复杂数学推理任务中，ORM 无法区分"过程正确但计算错误"与"过程错误但碰巧得到正确答案"推理时计算扩展（Test-Time Compute Scaling）需要可靠的步骤级验证器来指导搜索OpenAI 的 “Let’s Verify Step by Step” (2023) 首次系统证明 PRM 在数学推理上显著优于 ORM演进时间线时间线 ├── 2022 - Uesato et al.: 提出过程监督 vs 结果监督的概念框架 ├── 2023 - OpenAI PRM800K: 首个大规模人工标注 PRM 数据集 ├── 2024 - Math-Shepherd: Monte Carlo 自动标注 PRM 训练 ├── 2024 - DeepSeek-R1: 结合 ORM 与强化学习的推理模型 ├── 2025 - OmegaPRM / GenPRM: 自动化 PRM 训练方法成熟 └── 2026 - CRM / SP-PRM: 过程-结果联合建模新范式核心原理深度解析结果奖励模型（ORM）核心原理数学定义给定问题q qq和推理步骤序列s = ( s 1 , s 2 , l d o t s , s n ) s = (s_1, s_2, ldots, s_n)s=(s1,s2,ldots,sn)，ORM 仅对最终答案a = s n a = s_na=sn给出奖励公式：R m a t h r m O R M ( q , s ) = m a t h b b 1 [ m a t h r m v e r i f y ( a , a ∗ ) ] R_{mathrm{ORM}}(q, s) = mathbb{1}[mathrm{verify}(a, a^*)]RmathrmORM(q,s)=mathbb1[mathrmverify(a,a∗)]其中a ∗ a^*a∗为标准答案，m a t h b b 1 mathbb{1}mathbb1为指示函数训练方法正负样本构建ORM 训练数据构建 ├── 正样本：推理链最终答案正确 - 标签 = 1 ├── 负样本：推理链最终答案错误 - 标签 = 0 └── 训练目标：二分类交叉熵损失训练流程ORM 训练流程 ├── 收集推理轨迹 - 判断最终答案对错 ├── 对错标注 - 训练二分类器 └── 二分类器 - 奖励模型 R(q,s)核心局限信号稀疏：只在推理链末端给出反馈，无法指导中间步骤的优化奖励劫持：模型可能学会"碰巧得到正确答案"的捷径路径信用分配困难：无法确定哪个步骤导致了最终的正确或错误过程奖励模型（PRM）核心原理数学定义PRM 对推理链中的每个步骤s i s_isi给出奖励信号公式：R m a t h r m P R M ( q , s , i ) = P ( s i m a
