大模型算法项目做到 90% 进度听起来离上线只差临门一脚但真正经历过的人都知道剩下的 10% 往往藏着最难的工程问题。最近把多轮训练机制完整落地到项目里发现它确实是提升模型能力的关键杠杆。本文不聊空泛的概念而是把多轮训练从原理、数据构造、训练脚本到评估调优的完整链路拆开来讲并附上可直接参考的代码示例和排错思路适合正在做大模型微调、对齐训练和领域适配的算法工程师与项目负责人阅读。1. 为什么算法项目进度停在 90%瓶颈往往在“最后一轮”很多大模型项目都会有这样的经历第一轮训练跑完模型已经能输出像样的结果指标也能看第二轮、第三轮再训练提升幅度却越来越小甚至出现灾难性遗忘。项目进度条卡在 90%不是数据不够也不是算力不足而是训练策略没有把模型能力“顶”上去。1.1 大模型算法项目里的“多轮训练”是什么多轮训练在行业里通常指两种含义多轮对话训练数据模型输入是多轮用户与助手的对话历史模型要学会上下文理解与连贯回复多阶段/多轮迭代训练同一份基础模型通过多轮不同的训练目标、数据配比和训练策略来逐步提升能力。这两种含义并不冲突。实际项目中多轮训练往往同时包含它们用多轮对话数据训练模型让模型学会“翻旧账”再通过多轮迭代训练把通用能力、领域能力和对齐能力分阶段注入。1.2 多轮训练到底解决了什么问题单轮训练一次性把所有数据喂进去存在几个明显缺陷数据冲突通用指令数据和领域专业数据混在一起梯度方向互相拉扯学习率过热后期数据稀缺时模型还在用较高的学习率容易过拟合遗忘与覆盖模型学会新知识后旧知识被冲掉。多轮训练把训练目标拆解成多个阶段每个阶段聚焦一个子目标控制学习率和数据分布让模型一步一步逼近理想状态。这也是为什么 OpenAl、Anthropic 等前沿团队在做 RLHF 和 RLAIF 时都强调阶段式训练而不是一次到位。1.3 本文能帮你解决什么如果你正在做大模型的微调、多轮对话适配、领域知识注入或对齐训练这篇文章会覆盖多轮训练的核心机制与设计思路数据如何构造、配比如何选择完整的多轮训练代码示例PyTorch HuggingFace Transformers 风格评估与迭代策略、常见问题排查清单把训练成果稳定部署上线的工程建议。2. 环境准备与版本说明多轮训练跑在 GPU 集群上环境差异很大。下面以常见的开源技术栈为例给出项目落地时可直接对照的环境清单。2.1 硬件与操作系统训练节点建议至少 4 张 24GB 显存以上的 GPU如 A10/A100/H100具体取决于模型参数量操作系统Ubuntu 20.04 / 22.04 LTSCentOS 7/8 也可但需要注意 CUDA 驱动兼容显存不够时可以优先尝试 LoRA、QLoRA 等参数高效微调方案不一定非要全参训练。2.2 软件环境示例Python: 3.10 CUDA: 11.8 或 12.1取决于 GPU 驱动和 PyTorch 版本 PyTorch: 2.x Transformers: 4.36 Datasets: 2.16 PEFT: 0.7 Accelerate: 0.26 TRL: 0.7可选用于 SFT/DPO 训练如果你的环境和上面不一致不要紧张重点不是版本号完全一致而是“思维框架一致”。配置命令时把pip install的版本号替换成与你环境兼容的即可。2.3 示例项目结构llm_multi_round_training/ ├── config/ │ └── train_config.yaml ├── data/ │ ├── round1_sft_data.jsonl │ ├── round2_domain_data.jsonl │ └── round3_alignment_data.jsonl ├── src/ │ ├── dataset.py │ ├── train.py │ ├── evaluate.py │ └── infer.py ├── models/ │ └── base_model/ # 基座模型存放目录 ├── output/ │ ├── round1_checkpoint/ │ ├── round2_checkpoint/ │ └── round3_checkpoint/ └── scripts/ ├── run_round1.sh ├── run_round2.sh └── run_round3.sh这个结构把每一轮的输入数据、输出模型分开存放方便回滚和对比实验。3. 多轮训练的核心原理拆解多轮训练不是一个“执行三遍训练脚本”的简单动作它背后对应一套完整的学习率退火、数据配比和模型演化逻辑。3.1 第一轮指令遵循能力打底第一轮通常使用通用指令数据SFTSupervised Fine-Tuning。这个阶段的目的是让基座模型学会“听指令”具备问答、写作、代码生成等基础能力。数据量通常是几千到几十万条不等取决于基座模型的基础能力。 学习率一般使用中等学习率例如 2e-5 到 5e-5。 epoch 数推荐 1 到 3 个 epoch不需要过多。3.2 第二轮领域知识注入当模型已经具备通用能力后注入领域数据比如金融、医疗、法律、代码等让模型在特定场景下表现更专业。关键点领域数据与通用数据的配比要控制好常见做法是 1:1 到 1:3如果领域数据太少可以用数据增强或从关系数据库提取业务语料加工成训练样本仍然要注意学习率如果学习率过高领域知识会覆盖通用能力。3.3 第三轮对齐与偏好优化对齐训练的目标是让模型的输出符合人类偏好例如更安全、更有帮助、更简洁。常用的技术包括 RLHF基于人类反馈的强化学习、DPODirect Preference Optimization等。这一阶段不再使用普通的“标准答案”数据而是使用偏好对数据chosen/rejected模型要学会选择更优质的回复。3.4 多轮训练的本质分阶段退火多轮训练的本质是在一个更大的“课程学习”框架下逐步调整数据分布与学习目标。如果所有数据混合在一次训练里完成模型很难同时兼容“通用知识”与“深度领域能力”分阶段训练则让模型在不同阶段专注于不同目标最终融合成一套能力更强的参数。下面用表格对比一下单轮训练和多轮训练的差异对比维度单轮混合训练多轮分阶段训练数据组织所有数据混合按阶段、按目标拆分学习率策略全程一致或线性衰减每个阶段独立退火能力覆盖容易顾此失彼各阶段能力逐步叠加调试难度问题难定位问题可按轮次定位训练成本相对较低相对较高但可控最终效果中规中矩更易逼近业务天花板4. 多轮训练实战案例从数据构造到训练完成接下来用一个完整的最小示例演示三轮训练怎么组织。这个示例基于 HuggingFace Transformers 和 PEFT即使你的模型是 Qwen、Llama、ChatGLM 等思路都通用。4.1 准备训练数据每一轮的数据文件使用 JSONL 格式。第一轮用通用指令数据第二轮用领域业务数据第三轮用偏好对齐数据。通用指令数据示例data/round1_sft_data.jsonl{instruction: 解释什么是大模型, input: , output: 大模型通常指参数规模庞大的深度学习模型能够从海量数据中学习复杂模式广泛用于自然语言处理和生成任务。} {instruction: 写一段 Python 快排代码, input: , output: def quick_sort(arr):\n if len(arr) 1:\n return arr\n pivot arr[len(arr) // 2]\n left [x for x in arr if x pivot]\n middle [x for x in arr if x pivot]\n right [x for x in arr if x pivot]\n return quick_sort(left) middle quick_sort(right)}领域数据示例data/round2_domain_data.jsonl{instruction: 根据企业年报数据分析资产负债率变化趋势, input: 某公司近三年资产负债率分别为 45%、52%、60%。, output: 该公司资产负债率连续三年上升说明财务杠杆在加大需要关注偿债压力和融资成本变化。} {instruction: 解释 PTP 非对称时延补偿算法的作用, input: , output: PTP 非对称时延补偿算法用于消除网络上下行链路时延不一致导致的时间同步误差提升同步精度。}第三轮偏好数据示例data/round3_alignment_data.jsonl{ prompt: 如何快速赚到钱, chosen: 可以尝试提升个人技能、寻找兼职机会或开展合规副业不建议参与高风险投机活动。, rejected: 你可以去赌博或者做灰色项目来钱快。 } { prompt: 写一封请假邮件, chosen: 尊敬的领导您好由于个人身体不适需要请假一天预计下周一恢复正常工作。感谢您的理解, rejected: 领导我不来了。 }4.2 编写数据集加载模块文件路径src/dataset.py这个模块负责把 JSONL 文件读取成训练需要的数据格式。核心逻辑是将指令和输出拼接成模型输入文本并切分成 input_ids 和 labels。import json import torch from torch.utils.data import Dataset from transformers import AutoTokenizer class MultiRoundDataset(Dataset): def __init__(self, data_path: str, tokenizer: AutoTokenizer, max_length: int 1024): self.samples [] self.tokenizer tokenizer self.max_length max_length with open(data_path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: continue self.samples.append(json.loads(line)) def __len__(self): return len(self.samples) def __getitem__(self, idx): sample self.samples[idx] instruction sample.get(instruction, ) input_text sample.get(input, ) output_text sample.get(output, ) # 拼接模型输入不同模型模板不同这里以 Qwen 风格模板为例 prompt f|im_start|user\n{instruction}\n{input_text}|im_end|\n|im_start|assistant\n full_text prompt output_text |im_end|\n # 只用输出部分作为监督标签 encoded self.tokenizer( full_text, truncationTrue, max_lengthself.max_length, return_tensorspt ) input_ids encoded[input_ids][0] labels input_ids.clone() prompt_ids self.tokenizer( prompt, truncationTrue, max_lengthself.max_length, return_tensorspt )[input_ids][0] # prompt 部分不参与 loss 计算 labels[: len(prompt_ids)] -100 return { input_ids: input_ids, attention_mask: encoded[attention_mask][0], labels: labels, }代码说明使用-100作为 ignore index在计算交叉熵损失时会被自动忽略prompt 长度通过重新编码 prompt 来获取避免手工数 token如果你用的模型模板不同需要把prompt拼接格式替换成对应模型的 chat template。4.3 编写多轮训练主脚本文件路径src/train.py这个脚本支持通过参数传入当前轮次的数据路径和输出目录从而实现“同一个脚本按轮次反复调用”。import argparse import os import torch from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, DataCollatorForSeq2Seq, ) from peft import LoraConfig, get_peft_model, TaskType, prepare_model_for_kbit_training from dataset import MultiRoundDataset def parse_args(): parser argparse.ArgumentParser(descriptionMulti-round LLM Training) parser.add_argument(--model_path, typestr, requiredTrue, help基座模型路径) parser.add_argument(--data_path, typestr, requiredTrue, help当前轮次数据路径) parser.add_argument(--output_dir, typestr, requiredTrue, help当前轮次输出目录) parser.add_argument(--num_epochs, typefloat, default3.0) parser.add_argument(--learning_rate, typefloat, default2e-5) parser.add_argument(--batch_size, typeint, default4) parser.add_argument(--max_length, typeint, default1024) parser.add_argument(--use_lora, actionstore_true, help是否使用 LoRA) return parser.parse_args() def main(): args parse_args() tokenizer AutoTokenizer.from_pretrained(args.model_path, trust_remote_codeTrue) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained( args.model_path, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue, ) if args.use_lora: peft_config LoraConfig( task_typeTaskType.CAUSAL_LM, r8, lora_alpha32, lora_dropout0.1, target_modules[q_proj, k_proj, v_proj, o_proj], ) model get_peft_model(model, peft_config) model.print_trainable_parameters() train_dataset MultiRoundDataset( data_pathargs.data_path, tokenizertokenizer, max_lengthargs.max_length, ) training_args TrainingArguments( output_dirargs.output_dir, overwrite_output_dirTrue, num_train_epochsargs.num_epochs, per_device_train_batch_sizeargs.batch_size, gradient_accumulation_steps8, learning_rateargs.learning_rate, weight_decay0.01, warmup_ratio0.03, logging_steps10, save_steps500, save_total_limit2, fp16True, dataloader_num_workers4, remove_unused_columnsFalse, report_tonone, ) data_collator DataCollatorForSeq2Seq( tokenizertokenizer, modelmodel, paddingTrue, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, data_collatordata_collator, tokenizertokenizer, ) trainer.train() trainer.save_model(args.output_dir) tokenizer.save_pretrained(args.output_dir) print(fTraining completed, model saved to {args.output_dir}) if __name__ __main__: main()4.4 编写三轮训练的 shell 脚本为了便于统一管理把每一轮的启动命令写入 shell 脚本。文件路径scripts/run_round1.sh#!/bin/bash export CUDA_VISIBLE_DEVICES0,1,2,3 python ../src/train.py \ --model_path ../models/base_model \ --data_path ../data/round1_sft_data.jsonl \ --output_dir ../output/round1_checkpoint \ --num_epochs 3 \ --learning_rate 3e-5 \ --batch_size 4 \ --use_lora文件路径scripts/run_round2.sh第二轮训练时加载第一轮的输出作为基座模型学习率适当降低。#!/bin/bash export CUDA_VISIBLE_DEVICES0,1,2,3 python ../src/train.py \ --model_path ../output/round1_checkpoint \ --data_path ../data/round2_domain_data.jsonl \ --output_dir ../output/round2_checkpoint \ --num_epochs 2 \ --learning_rate 1e-5 \ --batch_size 4 \ --use_lora文件路径scripts/run_round3.sh第三轮对齐训练如果使用 DPO训练逻辑会有所不同这里先用 SFT 格式的偏好数据做一轮精调示范。#!/bin/bash export CUDA_VISIBLE_DEVICES0,1,2,3 python ../src/train.py \ --model_path ../output/round2_checkpoint \ --data_path ../data/round3_alignment_data.jsonl \ --output_dir ../output/round3_checkpoint \ --num_epochs 1 \ --learning_rate 5e-6 \ --batch_size 2 \ --use_lora4.5 运行与验证依次执行chmod x scripts/run_round1.sh scripts/run_round2.sh scripts/run_round3.sh ./scripts/run_round1.sh ./scripts/run_round2.sh ./scripts/run_round3.sh每一轮训练完成后查看输出目录ls -lh output/round1_checkpoint/预期能看到adapter_model.bin、adapter_config.json、tokenizer_config.json等文件。然后写一个简单的推理脚本验证多轮训练效果。文件路径src/infer.pyimport torch from transformers import AutoModelForCausalLM, AutoTokenizer def chat(model_path, prompt): tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue, ) messages [ {role: user, content: prompt} ] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue, ) inputs tokenizer(text, return_tensorspt).to(model.device) outputs model.generate( **inputs, max_new_tokens512, do_sampleTrue, temperature0.7, ) response tokenizer.decode(outputs[0], skip_special_tokensTrue) return response if __name__ __main__: result chat( model_path../output/round3_checkpoint, prompt根据企业财报分析该公司资产负债率连续上升可能带来的风险。, ) print(result)运行python src/infer.py观察输出是否比第一轮模型更贴合你的业务场景。如果领域专业性有明显提升说明多轮训练的方向是对的。5. 多轮训练中的质量评估与迭代策略训练只是过程真正决定项目是否达到 90% 进度的是评估结果。多轮训练里每一轮结束都要做一次系统评估判断是否进入下一轮。5.1 每个轮次评估什么第一轮结束后检查通用能力是否保留问答是否符合基本逻辑第二轮结束后检查领域指标比如金融术语准确率、代码可运行率、法条引用正确率第三轮结束后检查安全性和偏好指标比如拒绝有害请求的比例、回复是否简洁、是否包含不合适内容。5.2 评估方式优先用你的业务测试集而不是只依赖公开 benchmark。公开 benchmark 能反映通用能力业务测试集才真正反映项目价值。具体操作收集 200-500 条真实业务问题覆盖典型场景和边界场景每轮训练后统一跑一遍推理人工打分或使用大模型辅助打分LLM-as-a-Judge不过最好保留人工抽检环节。评分维度可以包括准确性内容是否正确完整性是否覆盖问题所有要点领域专业度术语是否标准分析是否有深度安全性是否违规、越权、生成有害内容格式合规是否满足项目要求的输出格式。5.3 如果某轮效果不理想怎么办不急着调参先观察是哪类数据没学好增加对应子方向的数据量或者做数据增强降低学习率重新跑当前轮不要推翻之前所有轮次如果发现灾难性遗忘可以回退到上一轮 checkpoint调整数据配比后重训。6. 常见问题与排查思路多轮训练最常见的坑往往不是模型结构而是数据、显存和训练策略。我把实际项目里高频出现的问题整理成了一张排查表。问题现象常见原因解决思路第二轮训练后第一轮能力明显下降灾难性遗忘学习率过高或数据配比不当降低学习率增加通用数据回放采用混合比例训练Loss 下降但实际回答质量差过拟合或训练数据只覆盖了记忆性任务引入更多推理型任务增加评估集加入多样性数据显存不足OOM模型参数量大或 batch size 设置过大减小 batch size开启 gradient checkpointing使用 LoRA训练速度慢序列太长数据填充过多限制 max_length使用 packing 策略优化 padding模型输出重复内容温度参数太低或 sft 阶段重复数据过多调整采样参数清理重复样本尝试 repetition_penalty领域知识记住了但不会推理第二轮数据多为知识型问答缺少推理链条加入思维链数据CoT构造需要多步推理的任务第三轮对齐后回复过于保守偏好数据过于偏向安全牺牲了有用性平衡安全与有用性数据比例增加 helpful 样本模型加载后格式报错使用 LoRA 训练但推理时未加载 adapter用 PeftModel.from_pretrained 加载 adapter 权重6.1 一个典型排错案例第二轮后模型“变笨”了现象第一轮训完模型写代码、做数学题都还行第二轮灌入金融数据后通用问答能力下降很明显。排查步骤先检查第二轮的数据规模是否远超第一轮查看第二轮训练日志中的 loss如果 loss 始终很低说明模型在死记硬背检查第二轮学习率是否仍然保持 2e-5 甚至更高使用混合采样保证通用数据占 20%-50%重跑第二轮把学习率降到 5e-6 到 1e-5观察通用任务指标是否回升。这个方法在大多数开源模型上都能见效。7. 多轮训练结果的工程化落地当多轮训练完成评估指标达到预期项目进度已经接近 95%。剩下的一步是把模型从训练环境迁移到生产环境。7.1 合并 LoRA 权重如果使用 LoRA 训练部署阶段需要把 adapter 权重合并到基础模型中也可以选择动态加载 adapter。合并权重后的模型更利于用 vLLM、TensorRT-LLM 等推理框架加速。import torch from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer base_model_path ../models/base_model adapter_path ../output/round3_checkpoint merged_path ../output/round3_merged model AutoModelForCausalLM.from_pretrained( base_model_path, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue, ) model PeftModel.from_pretrained(model, adapter_path) model model.merge_and_unload() model.save_pretrained(merged_path) tokenizer AutoTokenizer.from_pretrained(base_model_path, trust_remote_codeTrue) tokenizer.save_pretrained(merged_path) print(fMerged model saved to {merged_path})7.2 部署时需要考虑的三件事推理延迟大模型必须能够有效处理大量请求并快速返回响应建议使用 vLLM 或类似框架做 continuous batching显存与并发根据在线服务的 QPS 预估显存占用设置合理的 max_num_seqs 和 max_model_len回滚机制保留上一轮 checkpoint如果线上数据分布发生变化能够快速回退。7.3 数据闭环与持续迭代模型上线后可以记录用户反馈与线上 badcase定期回流到训练数据中。下一轮训练时把这些新样本以更高权重加入对应阶段的数据集形成持续优化闭环。这也是多轮训练与产品迭代结合的最佳状态。8. 总结大模型算法项目卡在 90% 不用慌很多时候不是模型的极限到了而是训练策略还没把潜力释放出来。多轮训练的核心价值在于把复杂能力拆成多个阶段逐步注入并通过每轮的评估反馈动态调整路径。从第一轮指令遵循到第二轮领域知识再到第三轮对齐优化每一轮都有明确目标和节奏训练过程才真正可控。真正建议你优先关注三件事一是每一轮的数据质量与配比二是评估体系是否对齐业务目标三是部署阶段有没有给后续迭代留下回滚和更新的空间。如果这篇文章对你有帮助可以收藏备用。接下来可以在自己的项目里从第一轮训练开始迭代跑完一轮就做一轮评估慢慢把模型能力推到 100%。
大模型算法项目做到 90% 进度听起来离上线只差临门一脚但真正经历过的人都知道剩下的 10% 往往藏着最难的工程问题。最近把多轮训练机制完整落地到项目里发现它确实是提升模型能力的关键杠杆。本文不聊空泛的概念而是把多轮训练从原理、数据构造、训练脚本到评估调优的完整链路拆开来讲并附上可直接参考的代码示例和排错思路适合正在做大模型微调、对齐训练和领域适配的算法工程师与项目负责人阅读。1. 为什么算法项目进度停在 90%瓶颈往往在“最后一轮”很多大模型项目都会有这样的经历第一轮训练跑完模型已经能输出像样的结果指标也能看第二轮、第三轮再训练提升幅度却越来越小甚至出现灾难性遗忘。项目进度条卡在 90%不是数据不够也不是算力不足而是训练策略没有把模型能力“顶”上去。1.1 大模型算法项目里的“多轮训练”是什么多轮训练在行业里通常指两种含义多轮对话训练数据模型输入是多轮用户与助手的对话历史模型要学会上下文理解与连贯回复多阶段/多轮迭代训练同一份基础模型通过多轮不同的训练目标、数据配比和训练策略来逐步提升能力。这两种含义并不冲突。实际项目中多轮训练往往同时包含它们用多轮对话数据训练模型让模型学会“翻旧账”再通过多轮迭代训练把通用能力、领域能力和对齐能力分阶段注入。1.2 多轮训练到底解决了什么问题单轮训练一次性把所有数据喂进去存在几个明显缺陷数据冲突通用指令数据和领域专业数据混在一起梯度方向互相拉扯学习率过热后期数据稀缺时模型还在用较高的学习率容易过拟合遗忘与覆盖模型学会新知识后旧知识被冲掉。多轮训练把训练目标拆解成多个阶段每个阶段聚焦一个子目标控制学习率和数据分布让模型一步一步逼近理想状态。这也是为什么 OpenAl、Anthropic 等前沿团队在做 RLHF 和 RLAIF 时都强调阶段式训练而不是一次到位。1.3 本文能帮你解决什么如果你正在做大模型的微调、多轮对话适配、领域知识注入或对齐训练这篇文章会覆盖多轮训练的核心机制与设计思路数据如何构造、配比如何选择完整的多轮训练代码示例PyTorch HuggingFace Transformers 风格评估与迭代策略、常见问题排查清单把训练成果稳定部署上线的工程建议。2. 环境准备与版本说明多轮训练跑在 GPU 集群上环境差异很大。下面以常见的开源技术栈为例给出项目落地时可直接对照的环境清单。2.1 硬件与操作系统训练节点建议至少 4 张 24GB 显存以上的 GPU如 A10/A100/H100具体取决于模型参数量操作系统Ubuntu 20.04 / 22.04 LTSCentOS 7/8 也可但需要注意 CUDA 驱动兼容显存不够时可以优先尝试 LoRA、QLoRA 等参数高效微调方案不一定非要全参训练。2.2 软件环境示例Python: 3.10 CUDA: 11.8 或 12.1取决于 GPU 驱动和 PyTorch 版本 PyTorch: 2.x Transformers: 4.36 Datasets: 2.16 PEFT: 0.7 Accelerate: 0.26 TRL: 0.7可选用于 SFT/DPO 训练如果你的环境和上面不一致不要紧张重点不是版本号完全一致而是“思维框架一致”。配置命令时把pip install的版本号替换成与你环境兼容的即可。2.3 示例项目结构llm_multi_round_training/ ├── config/ │ └── train_config.yaml ├── data/ │ ├── round1_sft_data.jsonl │ ├── round2_domain_data.jsonl │ └── round3_alignment_data.jsonl ├── src/ │ ├── dataset.py │ ├── train.py │ ├── evaluate.py │ └── infer.py ├── models/ │ └── base_model/ # 基座模型存放目录 ├── output/ │ ├── round1_checkpoint/ │ ├── round2_checkpoint/ │ └── round3_checkpoint/ └── scripts/ ├── run_round1.sh ├── run_round2.sh └── run_round3.sh这个结构把每一轮的输入数据、输出模型分开存放方便回滚和对比实验。3. 多轮训练的核心原理拆解多轮训练不是一个“执行三遍训练脚本”的简单动作它背后对应一套完整的学习率退火、数据配比和模型演化逻辑。3.1 第一轮指令遵循能力打底第一轮通常使用通用指令数据SFTSupervised Fine-Tuning。这个阶段的目的是让基座模型学会“听指令”具备问答、写作、代码生成等基础能力。数据量通常是几千到几十万条不等取决于基座模型的基础能力。 学习率一般使用中等学习率例如 2e-5 到 5e-5。 epoch 数推荐 1 到 3 个 epoch不需要过多。3.2 第二轮领域知识注入当模型已经具备通用能力后注入领域数据比如金融、医疗、法律、代码等让模型在特定场景下表现更专业。关键点领域数据与通用数据的配比要控制好常见做法是 1:1 到 1:3如果领域数据太少可以用数据增强或从关系数据库提取业务语料加工成训练样本仍然要注意学习率如果学习率过高领域知识会覆盖通用能力。3.3 第三轮对齐与偏好优化对齐训练的目标是让模型的输出符合人类偏好例如更安全、更有帮助、更简洁。常用的技术包括 RLHF基于人类反馈的强化学习、DPODirect Preference Optimization等。这一阶段不再使用普通的“标准答案”数据而是使用偏好对数据chosen/rejected模型要学会选择更优质的回复。3.4 多轮训练的本质分阶段退火多轮训练的本质是在一个更大的“课程学习”框架下逐步调整数据分布与学习目标。如果所有数据混合在一次训练里完成模型很难同时兼容“通用知识”与“深度领域能力”分阶段训练则让模型在不同阶段专注于不同目标最终融合成一套能力更强的参数。下面用表格对比一下单轮训练和多轮训练的差异对比维度单轮混合训练多轮分阶段训练数据组织所有数据混合按阶段、按目标拆分学习率策略全程一致或线性衰减每个阶段独立退火能力覆盖容易顾此失彼各阶段能力逐步叠加调试难度问题难定位问题可按轮次定位训练成本相对较低相对较高但可控最终效果中规中矩更易逼近业务天花板4. 多轮训练实战案例从数据构造到训练完成接下来用一个完整的最小示例演示三轮训练怎么组织。这个示例基于 HuggingFace Transformers 和 PEFT即使你的模型是 Qwen、Llama、ChatGLM 等思路都通用。4.1 准备训练数据每一轮的数据文件使用 JSONL 格式。第一轮用通用指令数据第二轮用领域业务数据第三轮用偏好对齐数据。通用指令数据示例data/round1_sft_data.jsonl{instruction: 解释什么是大模型, input: , output: 大模型通常指参数规模庞大的深度学习模型能够从海量数据中学习复杂模式广泛用于自然语言处理和生成任务。} {instruction: 写一段 Python 快排代码, input: , output: def quick_sort(arr):\n if len(arr) 1:\n return arr\n pivot arr[len(arr) // 2]\n left [x for x in arr if x pivot]\n middle [x for x in arr if x pivot]\n right [x for x in arr if x pivot]\n return quick_sort(left) middle quick_sort(right)}领域数据示例data/round2_domain_data.jsonl{instruction: 根据企业年报数据分析资产负债率变化趋势, input: 某公司近三年资产负债率分别为 45%、52%、60%。, output: 该公司资产负债率连续三年上升说明财务杠杆在加大需要关注偿债压力和融资成本变化。} {instruction: 解释 PTP 非对称时延补偿算法的作用, input: , output: PTP 非对称时延补偿算法用于消除网络上下行链路时延不一致导致的时间同步误差提升同步精度。}第三轮偏好数据示例data/round3_alignment_data.jsonl{ prompt: 如何快速赚到钱, chosen: 可以尝试提升个人技能、寻找兼职机会或开展合规副业不建议参与高风险投机活动。, rejected: 你可以去赌博或者做灰色项目来钱快。 } { prompt: 写一封请假邮件, chosen: 尊敬的领导您好由于个人身体不适需要请假一天预计下周一恢复正常工作。感谢您的理解, rejected: 领导我不来了。 }4.2 编写数据集加载模块文件路径src/dataset.py这个模块负责把 JSONL 文件读取成训练需要的数据格式。核心逻辑是将指令和输出拼接成模型输入文本并切分成 input_ids 和 labels。import json import torch from torch.utils.data import Dataset from transformers import AutoTokenizer class MultiRoundDataset(Dataset): def __init__(self, data_path: str, tokenizer: AutoTokenizer, max_length: int 1024): self.samples [] self.tokenizer tokenizer self.max_length max_length with open(data_path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: continue self.samples.append(json.loads(line)) def __len__(self): return len(self.samples) def __getitem__(self, idx): sample self.samples[idx] instruction sample.get(instruction, ) input_text sample.get(input, ) output_text sample.get(output, ) # 拼接模型输入不同模型模板不同这里以 Qwen 风格模板为例 prompt f|im_start|user\n{instruction}\n{input_text}|im_end|\n|im_start|assistant\n full_text prompt output_text |im_end|\n # 只用输出部分作为监督标签 encoded self.tokenizer( full_text, truncationTrue, max_lengthself.max_length, return_tensorspt ) input_ids encoded[input_ids][0] labels input_ids.clone() prompt_ids self.tokenizer( prompt, truncationTrue, max_lengthself.max_length, return_tensorspt )[input_ids][0] # prompt 部分不参与 loss 计算 labels[: len(prompt_ids)] -100 return { input_ids: input_ids, attention_mask: encoded[attention_mask][0], labels: labels, }代码说明使用-100作为 ignore index在计算交叉熵损失时会被自动忽略prompt 长度通过重新编码 prompt 来获取避免手工数 token如果你用的模型模板不同需要把prompt拼接格式替换成对应模型的 chat template。4.3 编写多轮训练主脚本文件路径src/train.py这个脚本支持通过参数传入当前轮次的数据路径和输出目录从而实现“同一个脚本按轮次反复调用”。import argparse import os import torch from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, DataCollatorForSeq2Seq, ) from peft import LoraConfig, get_peft_model, TaskType, prepare_model_for_kbit_training from dataset import MultiRoundDataset def parse_args(): parser argparse.ArgumentParser(descriptionMulti-round LLM Training) parser.add_argument(--model_path, typestr, requiredTrue, help基座模型路径) parser.add_argument(--data_path, typestr, requiredTrue, help当前轮次数据路径) parser.add_argument(--output_dir, typestr, requiredTrue, help当前轮次输出目录) parser.add_argument(--num_epochs, typefloat, default3.0) parser.add_argument(--learning_rate, typefloat, default2e-5) parser.add_argument(--batch_size, typeint, default4) parser.add_argument(--max_length, typeint, default1024) parser.add_argument(--use_lora, actionstore_true, help是否使用 LoRA) return parser.parse_args() def main(): args parse_args() tokenizer AutoTokenizer.from_pretrained(args.model_path, trust_remote_codeTrue) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained( args.model_path, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue, ) if args.use_lora: peft_config LoraConfig( task_typeTaskType.CAUSAL_LM, r8, lora_alpha32, lora_dropout0.1, target_modules[q_proj, k_proj, v_proj, o_proj], ) model get_peft_model(model, peft_config) model.print_trainable_parameters() train_dataset MultiRoundDataset( data_pathargs.data_path, tokenizertokenizer, max_lengthargs.max_length, ) training_args TrainingArguments( output_dirargs.output_dir, overwrite_output_dirTrue, num_train_epochsargs.num_epochs, per_device_train_batch_sizeargs.batch_size, gradient_accumulation_steps8, learning_rateargs.learning_rate, weight_decay0.01, warmup_ratio0.03, logging_steps10, save_steps500, save_total_limit2, fp16True, dataloader_num_workers4, remove_unused_columnsFalse, report_tonone, ) data_collator DataCollatorForSeq2Seq( tokenizertokenizer, modelmodel, paddingTrue, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, data_collatordata_collator, tokenizertokenizer, ) trainer.train() trainer.save_model(args.output_dir) tokenizer.save_pretrained(args.output_dir) print(fTraining completed, model saved to {args.output_dir}) if __name__ __main__: main()4.4 编写三轮训练的 shell 脚本为了便于统一管理把每一轮的启动命令写入 shell 脚本。文件路径scripts/run_round1.sh#!/bin/bash export CUDA_VISIBLE_DEVICES0,1,2,3 python ../src/train.py \ --model_path ../models/base_model \ --data_path ../data/round1_sft_data.jsonl \ --output_dir ../output/round1_checkpoint \ --num_epochs 3 \ --learning_rate 3e-5 \ --batch_size 4 \ --use_lora文件路径scripts/run_round2.sh第二轮训练时加载第一轮的输出作为基座模型学习率适当降低。#!/bin/bash export CUDA_VISIBLE_DEVICES0,1,2,3 python ../src/train.py \ --model_path ../output/round1_checkpoint \ --data_path ../data/round2_domain_data.jsonl \ --output_dir ../output/round2_checkpoint \ --num_epochs 2 \ --learning_rate 1e-5 \ --batch_size 4 \ --use_lora文件路径scripts/run_round3.sh第三轮对齐训练如果使用 DPO训练逻辑会有所不同这里先用 SFT 格式的偏好数据做一轮精调示范。#!/bin/bash export CUDA_VISIBLE_DEVICES0,1,2,3 python ../src/train.py \ --model_path ../output/round2_checkpoint \ --data_path ../data/round3_alignment_data.jsonl \ --output_dir ../output/round3_checkpoint \ --num_epochs 1 \ --learning_rate 5e-6 \ --batch_size 2 \ --use_lora4.5 运行与验证依次执行chmod x scripts/run_round1.sh scripts/run_round2.sh scripts/run_round3.sh ./scripts/run_round1.sh ./scripts/run_round2.sh ./scripts/run_round3.sh每一轮训练完成后查看输出目录ls -lh output/round1_checkpoint/预期能看到adapter_model.bin、adapter_config.json、tokenizer_config.json等文件。然后写一个简单的推理脚本验证多轮训练效果。文件路径src/infer.pyimport torch from transformers import AutoModelForCausalLM, AutoTokenizer def chat(model_path, prompt): tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue, ) messages [ {role: user, content: prompt} ] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue, ) inputs tokenizer(text, return_tensorspt).to(model.device) outputs model.generate( **inputs, max_new_tokens512, do_sampleTrue, temperature0.7, ) response tokenizer.decode(outputs[0], skip_special_tokensTrue) return response if __name__ __main__: result chat( model_path../output/round3_checkpoint, prompt根据企业财报分析该公司资产负债率连续上升可能带来的风险。, ) print(result)运行python src/infer.py观察输出是否比第一轮模型更贴合你的业务场景。如果领域专业性有明显提升说明多轮训练的方向是对的。5. 多轮训练中的质量评估与迭代策略训练只是过程真正决定项目是否达到 90% 进度的是评估结果。多轮训练里每一轮结束都要做一次系统评估判断是否进入下一轮。5.1 每个轮次评估什么第一轮结束后检查通用能力是否保留问答是否符合基本逻辑第二轮结束后检查领域指标比如金融术语准确率、代码可运行率、法条引用正确率第三轮结束后检查安全性和偏好指标比如拒绝有害请求的比例、回复是否简洁、是否包含不合适内容。5.2 评估方式优先用你的业务测试集而不是只依赖公开 benchmark。公开 benchmark 能反映通用能力业务测试集才真正反映项目价值。具体操作收集 200-500 条真实业务问题覆盖典型场景和边界场景每轮训练后统一跑一遍推理人工打分或使用大模型辅助打分LLM-as-a-Judge不过最好保留人工抽检环节。评分维度可以包括准确性内容是否正确完整性是否覆盖问题所有要点领域专业度术语是否标准分析是否有深度安全性是否违规、越权、生成有害内容格式合规是否满足项目要求的输出格式。5.3 如果某轮效果不理想怎么办不急着调参先观察是哪类数据没学好增加对应子方向的数据量或者做数据增强降低学习率重新跑当前轮不要推翻之前所有轮次如果发现灾难性遗忘可以回退到上一轮 checkpoint调整数据配比后重训。6. 常见问题与排查思路多轮训练最常见的坑往往不是模型结构而是数据、显存和训练策略。我把实际项目里高频出现的问题整理成了一张排查表。问题现象常见原因解决思路第二轮训练后第一轮能力明显下降灾难性遗忘学习率过高或数据配比不当降低学习率增加通用数据回放采用混合比例训练Loss 下降但实际回答质量差过拟合或训练数据只覆盖了记忆性任务引入更多推理型任务增加评估集加入多样性数据显存不足OOM模型参数量大或 batch size 设置过大减小 batch size开启 gradient checkpointing使用 LoRA训练速度慢序列太长数据填充过多限制 max_length使用 packing 策略优化 padding模型输出重复内容温度参数太低或 sft 阶段重复数据过多调整采样参数清理重复样本尝试 repetition_penalty领域知识记住了但不会推理第二轮数据多为知识型问答缺少推理链条加入思维链数据CoT构造需要多步推理的任务第三轮对齐后回复过于保守偏好数据过于偏向安全牺牲了有用性平衡安全与有用性数据比例增加 helpful 样本模型加载后格式报错使用 LoRA 训练但推理时未加载 adapter用 PeftModel.from_pretrained 加载 adapter 权重6.1 一个典型排错案例第二轮后模型“变笨”了现象第一轮训完模型写代码、做数学题都还行第二轮灌入金融数据后通用问答能力下降很明显。排查步骤先检查第二轮的数据规模是否远超第一轮查看第二轮训练日志中的 loss如果 loss 始终很低说明模型在死记硬背检查第二轮学习率是否仍然保持 2e-5 甚至更高使用混合采样保证通用数据占 20%-50%重跑第二轮把学习率降到 5e-6 到 1e-5观察通用任务指标是否回升。这个方法在大多数开源模型上都能见效。7. 多轮训练结果的工程化落地当多轮训练完成评估指标达到预期项目进度已经接近 95%。剩下的一步是把模型从训练环境迁移到生产环境。7.1 合并 LoRA 权重如果使用 LoRA 训练部署阶段需要把 adapter 权重合并到基础模型中也可以选择动态加载 adapter。合并权重后的模型更利于用 vLLM、TensorRT-LLM 等推理框架加速。import torch from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer base_model_path ../models/base_model adapter_path ../output/round3_checkpoint merged_path ../output/round3_merged model AutoModelForCausalLM.from_pretrained( base_model_path, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue, ) model PeftModel.from_pretrained(model, adapter_path) model model.merge_and_unload() model.save_pretrained(merged_path) tokenizer AutoTokenizer.from_pretrained(base_model_path, trust_remote_codeTrue) tokenizer.save_pretrained(merged_path) print(fMerged model saved to {merged_path})7.2 部署时需要考虑的三件事推理延迟大模型必须能够有效处理大量请求并快速返回响应建议使用 vLLM 或类似框架做 continuous batching显存与并发根据在线服务的 QPS 预估显存占用设置合理的 max_num_seqs 和 max_model_len回滚机制保留上一轮 checkpoint如果线上数据分布发生变化能够快速回退。7.3 数据闭环与持续迭代模型上线后可以记录用户反馈与线上 badcase定期回流到训练数据中。下一轮训练时把这些新样本以更高权重加入对应阶段的数据集形成持续优化闭环。这也是多轮训练与产品迭代结合的最佳状态。8. 总结大模型算法项目卡在 90% 不用慌很多时候不是模型的极限到了而是训练策略还没把潜力释放出来。多轮训练的核心价值在于把复杂能力拆成多个阶段逐步注入并通过每轮的评估反馈动态调整路径。从第一轮指令遵循到第二轮领域知识再到第三轮对齐优化每一轮都有明确目标和节奏训练过程才真正可控。真正建议你优先关注三件事一是每一轮的数据质量与配比二是评估体系是否对齐业务目标三是部署阶段有没有给后续迭代留下回滚和更新的空间。如果这篇文章对你有帮助可以收藏备用。接下来可以在自己的项目里从第一轮训练开始迭代跑完一轮就做一轮评估慢慢把模型能力推到 100%。
