从零训练微型LLM：手把手构建你的第一个GPT模型-北京尧图网络

我不建议一上来就打算复刻一个几百B参数的庞然大物那属于钱和算力都要烧掉一个数量级的玩法。真实情况是一个只有几千万参数、在普通消费级显卡上几小时就能完成训练的微型语言模型已经足够让你把“构建LLM”这条路完整走一遍——数据清洗、分词、模型搭建、训练曲线、生成效果所有大模型团队天天在做的事一个都不会少。这篇收藏版要做的就是手把手把这个流程拆开让你在本地环境里真真实实训练出第一个能生成文本的LLM。内容我会尽量直白按从零搭建的顺序往下讲适合有Python基础、想深入理解Transformer与LLM内部机制的开发者也适合那些已经调过现成接口、但还没自己训练过一个模型的朋友。1. 动手之前先把目标和路线定死1.1 先明确“第一个LLM”应该长成什么样很多人的误区是LLM必须大到跑不动才配叫大语言模型。其实不用语言模型的核心定义就是“从大规模文本上学到词与词之间概率关系的模型”几百M参数也叫LLM几十M参数同样可以视为一个缩小版LLM。真正重要的是它必须满足三个条件第一它要在大规模文本上做过自监督预训练第二架构是生成式的也就是能从输入文本续写后续内容第三具备一定程度上的语言连贯性。所以我给“第一个LLM”定的技术目标很具体训练一个参数量在二千万到三千万级别的decoder-only Transformer词表大小一万一最大上下文长度128个token训练的语料控制在30MB到50MB的中文/英文混合文本。别小看这个规格它能做到输入几个单词后稳定续写出语法通顺、主题相关的文本已经能演示出一套完整的LLM工作链路。还要提前想清楚硬件边界。三千万参数的模型如果用单精度训练参数本身占120MBAdamW优化器状态再占约240MB加上梯度、激活值等开销整体峰值显存大约在1GB到2GB之间。这意味着你不需要一台离谱的服务器手头有一张4GB显存的显卡就能舒舒服服训练哪怕没有GPU纯CPU配合大内存也能跑通只是多花点时间。1.2 为什么选GPT风格的decoder-only架构现在提到LLM大家默认的架构就是“只有解码器”的Transformer变体也就是GPT风格。它的核心特点是每个位置只能看到当前位置及之前位置的token这个机制叫因果注意力。这样做的好处是模型在预测下一个token时不会偷看后面的内容天然适配自回归生成任务。对比另一个主流家族BERT风格它是encoder-only架构注意力是双向的更适合做分类、实体识别这种理解型任务生成能力很弱。而encoder-decoder架构比如早期的序列到序列模型虽然能生成但结构更复杂预训练目标也更繁琐在大规模语言模型的实践中逐渐被decoder-only甩开。一句话总结如果目标就是“能生成新文本”选decoder-only是最稳妥、最贴近工业实践的路线。为什么不直接用现成的深度学习框架自动帮你搭好一切而是要手动实现关键组件因为训练一个LLM本质上不是“把代码跑通”就完了你需要真正理解每个组件在做什么。embedding怎么把token变成向量因果mask是如何实现的为什么训练时要算交叉熵损失这些问题如果全靠框架黑盒封装后面遇到loss不降、生成全是重复词这些烂事你会完全没有排查方向。自己手动搭一遍把这个过程走通再看任何开源大模型代码都会豁然开朗。1.3 技术栈配置清单实际动手前把环境准备好可以少踩很多坑。基础软件层面我建议使用Python 3.10以上版本深度学习框架就用你日常最顺手的那个推荐PyTorch生态数据处理上需要用到numpy分词环节可以用字符级或BPE方案但为了复现简单这个项目我推荐先用字符级或简单BPE后面可以根据需要升级成更成熟的子词分词器。如果你在Windows环境注意两点一是路径中的反斜杠问题二是多进程DataLoader在Windows上必须包在if __name__ __main__里否则会无限报错。我个人的建议是直接开个WSL或者用我下面给出的单进程版本能把环境问题全部绕开专心看模型效果。2. 数据准备高质量语料是训练的地基2.1 训练数据从哪里来很多初学者把注意力全放在模型架构上结果数据随便找了几篇小说就往里灌训练出来的模型语言风格单一、内容也很容易过拟合。数据这一环权重其实比模型本身还高。第一个可行的方案是直接用公开的开源中文语料这类资源网上很多往往已经做过初步清洗。第二个方案是自己爬取文本比如抓取一些知识问答站点、新闻正文、书籍章节清洗后合并成一份纯文本。第三个方案是把多种来源混合起来比如百科语料、小说、技术文档按比例混合这样模型能学到更多样的句式。不管哪种来源原始文本都绝对不能直接用。我的第一步操作永远是“去噪”先把HTML标签全部剥掉然后把所有超短行删掉再过滤掉乱码行最后对整个语料做一次近似去重把相似度超过90%的句子剔除掉。这个阶段别偷懒文本里如果混着大量广告词、重复的导航栏文字模型后面学到的都是“点击这里”“更多精彩”这类垃圾。我一般会写一个脚本统计语料的行长度分布、字符重复率做到心里有数。一个合格的干净语料应该是段落完整、标点规范、语言风格适中的纯文本文件。最后把所有清洗后的文本拼成一个大的连续字符串按段落之间加换行或空行分隔。2.2 把语料切成长度统一的训练样本训练时不能一次性把整篇文本塞进模型必须切成长度为max_length的块。这里的max_length就是我们前面说的上下文窗口长度我建议设置为128。原因很简单窗口越大模型能学习的长距离依赖越强但训练成本和显存占用也越高。对于第一个微型LLM128已经够用你能清楚看到它学会短句的衔接。切分时有个细节不要硬性每128个字符切一刀完全不考虑句子边界。更好的做法是先把语料按完整段落切分再把段落拼接成接近128的块切分位置尽量落在句子结束符上。这样能避免大量样本从句子中间开始模型学习效率会明显提高。代码上可以这样处理def build_blocks(text, tokenizer, max_len128): # 先把文本按换行切成段 paragraphs [p.strip() for p in text.split(\n) if len(p.strip()) 20] blocks [] current [] cur_len 0 for para in paragraphs: tokens tokenizer.encode(para) if cur_len len(tokens) max_len: blocks.append(current) current [] cur_len 0 current.extend(tokens) cur_len len(tokens) if cur_len 0: blocks.append(current) return [b[:max_len] for b in blocks if len(b) 0]每条样本就变成了一个长度固定的整数序列比如[12, 345, 88, ...]每个数字对应词表里的一个token id。训练的时候模型用前n个token预测第n1个token。2.3 分词器与词表字符级还是BPE这一步经常被人忽视但分词器决定了模型学到的“语言单位”是什么。最入门的是字符级分词直接把每个字符中文字符、英文字母、数字、标点映射成一个id。它的优势是简单、词表小缺点是序列长度会变长比如一个英文单词可能被拆成五六个字符这会让模型的输入更长、学习效率更低。BPE是一个更好的方案它会统计语料里出现频率最高的子词单元然后把常用词、常用词根合并成单个token。这样“sleep”可能就是一个token“sleeping”则拆成“sleep”和“ing”既压缩了序列长度又保留了构词能力。实现BPE可以直接用现成工具也可以自己写一个核心思想是语料里不断合并频次最高的相邻字符对直到词表达到设定大小。我给的配置里词表总数设为10000用BPE生成中文英文混合词表。生成词表时会额外加入几个特殊tokenpad用来补长度、bos表示句子开始、eos表示句子结束、unk表示未知词。这些特殊token在后续训练和生成中都有关键作用比如生成到eos就说明模型认为句子结束了。训练开始前我会把整个语料一次性转成token id序列并保存到磁盘上避免每次训练都重新切分一遍能省大量时间。3. 核心代码从零搭一个最小可训练的GPT3.1 模型组件的逐一实现Transformer的decoder block内部并不复杂核心就四块多头因果注意力、前馈网络、层归一化、残差连接。我们把每个部件都实现出来组装成一个能在小数据集上跑通的模型。先说输入部分。token id经过embedding层变成维度为d_model的向量同时还要加上位置编码让模型知道每个token在序列里的先后顺序。位置编码可以用固定的三角函数但当词表较小、任务较简单时直接用可学习的embedding矩阵也完全够用代码上就是构造一个max_len * d_model的参数矩阵加进去。然后是因果注意力mask。为了让位置i只能看到位置小于等于i的token需要在计算注意力分数时把矩阵右上三角位置的值设成负无穷这样softmax后这些位置的权重就变成零。PyTorch里可以通过一个下三角矩阵来实现也可以用torch.triu生成遮蔽。这个mask是decoder-only架构的灵魂很多自己搭模型的初学者就是漏了它导致模型在训练时偷看未来信息生成时效果自然崩。测试方法很简单把mask去掉训练一个超小模型loss会比加mask低很多但生成的文本毫无逻辑因为它在用“作弊”的方式学任务。多头注意力就是把d_model拆成多个头每个头独立做注意力计算最后把所有头的输出拼接起来做线性变换。直观理解是每个头负责关注不同的信息比如有的头关注语法依赖有的头关注指代关系。前馈网络就是两个全连接层中间夹一个激活函数一般做法是把维度从d_model放大到4倍再压回来给模型更强的非线性表达能力。每个子层后面都接残差连接和层归一化这是DeepTransformer能稳定训练的关键。实现代码如下import torch import torch.nn as nn import math class CausalSelfAttention(nn.Module): def __init__(self, d_model, n_head): super().__init__() self.n_head n_head self.d_head d_model // n_head self.wq nn.Linear(d_model, d_model) self.wk nn.Linear(d_model, d_model) self.wv nn.Linear(d_model, d_model) self.wo nn.Linear(d_model, d_model) def forward(self, x): B, T, C x.shape q self.wq(x).view(B, T, self.n_head, self.d_head).transpose(1, 2) k self.wk(x).view(B, T, self.n_head, self.d_head).transpose(1, 2) v self.wv(x).view(B, T, self.n_head, self.d_head).transpose(1, 2) attn (q k.transpose(-2, -1)) / math.sqrt(self.d_head) mask torch.tril(torch.ones(T, T, devicex.device)).view(1, 1, T, T) attn attn.masked_fill(mask 0, float(-inf)) attn torch.softmax(attn, dim-1) y (attn v).transpose(1, 2).reshape(B, T, C) return self.wo(y) class FeedForward(nn.Module): def __init__(self, d_model, d_ff): super().__init__() self.net nn.Sequential( nn.Linear(d_model, d_ff), nn.GELU(), nn.Linear(d_ff, d_model) ) def forward(self, x): return self.net(x) class DecoderBlock(nn.Module): def __init__(self, d_model, n_head, d_ff, dropout0.1): super().__init__() self.attn CausalSelfAttention(d_model, n_head) self.norm1 nn.LayerNorm(d_model) self.ff FeedForward(d_model, d_ff) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x): x x self.dropout(self.attn(self.norm1(x))) x x self.dropout(self.ff(self.norm2(x))) return x最后把embedding、位置编码、N个DecoderBlock和输出层拼起来就是一个完整的微型LLM。注意输出层和embedding层可以共享权重这能显著减少参数量也是很多GPT实现里的常见做法。3.2 配置参数与参数量估算我这次推荐的配置如下参数项数值词表大小 vocab_size10000上下文长度 max_len128模型维度 d_model512注意力头数 n_head8解码器层数 n_layer6前馈隐藏层维度 d_ff2048Dropout0.1总参数量约 2700 万参数量可以顺着拆解算一遍。词表embedding矩阵是10000乘512约512万参数共享输出层后这部分不会翻倍。位置编码矩阵是128乘512约6.5万参数。每层DecoderBlock里注意力部分的Q、K、V、输出四个矩阵各是512乘512合计约105万前馈网络两个矩阵加上偏置约210万一层合计约320万。六层就是约1920万加上embedding和输出层总参数量约2700万。这个规模下的显存需求前面已经估算过结合混合精度训练还能再降一半普通笔记本的GPU都能跑。训练超参方面我会用AdamW优化器学习率设为3e-4warmup步数100步然后按余弦退火逐步降到1e-5。批量大小根据设备设定为32或64在CPU上则建议降到8否则一个batch的前向推理会慢到让你怀疑人生。3.3 训练脚本与checkpoint机制训练循环本身不算长但几个细节需要注意。数据加载不使用shuffle因为语言模型样本本身是顺序相关的切成块后可以直接顺序加载。每个batch里取一批token序列把输入和标签错开一位即输入是[0:T-1]标签是[1:T]这样每个位置都被当成一次预测任务。for epoch in range(num_epochs): train_loss 0 for step, batch in enumerate(data_loader): x batch[:, :-1] y batch[:, 1:] logits model(x) loss loss_fn(logits.reshape(-1, logits.size(-1)), y.reshape(-1)) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() scheduler.step()梯度裁剪我踩过很多次坑一定要加。如果不限制梯度范数偶尔一个异常batch就会让loss飙到几百然后整个模型权重全部被破坏只能重新训练。clip_grad_norm_的max_norm设1.0是保守但稳定的选择。Checkpoint每500步保存一次文件里至少要包含模型参数、优化器状态、当前epoch步数这样才能在中断后恢复训练。4. 训练中的判断力loss、过拟合和生成质量4.1 怎么判断模型“学会了”训练开始后第一件事是盯住loss。以我的经验第一轮epoch里loss会从初始的9到10附近稳步下降那是log(vocab_size)即10000词的随机猜测loss。随着训练推进loss降到5左右时模型已经能把高频词搭配学得不错降到4以下时你尝试让它生成文本就能看到相对完整的句子了。对困惑度敏感的读者可以随时把loss换算成perplexity用math.exp(loss)计算perplexity降到30以下就说明模型在词级预测上的表现已经不错。在每个epoch结束或每固定步数时跑一次生成测试。比如给定一个prompt“人工智能”看模型后续生成的是“是一门”还是乱七八糟的数字符号这会直接反映训练质量。注意不要只用一个prompt测试至少准备五六个来自不同主题的prompt覆盖训练语料中不同的写作风格。4.2 最常见的三种病不降、过拟合、先降后升Loss完全不降首先检查学习率和数据对齐。学习率调到1e-4到3e-4之间再确认label没有和输入错位代码里target必须整体后移一个位置。还有一个隐蔽问题词表里有大量pad如果你把填充位置也参与loss计算模型会疯狂学习输出pad导致正常词预测学不好。正确做法是在loss计算时把标签为pad id的位置掩码掉不算入损失。过拟合的典型表现是训练loss持续下降但验证集或全新文本生成质量很差。由于我们训练语料本身是同一个分布它更多表现为生成出来的句子高度重复、几乎把训练数据背下来了。解决办法不是急着加dropout而是扩充语料、增大模型容量或者提前早停。我一般按8比2划分训练集和测试集每个epoch结束后算一下测试集loss测试loss开始回升时就是过拟合的信号。先降后升的曲线多半是学习率太高导致后期震荡。这时候把max_lr降到1e-4以下或者让余弦退火的末期learning rate降得更低一点通常能压住。4.3 贪心解码、采样解码与温度参数训练完成后生成文本比训练过程更让人兴奋。最简单的生成方式是贪心解码每次取概率最高的token但这样生成的文本很容易陷入重复循环因为一旦走错一步就会沿着固定的高概率路径一路滑下去。更常用的是随机采样从概率分布里抽样同时引入温度参数来控制随机性。温度越高分布越平滑生成越发散温度越低生成越保守和重复。我通常这样实现def generate(model, tokenizer, prompt, max_gen_len64, temperature0.8): model.eval() ids tokenizer.encode(prompt) with torch.no_grad(): for _ in range(max_gen_len): x torch.tensor([ids[-128:]]).long() logits model(x)[0, -1, :] / temperature probs torch.softmax(logits, dim-1) next_id torch.multinomial(probs, num_samples1).item() if next_id tokenizer.eos_id: break ids.append(next_id) return tokenizer.decode(ids)实际测试中温度0.8是个不错的折中点生成内容既有变化性又不会跑飞。温度1.0以上时模型会偶尔生成完全不相关的词温度0.2以下时输出很可能变成复读机。你也可以加入top-k过滤只从概率最高的前30个token里采样能进一步避免低概率垃圾词刷屏这对微型模型尤其有效。5. 常见问题与排查技巧实录5.1 训练过程中最让人崩溃的5个问题速查现象最常见原因排查方向loss一直是9.x不下降label错位或学习率太低检查target是否后移一位把lr提到3e-4loss变成NaN梯度爆炸或学习率过高加梯度裁剪降低lr到1e-4显存OOM批量过大或上下文过长减小batch size关闭中间梯度保存loss在0.1附近疯狂过拟合pad参与了loss计算在loss里mask掉pad位置生成内容全是unk词表映射错误检查tokenizer encode/decode对照表5.2 生成阶段的三个隐蔽坑生成时遇到重复循环除了调温度外还有一种情况是模型没有学会eos的含义。如果语料切块时很少包含句末标记模型就会认为永远不会结尾于是无限续写。所以在数据预处理阶段请不要把句子末尾的结束标记去掉中文的句号、英文的句点都建议单独保留成token。采样出来的结果乱码大概率不是模型的问题而是tokenizer的问题。BPE词表在decode时遇到未登录token或者id错位会把字节流拆得乱七八糟。排查方法训练前就对一小段文本做encode再decode确保能无损还原原文再开始训练。5.3 从微型LLM走向更大模型的扩展路线跑通第一个模型后你会立刻发现它的能力有限写不了长文、记住的事实也少。这不是你训练的问题而是规模不够。下一步扩展有三个方向把模型维度从512逐步提升到768或1024相应地加多层级把词汇表升级成更成熟的分词方案比如字节级BPE并扩大到数万规模把语料从几十MB提升到几百MB甚至上GB。每扩展一步训练时间大约会翻好几倍这时你就需要开始思考分布式训练、多机通信、激活重计算这些偏工程化的技术这些已经超出本文的范围但你已经具备了理解它们的基础。我个人实操中的体会是从零构建第一个LLM时最大的陷阱不是看不懂代码而是总想跳过小模型直接上大赛道。忘了设定小目标一个下午就能把核心链路跑通这是建立信心最好的方式。最后再留一句经验之谈训练时把loss、每个epoch的生成样例、模型配置参数、语料来源全部记在一份实验日志里。后续你调参数、对比实验时会发现这份日志比神奇调参口诀值钱得多。不管后续是继续加大数据还是调整架构你都有一份清晰的基线知道每一步改动到底带来了什么。

从零训练微型LLM：手把手构建你的第一个GPT模型

相关推荐

纯向量检索在生产级RAG中为何失灵？混合检索与重排才是答案

MyCat BYMONTH版：专为按月分表设计的生产级分库分表中间件

基于YOLO与PySide6的交通信号标志识别软件实战解析

更多资讯

Blinker库详解：Arduino轻量级IoT通信框架实战指南

基于YOLO11的深度学习水果识别系统设计与实现

AI教材写作全流程：从大纲搭建到查重降重实战指南

降AIGC工具实战：继续教育学生论文写作与检测应对指南

深度学习驱动的网络入侵检测：从数据预处理到模型调优的完整实践指南

自研齿轮动力学求解程序：建模、仿真与验证实战指南

今日更新

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？