【白话大模型】大语言模型工作原理-北京尧图网络

文章目录1. 核心原理核心工作机制预测下一个词完整工作过程如何决定下一个tokenToken选择策略采样策略/解码策略2. Token词元概念常见形态为什么需要token输入token和输出token为什么输出token贵3. Vocabulary词表概念生成词范围字节级回退字节级回退的代价1. 核心原理模型到底是怎么生成回复的核心工作机制预测下一个词抛开复杂的算法其底层运行机制极其简单给定前文计算下一个最可能出现的词是什么。我们代入具体的案例看一下我们输入的内容就是大家经常听到的提示词Prompt预测出来的下一个词就是Token。更准确地说大模型给定当前上下文计算下一个 token 的概率分布然后按某种策略选一个 token把它接回上下文再预测下一个如此循环直到生成结束符或达到长度限制。完整工作过程所以下面我们看完整工作工程逐字预测、文字接龙大语言模型生成一个完整回答本质上是自回归的逐 token 预测与接龙它根据已有上下文计算下一个 token 的概率分布再按某种解码策略选一个 token 接上去循环往复直到生成结束符或达到停止条件。举个例子用户输入“中国的首都是哪里” 我们来看下模型怎么回复的模型内部大致会这样一步步生成可以看到每次LLM会预测出来下一个token把下一个token拼接起来作为新的提示词喂给大模型大模型根据新的提示词预测出来下一个token。这样循环往复直到遇到结束符。DeepSeek的默认的终止符是 end▁of▁sentence 。不同模型的终止符不一样。如何决定下一个token大语言模型LLM决定下一个 token 的核心机制是基于前文上下文计算词表词表——Vocabulary可以理解成就是大模型的“字典”后面会单独介绍中所有 token 的概率分布再通过采样策略选出一个 token 输出循环往复。整个过程是自回归生成Autoregressive Generation。自回归生成就是“用自己刚刚生成的结果作为预测下一个结果的依据像滚雪球一样一步接一步地往外推”Token选择策略采样策略/解码策略一图总结Top-P 的思想是我们只保留概率最高、加起来刚好能达到阈值 P比如 90%的那一小部分词。这一小部分高概率词的集合就被称为“核Nucleus”。上面我们反复提到一个概念——token那到底什么是token呢2. Token词元概念Token词元是大语言模型LLM理解和处理文本的最小基本单位也是目前几乎所有大语言模型 API 的绝对计费单位。大语言模型不看完整的句子而是把句子拆成一个个Token来“理解”和“生成”。比如“我爱大模型开发”这样一句话了解的人获得信息的断句是我/爱/大模型/开发依次送入到我们的大脑中去理解我们给大模型的输入也是切分成一个个的token输入到模型中的例如上例中“我”是一个token“爱”是第二个token“大模型”和“开发”都是一个token。这个断句的过程在人工智能领域叫做分词tokenization。当然对于没有背景知识的人上例的断句也可能是我/爱/大/模型/开发对于一个小孩来说断句可能是我/爱/大/模/型/开/发。不同的人断句的方式不同与此相同市面上的大模型厂商切词也会有细微的差别不同切词的方式同一句话切出来的token是不一样的。常见形态Token的常见的形态• 一个完整的单词 Hello 可能是 1 个Token。•单词的一部分 unbelievable 可能会被拆成 un believe able 3个Token。•标点符号逗号、句号、感叹号通常各占 1 个Token。•中文情况中文里一个汉字通常占 1 到 2 个Token视具体词汇频率而定而不是一个字对应一个Token。下图展示了ChatGPT 的 Token 估算工具对unbelievable这个单词的切分可以看到这个单词被拆分成三个tokens当然不同模型切分可能不同为什么需要token数字化让机器能听懂计算机本质上只能处理数字和数学运算无法直接理解人类的文本。通过将文本切分为 Token 并转换为向量AI 才能在神经网络中进行矩阵运算从而捕捉词语之间的语义关系。第一步切分编号数字化输入文本不能一整坨丢给计算机必须先拆成最小计算单元Token并给每个Token分配一个整数ID。比如 unhappiness 切成子词[“un”, “happi”, “ness”] 分别对应ID [432, 891, 256] 。此时计算机拿到了纯数字 [432, 891, 256] 但注意在模型里数字891并不比432“更大”或“更开心”它只是个冰冷的代号。如果直接拿这些ID做加减法432891毫无意义。第二步离散的ID无法表达语义必须把每个ID映射成一串高维浮点数向量。这些向量在训练中被不断调整语义越近对应的向量在空间里也离得越近。比如模型为 “happy” 分配向量 [0.8, 0.9, -0.1,…] 为 “glad” 分配向量 [0.79, 0.88, -0.09, …] 两者距离很近都表示开心。而 “un” 对应的向量带有“否定”方向当它和 “happy” 组合时合成向量会把空间坐标推向sad 所在的方向。解决“词汇爆炸”问题a.如果按“字母”为单位粒度太细分词词表很小英文 unhappiness 会被拆成 11 个字符u n h a p p i n e s s 每个字符几乎没有独立语义比如 u 和 n 需要拼在一起才能表达“否定”模型需要花大量计算去学习相邻字符的组合规律。而且对于长文本序列会变得极长计算量按平方增长效率极低。b.如果按“单词”为单位粒度太粗词表会爆炸。如果模型把所有可能出现的英文单词都放进词表词表会大到无法训练英语有几十万单词还有各种各样的派生词如 unhappiness 、unhappily 等。遇到未登录词如新造词 cryptocurrency 模型只能当成“未知”而无法理解语义表达能力受限。主流 Tokenizer分词器如 BPE、SentencePiece会把文本切分成介于字和词之间的子词单元。输入token和输出token输入token你发送给模型的提示词所消耗的 token 数量。包含内容用户输入的文本。如果开启了联网搜索搜索引擎返回的相关内容也会被计入输入 token。但在真实场景中输入 Token 往往比你想的要长得多因为还包括诸如系统提示词System Prompt这是开发者预设的一段隐藏文本比如“你是一个乐于助人的AI助手回答要简洁……”。每次你发消息这段文字都会作为输入 Token 被发送这也是为什么有时候你只发了一个“你好”却消耗了几十个输入 Token 的原因。历史对话记录多轮对话为了保持上下文大模型是无状态的后面会详细介绍。每次你发起新提问API 都会把之前所有的对话记录包括你的提问和模型的回答连同新问题一起打包作为输入发送。所以聊得越久单次消耗的输入 Token 越多。输出token模型生成回答所消耗的 token 数量包含模型返回的完整回复文本。在推理模型如 DeepSeek-R1、OpenAI o1时代输出 Token 多了一个巨大的消耗项思维链Chain of Thought, CoT现在的推理模型在给出最终回答前会先进行一段长长的“内部思考”比如嗯用户问的是…我应该先算…。这段思考过程通常也算作输出 Token很多时候模型思考了几千个 Token最终给你的答案可能只有几十个 Token。这会导致输出 Token 账单暴增。为什么输出token贵致命伤一算力闲置输入阶段当你把一大段提示词发给模型GPU 可以在一次矩阵计算中同时处理这所有的 Token类似于多车道同时行驶效率极高。输出阶段AI只能一次生成一个token。每次为了算出这1个新token它都要去翻看之前记住的1000个历史线索并且算出一个 Token后要拼接到上下文再算下一个 Token。计算器本身算得飞快但95%的时间都在“等数据送过来”。GPU 的计算单元闲置了 95% 的时间全在等“搬数据”。虽然每次算得极少但生成1000 个输出 Token 需要串行跑 1000 步总共耗时可能是输入阶段的 10 倍以上。致命伤二显存带宽被榨干输出阶段瓶颈从“计算速度”变成了“显存搬运速度”输入阶段消耗的是“计算能力”算力这是GPU的强项输出阶段消耗的是“搬运能力”带宽。为了算1个新字要把历史记录从显存“搬”到计算器里。显存带宽是 GPU 最稀缺、最贵的资源之一输出阶段疯狂搬运海量数据直接把带宽打满导致其他运算都得排队。致命伤三KV Cache 占用显存输入阶段算完就释放显存不占地方。输出阶段AI每吐出一个新字就要把它的记忆写进KV Cache(键值缓存AI为了记住上下文把之前算过的历史线索存下来的“小本本”)里。生成过程中越写越厚显存占用越来越大。直到整段对话结束这块显存才会被释放。对于云厂商来说显存就是钱。一块A100只有80GB显存如果给你一个人生成长文就占了40GB那这张卡能同时服务的人就少了一大半。3. Vocabulary词表上面讲解原理的时候我们还提到一个概念——词表那什么是词表呢概念词表是模型预定义的一个映射字典。它包含了模型“认识”的所有词元Token。•每个词元都有一个唯一的数字 ID索引。•当输入文本时分词器Tokenizer会查阅词表将句子切割成词表中存在的片段并转换为 ID列表输入模型模型输出的 ID 再通过词表映射回文本。在大型语言模型LLM的架构中Vocabulary词表是模型理解人类语言的“字典”。它定义了模型能“看见”和“写出”的所有基本单位。作用由于大语言模型LLM本质上是数学函数输入数字输出数字无法直接处理原始文本因此词表就是连接“人类语言”和“模型数字世界”的桥梁。常见大模型的词表大小生成词范围大模型不能生成不在词表Vocabulary里的“Token”但可以组合出不在词表里的“词Word”。比如大模型不认识unbelieveable 但是可以通过 3个token un believe able 组词出来 unbelieveable 理论上生成的所有的内容都必须来自token。虽然模型可以拼凑出任何字符串但它无法创造出词表索引之外的新编号。如果模型的词表大小是50,257GPT-2 的标准它永远不可能输出编号为 50,258 的 Token。如果真遇到了token没办法表示的单字符比如某些Emoji 表情就会触发字节级回退。什么是字节级回退字节级回退简单来说由于字节级回退的存在当模型遇到词表里完全没有的字符时它不再摆烂说“我不认识”输出未知符而是直接把这个字符拆解成最底层的“字节Byte”用字节级别的 Token 来拼凑它。在早期的 NLP 模型中如果词表是固定的 5 万个词遇到一个没见过的生僻字比如“龘”分词器通常会直接把它替换成一个特殊的 Unknown未知词Token。后果模型直接丢失了这个字的信息在输出时也无法生成它。如果一句话里有好几个模型就彻底“看不懂”了。为了解决这个问题现代大模型如 GPT-2、Llama、DeepSeek 等引入了字节级回退机制这是一个极其精妙的设计为了让知识闭环更完整我们可以用一个更具体的硬核拆解来看看它在底层到底是怎么运作的假设我们要让大模型处理这个表情而词表里恰好没有它传统 Tokenizer 的绝路传统分词器一看词表里没有就会直接抛出一个未知字符标记——[UNK] Unknown。模型看到 [UNK] 就是两眼一抹黑根本不知道这后面代表的是愤怒、悲伤还是微笑。Byte-fallback 的拯救有了字节级回退的存在这时候就会触发回退直接查的UTF-8 编码编码的 UTF-8 编码由 4 个字节组成 0xF0 0x9F 0x98 0x8A 。字节级切分模型直接在词表的字节层找到对应这 4 个字节的 Token把变成了 4 个基础字节 Token 的拼接。0xF0 →映射到词表里的专用 Token byte_0xF00x9F →映射到词表里的专用 Token byte_0x9F0x98 →映射到词表里的专用 Token byte_0x980x8A →映射到词表里的专用 Token byte_0x8A最后这个表情就被切成了 4 个独立的字节 Token 送入模型。理解了这是一个整体然后在输出时再把这 4 个字节吐出来解码后重新组合成结构上的认识那这样模型就认识这个表情了吗在字节级回退发生后模型并不是立刻就认识了这个表情知道它代表微笑的意思。它需要通过内部的计算机制才能逐渐“领悟”这 4 个字节连在一起到底代表什么。他真的理解微笑吗这是一个哲学问题。模型没有眼睛看不到表情也没有情绪。它所谓的“认识”本质上是统计关联它知道 byte_0xF0 byte_0x9F byte_0x98 byte_0x8A 这四个字节连在一起在人类语境中通常表示“积极、开心”。它知道如果你给它一个“悲伤”的语境它不应该输出这 4 个字节。它知道如果你让它“发个开心的表情”它应该预测出这 4 个字节以及可能的其他组合比如、的字节序列。极其关键的区分高频与低频对于这样的高频 Emoji模型在训练中见过无数次这 4 个字节的向量已经被“训练”得极其精准模型完全“认识”它。对于极其罕见的 Emoji 或自造符号比如某个偏僻的非洲部落文字如果训练数据里从来没有出现过字节级回退虽然能让模型“不报错、不崩溃”地把它吞下去变成 4 个字节 Token但模型完全不知道它是什么意思。此时模型的状态是它“看到”了这 4 个字节但脑子一片空白。它可能会根据“这四个字节看起来像其他什么词”来瞎猜或者完全忽略它们。为什么说这是一个“极其精妙”的设计在 Byte-fallback 出现之前为了不让模型遇到生僻字就变“瞎子”早期的 GPT-2 采用了纯字节级BPEByte-level BPE。也就是说它的词表干脆完全由最基础的 256 个字节组合而成。但纯字节级有一个致命缺点效率太低。英文单词 apple 6字节就要占 5 个 Token中文苹果在 UTF-8下有 6 个字节要占 6 个 Token。这会导致大模型的上下文窗口Context Window迅速被吃满。而 Byte-fallback字节级回退则是两者的完美结合Best of Both Worlds正常情况下词表里有高频的“苹果”、“apple”、“Hello”那就直接用大 Token保证效率。极端情况下遇到冷门字、火星文、罕见 Emoji不报错、不丢弃而是降级回退到字节模式保证鲁棒性。字节级回退的代价Token 数量爆炸如果一句话全是词表里的高频词可能 10 个字只占 10 个 Token。但如果一句话全是生僻字或者新造词或冷门表情每个字/表情都被迫回退成字节数个 Token占用的token数量大大增加推理速度自然也变慢。对于词表里有的词模型输出1 个 Token 即可对于词表里没有的“新词”模型可能需要输出 5-10 个 Token。这也是为什么处理某些冷门专业术语或罕见语言时LLM 的推理速度会变慢且更贵。

【白话大模型】大语言模型工作原理

相关推荐

戴森球计划蓝图仓库：7000+ 张免费工厂蓝图，新手开荒直接抄作业

self-learning-skills三步循环深度解析：如何识别、捕获并复用会话中的黄金路径

GriddyCode 代码编辑器：Lua 插件与 18 套主题，三步换成你的风格

更多资讯

2026年9月代码趋势榜：AI Agent基础设施与开发效率工具深度解析

MySQL视图详解：从虚拟表到权限与性能优化实践

OpenCV图像定位画框实战：从坐标原理到精度优化

C++散列表实现电话号码查找系统：课程设计高分指南

MySQL视图从入门到实战：简化查询、权限隔离与性能优化

AI生成App原型与D2C设计转代码全流程实操指南

今日更新

电商智能运营体系从0到1：架构设计、落地步骤与避坑指南

压缩空气储能与热网热惯性联合优化调度：热电联产系统建模与求解

若依框架AI代码生成不稳定？用Agent Skill三层结构+五步法搞定

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？