一篇讲清Token表示、QKV、位置编码、多头注意力与MLP分工，小白也能轻松入门大模型-北京尧图网络

本文深入浅出地解析了Transformer模型中的核心概念。首先澄清了Token维度不变的误解强调Transformer在固定维度空间中逐层重写Token语义。接着详细解释了QKV在注意力机制中的作用Q负责查询K负责索引匹配V负责信息传递。文章还强调了位置编码对于理解句子顺序的重要性以及多头注意力机制如何提供多视角并行处理。最后阐述了MLP模块在Token内部加工信息的作用总结Transformer的核心是通过上下文关系不断丰富Token的意义。一篇讲清 Token 表示、QKV、位置编码、多头注意力与 MLP 分工图 1 固定维度中的语义重写Token 的维度不变但上下文信息不断被融合。1.先删掉一个误解信息变多不等于维度变多很多人学 Transformer 时会自然以为一层一层往上走Token 的表示是不是越来越“大”维度是不是越来越多这个直觉不准确。如果模型隐藏维度是 4096那么一个 Token 进入 Transformer 是 4096 维经过第 1 层、第 10 层、第 30 层通常仍然是 4096 维。变化的不是维度数量而是这些数字所编码的语义。更准确的说法是Transformer 在固定大小的向量空间里逐层重写每个 Token 的表示。比如“苹果”这个 Token刚进入模型时更接近词本身到浅层时它开始带有名词、水果、宾语候选等特征到中层时它与“小明”“吃了”建立关系到深层时它已经不只是“苹果”这个词而是“当前事件里被小明吃掉的那个对象”。2.Q、K、V寻址和搬运要分开看注意力公式通常写作Attention(Q,K,V) softmax(QKᵀ / √dₖ) V。这里的 dₖ 是 Key 的维度不是随便写一个总维度 d。这个公式不必一上来就死记。它做的事情可以拆成两步Q 和 K 先决定“应该关注谁”V 再决定“真正拿回来什么”。Q 可以理解成“我现在想找什么”K 是每个历史 Token 暴露出来的索引特征表示“我这里有什么值不值得你找我”V 则是被选中以后真正拿回来的信息内容。图 2 Q/K 负责匹配V 负责信息传递Attention 输出会通过残差连接融入当前 Token。假设当前处理“吃”这个 Token它可能会对“小明”分配 0.35 的权重对“苹果”分配 0.55 的权重。Attention 输出就是这些位置的 V 按权重加权求和。所以V 的信息确实会融合进当前 Token 的最终表示里。Q/K 更像寻址系统V 才是信息搬运的货物。不过这种融合不是简单覆盖。Transformer 里还有残差连接形式上更像新表示旧表示从上下文取回的信息。这样当前 Token 不会丢掉自己的原始身份而是在原有表示上叠加上下文信息。3.位置信息让 Attention 不把句子当成一袋词单纯的 Attention 并不天然理解顺序。如果只看词本身“小明吃了苹果”和“苹果吃了小明”会很危险地接近因为二者包含的词一样。所以 Transformer 会把位置信息注入 Token 表示中。这样 Q 在寻找信息时不只是表达“我要找一个名词”还可以表达“我要找我前面那个更像主语的名词”或者“我要找我后面那个更像宾语的名词”。4.多头注意力不是一个问题而是一组并行视角如果只讲一个 Q 去找一批 K读者容易误以为一个 Token 在一层里只能找一种关系。实际的 Transformer 使用多头注意力。多头可以理解为多个并行的小团队有的头更擅长找主谓关系有的头更擅长找动宾关系有的头关注位置距离有的头关注语气、指代或格式。它们各自读回一部分信息最后再拼接、投影形成这一层的输出。图 3 Transformer Block 的三块关键拼图位置、多头与 MLP。5.Attention 负责交流MLP 负责消化Attention 的主要作用是让不同 Token 之间交换信息。它回答的是当前 Token 应该从哪些位置读取上下文。MLP/FFN 的作用则更像在 Token 内部做加工。Attention 把上下文搬回来以后MLP 负责把这些信息转成更有用的特征也会激活模型参数中已经学到的模式和知识。一个好用的心智模型Attention 负责 Token 之间的“交流”MLP 负责 Token 内部的“消化”。结论Transformer 到底在做什么Transformer 不是把 Token 越堆越厚也不是简单给 Token 增加维度。它是在固定维度的向量空间里一层一层把上下文关系写进每个 Token 的表示。位置编码提供顺序感多头注意力提供多视角的信息交换V 把被选中的内容真正搬回来残差连接把新信息融合进原表示MLP 再对融合后的表示进行内部加工。压缩成一句话Transformer 的本质之一是把“一个词”逐层改写成“这个词在当前上下文中的意义”。速记表概念直觉作用Token 表示固定维度里的语义状态不是越变越宽Q当前位置发出的查询我想找什么K可被匹配的索引特征我这里有什么V真正被读回的信息内容多头注意力多个并行视角同时读取不同关系MLP/FFN对读回来的信息做内部加工和知识激活如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型入门到实战全套学习大礼包1、大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通2、大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。3、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。4、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。5、大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。适用人群第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一篇讲清Token表示、QKV、位置编码、多头注意力与MLP分工，小白也能轻松入门大模型

相关推荐

Android Studio下载和安装（Windows版）

航发自动化立体库异构系统改造：宽海智能30天联调技术全解析

从100套教程到4个完整项目，我的Agent学习之路（收藏版）

更多资讯

2026大数据运维行业趋势复盘：大数据运维工程师赋能发展

在 Go 中使用 bitset 位集：从基础操作到高性能集合运算与序列化

NSF 基金申请 Broader Impacts 写作全指南：从五大支柱到可执行策略

SAP HANA 迁移到 SAP HANA Cloud 前，为什么必须把 Migration User 这道权限关设计好

林伽一 · AI科技日报｜ 2026年09月11日

2026下半年AI优化行业观察：从「野蛮生长」到「合规精耕」的5个信号

今日更新

SpacetimeDB C++ 模块库实战：用 C++20 在数据库内构建 WebAssembly 模块

别踩雷！不是所有 AI 写作工具都靠谱，2026 高校认可工具精选

SSM+MySQL幼儿园管理系统源码解析：从部署到优化

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？