LLM 应用开发必修课：彻底搞懂 Positional Encoding / Position Embedding-北京尧图网络

为什么 Transformer 明明能“看见”整个上下文，却不知道谁在前、谁在后？从 Sinusoidal Position Encoding，到 Learned Position Embedding，再到如今 LLaMA、Qwen 等模型广泛采用的 RoPE，位置编码经历了一次非常有代表性的演进。对 LLM 应用开发者来说，理解位置编码并不只是为了回答面试题。一旦你开始处理长上下文、RAG、SFT/LoRA、KV Cache 或 100K+ Context，位置编码就会从“模型底层细节”变成一个真正影响系统效果的工程问题。1. 引言：自注意力机制的“阿喀琉斯之踵”1.1 Transformer 为什么天生没有“顺序感”？Transformer 最核心的计算是 Self-Attention：Attention(Q,K,V)=softmax(QKTd)VAttention(Q,K,V)=softmax\left(\frac{QK^T}{\sqrt{d}}\right)V它非常擅长回答：“当前 Token 应该关注其他哪些 Token？”但这里有一个非常关键的问题：Attention 本身并不知道 Token 的先后顺序。例如：我爱北京北京爱我如果只把 Token 的向量交给 Self-Attention，那么模型看到的是：[我] [爱] [北京]和：[北京] [爱] [我]本质上都是一组向量。换句话说，Self-Attention 更像一个“超级词袋模型”。1.2 一个更直观的类比假设把一句话拆成三张卡片：┌────┐ ┌────┐ ┌──────┐ │ 我 │ │ 爱 │ │ 北京 │ └────┘ └────┘ └──────┘如果把三张卡片同时扔到桌面上：┌──────┐ │ 北京 │ ┌────┐ │ 爱 │ ┌────┐ │ 我 │你知道有哪些词，却不知道：谁是第一个？谁是第二个？谁是第三个？所以 Transformer 需要额外告诉模型：“这个 Token 在第几个位置。”这就是Positional Encoding / Position Embedding（位置编码/位置嵌入）。1.3 为什么位置编码如此重要？语言不是一个无序集合。例如：猫吃鱼鱼吃猫Token 集合完全一样，但语义完全不同。因此，LLM 至少需要同时建模：Token Identity + Position Information ↓ Transformer ↓ Contextual Representation可以把整个问题理解成：flowchart LR A[Token] -- B[Token Embedding] C[Position] -- D[Position Information] B -- E[Transformer] D -- E E -- F[Contextual Representation]没有位置信息，Transformer 很难真正理解“顺序”。2. 位置编码的演进史：从“绝对”到“相对”再到“旋转”位置编码的发展，本质上是在解决一个问题：如何让模型知道位置，同时尽可能高效、泛化，并支持更长的上下文？大致可以看到这样一条路线：flowchart LR A[绝对位置编码] -- B[相对位置编码] B -- C[RoPE] A1[Sinusoidal] -- A A2[Learned Embedding] -- A B1[ALiBi] -- B B2[T5 Relative Bias] -- B C -- D[长上下文扩展] D -- E[PI] D -- F[NTK-aware] D -- G[YaRN]2.1 第一代：绝对位置编码Sinusoidal Position EncodingTransformer 原论文采用的是正弦/余弦位置编码。对于位置 $pos$ 和维度 $i$：PE(pos,2i)=sin⁡(pos100002i/d)PE(pos,2i)=\sin\left(\frac{pos}{10000^{2i/d}}\right) PE(pos,2i+1)=cos⁡(pos100002i/d)PE(pos,2i+1)=\cos\left(\frac{pos}{10000^{2i/d}}\right)不要被公式吓到。它实际上是在做一件很简单的事情：给每一个位置生成一个独特的“坐标指纹”。例如：Position 0 → [0.00, 1.00, 0.00, 1.00, ...] Position 1 → [0.84, 0.54, 0.01, 1.00, ...] Position 2 → [0.91,-0.42, 0.02, 1.00, ...] ...然后：Xposition=TokenEmbedding+PE(position)X_{position}=TokenEmbedding+PE(position)也就是：Token 向量 + 位置向量 ↓ Transformer 输入优点实现简单不增加可训练参数理论上可以生成任意位置的编码问题它属于典型的绝对位置表示。模型训练时如果只看到：0 ~ 4095推理时突然给：0 ~ 100000虽然数学公式仍然可以生成位置编码，但：模型并没有真正学会如何处理这么远的位置。这就是后面“长上下文扩展”问题的根源之一。2.2 Learned Position Embedding另一种方法更加直接：Position 0 → 一个可训练向量 Position 1 → 一个可训练向量 Position 2 → 一个可训练向量 ...例如：position_embedding = nn.Embedding(max_position_embeddings, hidden_size)训练过程中：Token Embedding + Learned Position Embedding ↓ Transformer这种方法非常直观，而且可

LLM 应用开发必修课：彻底搞懂 Positional Encoding / Position Embedding

相关推荐

音游谱面解析与本地可视化调试：JSON、判定区间与配乐对齐

2800张YOLO手机检测数据集实战与部署避坑指南

Redis接入AI实战：自然语言操作、智能运维与缓存治理

更多资讯

嵌入式驱动开发：从能跑到会崩的量产工程化鸿沟

MFC TCP网络通信实战：心跳保活、粘包处理与断线续传

前端敏感数据脱敏实战：手机号身份证号正则替换与Vue组件实现

使用Filler4提取微信小程序视频：手把手实操与原理剖析

昇思 MindSpore 大模型单卡微调推理：自助搭建流程

方差、标准差、MSE与RMSE：数据工程师的指标选择实战指南

今日更新

MATLAB+Yalmip+CPLEX实战：综合能源系统优化调度全流程解析

I3C比I2C快10倍？RK3576实战：速率、DTS配置与混合总线避坑指南

字符串转对象：JSON.parse、new Function与URLSearchParams

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？