pytorch学习笔记2（transformer）-北京尧图网络

摘要本文围绕 Transformer 架构的核心设计展开逐步拆解自注意力机制、位置编码、多头注意力、前馈网络、残差连接与层归一化等关键组件并深入分析 Encoder-Decoder 结构、Masked Self-Attention、Cross-Attention 与自回归生成机制帮助读者理解 Transformer 为何能取代 RNN 成为现代序列建模的基础架构。关于正则化正则化是用在损失函数里面用来防止模型追着噪声点学习把模型搞得特别复杂惩罚因子越大模型正则化水平越高越不容易过拟合但是过大的正则化也会导致模型捕捉细节能力不强关于对模型的思考这个问题的数据结构是什么模型认为信息应该怎样传播为什么这种传播机制适合这个问题?神经网络演化Transformer:自注意力位置编码位置编码从何而来如果 Self-Attention 天生不知道顺序那我要人为给每个位置发一张什么样的“位置身份证”绝对信息位置vs相对信息位置编码要求连续有规律任意编码------偶sin,奇cos----多频率位置编码:p_i[sin(i),sin(i/100),....]i当前位置编号j第几个频率d维度优点1相对位移好表达优点2内积出现位置差transformer的来源seq2seq输入--输出我保留里面的RNN我能不能用Attention把encoder和decoder重新造一遍面临的一系列问题没有RNN了↓顺序信息没了→ Positional Encoding一层Attention表达关系太单一→ Multi-Head AttentionAttention主要负责“从别人那里拿什么”但拿回来之后还要加工→ FFN堆很多层以后网络不好训练→ Residual Connection LayerNorm我要做翻译输入英文输出中文→ Encoder DecoderDecoder训练时能看到完整中文答案那岂不是偷看未来→ Mask预测时又不可能一次知道整句答案→ Autoregressive解决问题的模块及其作用注多头注意力多个head学习不同特征彼此独立关于得分函数transformer中一般采用放缩点积注意力。attention得到了什么 layernorm解决的FFN全称position-wise feed-forward network 逐位置前馈网络小mlp 先升维后降维为啥先masked self-attention后cross-attention?以翻译模型为例要想知道我要去英文里面查什么取决于我中文现在已经写到哪里了。masked self-attention当前位置只允许利用已经生成的过去不允许利用未来答案。cross attention以我当前生成状态来看原文哪个位置对我有用。Bahdanau attention)Q1Bahdanau Attention 已经有 Attention 了Transformer 为什么还值得出现Bahdanau Attention 虽然允许 Decoder 动态关注 Encoder 的不同位置但 Encoder 和 Decoder 主体仍然是 RNN存在串行计算和长距离依赖的问题。Transformer 进一步使用 Self-Attention 替代 RNN 的主要递归结构使序列内部任意位置可以直接交互并能够并行计算。Q2Decoder 为什么有 Masked Self-Attention 和 Cross-AttentionQ3如果把 Mask 拿掉训练翻译模型时会发生什么mask防止训练时偷看答案使训练符合自回归生成规则。transformer架构

pytorch学习笔记2（transformer）

相关推荐

WPF学习-布局和控件

2026智能体项目必备：编排引擎如何解决流程、状态与协作难题

jstips 第 15 期：用按位非操作符 `~` 把 indexOf 写成更简洁的 contains 判断

更多资讯

从调研报告到生产落地：Agent开发架构、LangGraph与并发稳定性指南

LiveAgent安全设计解析：为什么你的API Key永远不会离开本机

Rails 中为 IRB 控制台提示符添加环境颜色：基于 IRB::Color 与 Rails::Applicationconsole 的完整配置指南

如何追溯RAG答案的每一步来源：EdgeQuake知识图谱谱系与引用追踪完整指南

偷看CPU的保险箱：skitter-creek-bath-salts从C6 stash挖出的5个隐藏寄存器

从Prompt到Context：AI Agent上下文工程实战指南

今日更新

PHP htmlentities()函数用法讲解

AI Agent工程实战：从七要素到七个决策点的系统设计指南

AI入局芯片设计验证：验证收敛50倍加速的真相与应对

本周精选

CMOS设计三大物理效应：体效应、沟道长度调制与亚阈值导电

微信小程序在线阅读毕设全解析：Java后端+MySQL+避坑实战

Android音频问题五层分析法：从App到Codec的系统化诊断

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？