Transformer 与大语言模型：第8章 Feed Forward Network(FFN 网络)-北京尧图网络

第8章 Feed Forward Network本章目标：理解 FFN 在 Transformer Block 中的作用，以及为什么维度要扩大四倍，GELU/SwiGLU 的原理。8.1 如果没有 FFN 会怎样？在进入 FFN 的结构之前，我们先问一个关键问题：如果 Transformer Block 只有 Attention，没有 FFN，会发生什么？假设一句话：The bank approved my loan.Attention 工作以后，bank去查看所有 Token，算出注意力权重：The 5% approved 40% loan 55%于是bank的新向量变成了：bank_new = 0.05×The + 0.40×approved + 0.55×loan请问：bank现在理解自己的含义了吗？没有。因为 Attention 只做了一件事：把别人的信息拿过来。它没有对收集到的信息进行任何"加工"或"推理"。一个生活中的类比假设你准备买房，于是问了三个朋友：朋友 A：“位置很好”朋友 B：“学区不错”朋友 C：“价格偏贵”这就是 Attention 干的事——收集意见。但收集完意见之后，你做出决定了吗？当然没有。你还需要自己思考：综合位置、学区、价格，结合自己的预算和需求，形成判断。FFN 就是那个"自己思考"的环节。Attention = 和别人聊天，收集信息 FFN = 回家自己思考，形成判断所以 FFN 更准确的名字应该叫Per-Token Thinker（每个 Token 的独立思考器）。8.2 FFN 的结构理解了 FFN 的定位，再来看它的数学形式就很自然了：FFN(x)=Activation(xW1+b1)W2+b2\text{FFN}(x) = \text{Activation}(x W_1 + b_1) W_2 + b_2FFN(x)=Activation(xW1+b1)W2+b2输入[batch, seq, d_model]例: [2, 5, 512]Linear W_1[d_model, dff][512, 2048]ActivationGELU/ReLULinear W_2[dff, d_model][2048, 512]输出[batch, seq, d_model]例: [2, 5, 512]关键参数：d_model：输入/输出维度（如 512）dff：中间层维度（如 2048，通常是 d_model 的 4 倍）其中W1:[dmodel,dff]W_1: [d_{model}, d_{ff}]W1:[dmodel,dff]、b1:[dff]b_1: [d_{ff}]b1:[dff]、W2:[dff,dmodel]W_2: [d_{ff}, d_{model}]W2:[dff,dmodel]、b2:[dmodel]b_2: [d_{model}]b2:[dmodel]全部是通过反向传播训练出来的可学习参数——和 Attention 中的WQW_QWQ、WKW_KWK、WVW_VW

Transformer 与大语言模型：第8章 Feed Forward Network(FFN 网络)

相关推荐

Qt调用海康威视SDK开发指南：登录、预览、抓图与录像

美团2024秋招测试开发笔试全解析：从算法到场景题

VSCode 调试 TypeScript 从入门到实战：source map 与断点详解

更多资讯

基于Hadoop+Spark的智能租房推荐系统架构与实现

Java社区老年人健康管理系统开发实践

马尾辫怎么扎好看不伤发？从高度、脸型到发圈选择的完整指南

企业智能体工程实践：从概念到落地的核心要素

Multisim 14.0安装授权与仿真验证避坑指南

OpenMontage：开源智能粗剪工具，让视频剪辑告别体力活

今日更新

Agent-Reach：打通大模型触达外部系统的最后一公里

深度学习图像隐写分析实战：从CNN原理到毕设源码全解析

AI赋能知识产权供需匹配：专利评估、需求挖掘与多路召回工程实践

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？