尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
Deep Learning for Computer Vision——Recurrent Neural Networks
第一部分为什么需要 RNN序列建模问题传统 CNN 和全连接网络FC的输入和输出大小是固定的比如 224x224 的图片输入输出 1000 个类别。但现实中有很多任务输入或输出是可变长度的序列如文本、语音、视频帧。RNN 就是为了处理可变长度序列数据而设计的。根据输入输出长度的不同分为四种模式参考图 11对1 (One-to-one)传统神经网络。1对多 (One-to-many)固定大小输入变长输出例如图像描述输入一张图输出一段文字。多对1 (Many-to-one)变长输入固定输出例如视频分类输入多个视频帧输出一个动作标签。多对多 (Many-to-many)变长输入变长输出且长度通常相等例如逐帧视频分类、机器翻译这节课的核心。第二部分RNN 的核心原理1. “展开图”与循环结构RNN 有一个隐藏状态Hidden State它像一个“内存条”保存了过去所有时间步的信息。展开结构Unrolled RNN是理解 RNN 的最佳方式我们把时间维度铺开每一个 RNN 单元不仅接收当前输入还接收上一个单元的输出。text[输入] x1 --- [RNN] --- [输出] y1 ↑ ↑ | └── (携带上一步的信息 h1传给下一步) (x2) --- [RNN] --- [输出] y2 ... 以此类推2. 数学公式隐藏状态更新公式​旧的隐藏状态记忆。当前时刻的输入。​带有参数 W 的函数如 tanh 或 ReLU。关键点所有时间步共享同一组权重 W参数量不随序列长度增加输出公式使用另一组权重将隐藏状态转换为输出。注意隐藏状态和输出的维度可以不同。基础 RNNVanilla RNN具体公式为什么用 tanh⁡因为它的值域在 [-1, 1] 之间有界且零中心化可以避免数值爆炸。h0​ 初始化为零向量或学习得到的参数。第三部分实战举例——手写 RNN 检测“连续 1”任务输入一串 0 和 1如果当前输入和上一个输入都是 1则输出 1否则输出 0。输入序列[0, 1, 0, 1, 1, 1, 0, 1, 1]期望输出[0, 0, 0, 0, 1, 1, 0, 0, 1]手动构造一个 RNN设定隐藏状态为 3 维向量[当前值, 上一个值, 常数 1]。作为初学者可以想象它像一个小账本。初始化 h0[0,0,1假设最开始看到了两个 0。使用 ReLU 作为激活函数简化计算大于 0 保留小于 0 变成 0。构造权重矩阵参考图 7输入变换将 x 送入第 1 个位置即W_xh [[1], [0], [0]]。​状态转移将上一次的“当前值”移入“上一个值”的位置即W_hh [[0,0,0], [1,0,0], [0,0,1]]。计算逻辑以一个具体步骤演示假设上一步状态上一次输入是1当前输入。记忆已更新。输出设置[1,1,−1]则ReLU((1∗1)(1∗1)(1∗(−1)))ReLU(1)1。 结论只要构造出合适的权重普通的 RNN 就能完成这个逻辑任务但在实际应用中我们不需要手写权重而是通过梯度下降自动学习 WW。第四部分如何训练 RNN难点与解决方案1. 多对多任务的损失计算与梯度更新对于多对多任务每个时间步都有一个损失 LtLt​总损失是它们之和L。因为所有时间步共享权重 W所以在反向传播BPTT时我们需要把每个时间步算出的 W 的梯度全部加在一起。2. 梯度消失问题与截断 BPTT致命缺陷当序列很长时反向传播跨越的时间步很多如果使用 tanh 或 Sigmoid它们的导数往往小于 1连乘之后∏tanh⁡′梯度会迅速趋近于 0梯度消失。这意味着网络“记不住”很早期的信息长距离依赖。解决方案1截断 BPTT (Truncated Backpropagation through time)你不需要在整个序列上反向传播耗时且爆内存。做法设置一个窗口如 N10前向传播一直往前跑记忆保留但反向传播只倒退最近的 10 步。这样既节省了内存又近似了梯度。注分布式训练时每个 GPU 算梯度后加起来更新权重原理类似。3. 解决方案2LSTM长短期记忆网络LSTM 是为了解决梯度消失问题而设计的。参考图13它的核心是引入一条“高速公路”叫细胞状态沿着这条路径走信息不经过任何非线性激活函数只能通过“门”来加减从而保证梯度能无损流过。LSTM 公式解析4个门通过拼接输入和隐状态乘以一个大的权重矩阵得到 i,f,o,g遗忘门 f决定上一时刻的中有多少保留下来。Sigmoid 函数0 是忘掉1 是保留输入门 i决定当前的新信息 g 有多少写入到​ 中。新候选值 g生成当前的候选记忆。tanh 函数细胞状态更新f⊙i⊙g加法操作让梯度畅通无阻输出门 o决定最终输出​ 的多少。o⊙tanh⁡()第五部分RNN 的高级用法与模型细节1. 字符级语言模任务根据已有字符预测下一个字符。例如输入 h输出 e输入 e输出 l...输入层处理我们不会直接用 One-hot 向量做矩阵乘法因为太稀疏而是使用嵌入层Embedding Layer本质上就是一个大小可学习的矩阵相当于查表提取密集特征。采样Sampling在测试时我们用网络预测出下一个字符的概率分布然后采样一个字符将其作为下一次的输入循环往复直到遇到“结束符”。2. 多层 RNN 与应用多层 RNN将 RNN 层堆叠起来深度维度每一层处理上一层的数据增加模型的表达能力。应用图像描述提取 CNN 倒数第二层的特征作为 h0​ 输入到 RNN 中。视觉问答将问题和图片特征融合输入 RNN输出答案概率。优点能处理任意长序列模型参数量固定。缺点无法并行训练前一步的输出是后一步的输入必须串行速度极慢容易丢失早期信息。 总结备忘输入输出只要想到了“变长序列”第一反应就是 RNN 族。共享参数RNN 的参数在不同时间步是完全共享的这是和 CNN 共享卷积核有异曲同工之妙的地方。实际现状虽然 RNN/LSTM 理论很重要但在现代 NLP 领域如 ChatGPT它们基本已被Transformer取代因为 Transformer 支持高度并行训练且能通过注意力机制直接捕捉长距离依赖。联想记忆你可以把 RNN 想象成“一面倒的动态长卷”把 LSTM 的细胞状态想象成“一条笔直的传送带”门控就像是控制传送带上物品加减的开关。
RELATED

相关推荐

中小企业数字化转型指南 |钱、人、设备、生态:压在中小企业数字化身上的几座大山

中小企业数字化转型指南 |钱、人、设备、生态:压在中小企业数字化身上的几座大山

中小企业数字化推不动,并非主观不愿转型,而是受“六座大山”制约:内部资金、人才、设备,外部互通、数据、服务。企业开展数字化之前应当完成现状体检,客观评估约束条件,切忌盲目启动项目。依据中国信通院《…

📅 2026/11/14 21:48:18
对刀仪维护大全气路镜头密封件校准周期一文讲透

对刀仪维护大全气路镜头密封件校准周期一文讲透

对刀仪维护大全:气路/镜头/密封件/校准周期一篇文章讲透数据来源说明:本文维护建议基于雷尼绍(Renishaw)、马波斯(Marposs)、波龙(BLUM-Novotest)官方技术手册整理。一、三种对刀仪的…

📅 2026/10/22 13:32:48
深入理解 AI Agent · AGENT #03:从单 Agent 到多 Agent

深入理解 AI Agent · AGENT #03:从单 Agent 到多 Agent

📘 《深入理解 AI Agent》系列 第八篇 | AGENT-03 前篇回顾:Agent 基础篇 #01 从LLM到Agent → Agent 基础篇 #02 四大核心机制 → Agent 基础篇 #03 从单Agent到多Agent 开篇:单 Agent 能走多远? 做 AI Agent 的开发者常有一个…

📅 2026/11/12 2:10:31
MORE NEWS

更多资讯

📰

甘肃武威在哪考电工证值不值得考?工地太忙根本没时间复习考试

甘肃武威在哪考电工证值不值得考?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是大多数电工从业者的真实写照。尤其是在甘肃武威,很多电工都是“边干边学”,靠经验吃饭,但随着国家对安全生产和从业人员资质管理的严格化, 电工证…

📰

博白电工证考试流程真实经历:外省证能不能转过来?看我亲身操作

博白电工证考试流程真实经历:外省证能不能转过来?看我亲身操作 之前考的证在外省能不能转过来?我来告诉你真实经历,别再瞎打听。…

📰

工地太忙根本没时间复习考试?霸州电工证代办多久拿证全攻略

工地太忙根本没时间复习考试?霸州电工证代办多久拿证全攻略 工地太忙根本没时间复习考试,这几乎是每个在一线施工的电工都面临的现实问题。尤其是像河南信阳这样的水利工程一线,工期紧、任务重,很多人连抽空准备电工证考试都成了难题。别急,本文就围绕【…

📰

高职考电工证怎样计分保姆级教程实操考试心理没底别慌

高职考电工证怎样计分保姆级教程实操考试心理没底别慌 实操考试心里没底怕挂科?这是很多准备高职考电工证的学员最真实的状态。尤其是对于第一次参加特种作业考试的人来说,考试流程、评分标准、实操细节都像谜一样,让人摸不着头脑。别担心,这正是今天这篇…

📰

广电工作业绩怎么写多久拿证 50天搞定低压电工证的实战经验

广电工作业绩怎么写多久拿证 50天搞定低压电工证的实战经验 工地太忙根本没时间复习考试,你不是一个人。作为一名安阳中小施工企业的项目负责人,我也曾被这样的问题困扰。每天带着团队穿梭在工地上,处理各种突发状况,哪还有时间准备特种作业操作证的考…

📰

高压电工证培训值不值得考?南阳电工从业者真实经验分享

高压电工证培训值不值得考?南阳电工从业者真实经验分享 你现在手里拿着简历,正在找电工相关工作,但招聘网站上的岗位都写着“持证上岗”,你是不是也和很多人一样, 急需特种作业证才能上岗找工作…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬