尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
深度学习之激活函数(Deep Learning about Activation function)
二、激活函数1、激活函数知识1.1 激活函数概念每个神经元做的事情线性变换非线性激活激活函数sigma就是“”非线性若没有它100层网络 1层网络线性描述的是一种按比例变化和可叠加的直接关系在几何上通常表现为一条直线。如果没有激活函数多层线性变换等价于单层线性变换yW3(W2(W1xb1) b2) b3 (W3W2W1)x常数无论堆多少层最终还是线性变换100层 1层激活函数在每一层之间插入一道非线性的弯让神经网络得以拟合任意复杂的函数。1.2 激活函数的基本要求要求说明非线性激活函数本身不能是线性的否则多层堆叠没有意义几乎处处可导反向传播需要计算梯度梯度稳定导数不能太大梯度爆炸或太小梯度消失计算高效前向和反向都要快会被调用上亿次1.3 激活函数发展史阶跃函数1958问题导数几乎处处为0反向传播时梯度无法通过。Sigmoid1986优点处处可导输出在0,1可解释为概率。缺点两端饱和导致梯度消失|x|大时导数趋近于0。Tanh1990优点输出在-1,1零中心优化更顺畅。缺点仍然是s型函数两端饱和问题存在。ReLU2010优点正半轴导数恒为1梯度畅通无阻计算极快比较运算产生稀疏激活负值输出0缺点死亡ReLU负值输出永远为0梯度为0无法恢复输出非零中心Leaky ReLU / GELU / Swish针对ReLU改进Leaky ReLU负半轴给一个小斜率避免神经元死亡GELU平滑近似Transformer标配SwishGoogle用NAS搜索出来的激活函数性能优秀1.4 激活函数选择指南场景推荐激活函数输出层二分类Sigmoid输出层多分类Softmax隐藏层普通CNN/RNNReLU隐藏层TransformGELU/SiLU死亡神经元多时Leaky ReLU / ELU1.5 激活函数总结
RELATED

相关推荐

AI痕迹检测在查什么?从统计指纹到自然熵值,一文读懂检测原理与应对

AI痕迹检测在查什么?从统计指纹到自然熵值,一文读懂检测原理与应对

1. 先别慌,那个吓人的"AI痕迹评分",本质是什么最近总能在各写作社区刷到类似的帖子:某平台的编辑器弹出一行"疑似AI生成内容,比例87%",配一个红彤彤的警告条;某同学的作业因为检测分数…

📅 2026/10/10 15:12:40
基于SpringBoot的团场土地资源管理系统设计与实现

基于SpringBoot的团场土地资源管理系统设计与实现

团场土地资源信息管理系统这个题目,乍一看像是个普通的管理系统,很多人第一反应就是增删改查、登录注册、写个页面完事。但真正把这个方向做一遍就会明白,它其实是计算机毕业设计里性价比很高、也很能体现工程能力的一类题目:业务…

📅 2026/10/10 15:12:40
一周冲上热榜的开源项目越来越多,Archify 是下一个爆款还是又一个过客?

一周冲上热榜的开源项目越来越多,Archify 是下一个爆款还是又一个过客?

一周冲上热榜的开源项目越来越多,Archify 是下一个爆款还是又一个过客? 【免费下载链接】archify Turn any idea, plan, or codebase into a beautiful interactive diagram. An agent skill for Claude Code, Codex, and more. 项目地址: https://git…

📅 2026/10/10 15:12:40
MORE NEWS

更多资讯

📰

YOLO实时物体检测实战:从齿条螺栓螺母裂纹数据集到TensorRT部署

简介:面向工业质检与计算机视觉开发者的YOLO实时物体检测工程包,聚焦齿条、螺栓、螺母及裂缝等目标的识别与定位,适合有深度学习基础的开发者进行算法研究或项目移植;YOLO本身将检测任务转化为单个回归问题,通过网格与…

📰

用C#与easyHook实现Win32 API Hook:程序行为监控与远程注入实战

简介:这是一份C# EasyHook库的完整使用示例工程,面向需要在运行时实现跨进程函数拦截与注入的.NET开发者,适合对Windows钩子机制有一定了解、希望快速上手EasyHook的读者。包内包含WinForms测试窗口、类库工程与可运行Demo,覆盖了…

📰

yolov5果蔬识别实战:数据集构建、训练调参与产线部署避坑指南

简介:这是一套面向深度学习入门者与计算机视觉方向学生的YOLOv5果蔬识别完整项目包,围绕土豆、圣女果、大白菜、大葱、梨、胡萝卜、芒果、苹果、西红柿、韭菜、香蕉、黄瓜等十余类常见果蔬的检测任务展开,可用于课程设计、毕业设计或算法练手…

📰

O2O平台CRM系统架构设计:从线索公私海到平台化落地

简介:美团O2O的CRM系统架构设计.doc 以美团 CRM 为样本,系统拆解 O2O 平台如何借助客户关系管理增强线下资源控制与服务品质。资源面向产品经理、B端运营及电商架构师,适合需要理解销售线索管理、运营中台、数据决策支持和移动办公场景的读者…

📰

ElasticSearch搜索系统建设实战:从Docker部署到线上自愈

简介:本资源是一份面向Java开发者与技术分享者的ElasticSearch入门到进阶PPT课件,共40余页,系统梳理了搜索引擎选型必要性、Lucene演进脉络、ES核心架构(节点/集群/分片/副本)、RESTful API实践要点及与Solr、Splunk的…

📰

PaddleX 通用实例分割产线实战指南:模型选型、快速推理、服务化部署与二次开发

人工智能大模型低代码计算机视觉深度学习NLP模型推理服务RAG 【免费下载链接】PaddleX All-in-One Development Tool based on PaddlePaddle 项目地址: https://gitcode.com/paddlepaddle/PaddleX 点击查看 免费下载 通用实例分割(Instance Segmentatio…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬