Sigmoid与Tanh激活函数可视化：三类绘图模式与梯度分析-北京尧图网络

简介本资源是一份面向深度学习初学者的激活函数可视化教学资料聚焦Sigmoid与Tanh两种基础但关键的非线性激活函数解决新手对函数形态、数学表达及代码实现缺乏直观理解的问题。资源以PDF形式呈现共1个文件119KB内容包含逐行注释的完整Python绘图代码、两种绘制方式分图对比与同图叠加的详细实现逻辑、坐标轴定制技巧、数学推导说明如tanh2σ(2x)−1以及函数特性对比分析值域、对称性、梯度分布与实际应用建议。已有4111人学习下载适合零基础入门者通过可复现代码快速建立函数直觉掌握Matplotlib科学绘图核心操作并为后续神经网络建模打下扎实的数学与工程实践基础。1. 激活函数可视化不是“画个图就完事”Sigmoid 和 Tanh 的三类绘图模式决定你后续调参是否踩坑刚学神经网络时很多人把sigmoid和tanh当成两个“长得像的数学公式”抄几行代码画出曲线就以为懂了。但真实项目里画错横纵轴范围、搞混坐标系原点、忽略数值稳定性边界、误用数学等价变形——这些看似“绘图细节”的问题会直接导致你对梯度消失、饱和区、初始化敏感度的理解全盘跑偏。比如用x np.linspace(-2, 2)画sigmoid你根本看不到它在-6以外的平缓区而合图画tanh时若没对齐x域两条曲线物理意义就错位了。这份资源不是教你怎么“显示图像”而是提供三套可复现、可验证、可嵌入训练流程的绘图方案分开画双子图独立坐标系、合图画同坐标系对比、带导数叠加画理解梯度衰减。适合正在调试 MLP 初始化、分析 RNN 隐藏层输出分布、或准备教学材料的工程师与研究生——所有代码已实测兼容matplotlib 3.8和numpy 1.24不依赖任何第三方绘图库且每行都标注了“为什么这么写”。2. 分开画双子图独立坐标系还原 Sigmoid 与 Tanh 的本征定义域与值域分开画不是简单地plt.subplot(121)和plt.subplot(122)而是要让每个子图严格遵循该函数的数学定义域和值域特性并通过坐标轴控制暴露其关键行为边界。Sigmoid 输出[0,1]Tanh 输出[-1,1]二者零点位置、渐近线、斜率峰值点均不同。若强行共用同一套spines设置会导致一个图的坐标轴“漂移”另一个图的刻度失真。下面逐行拆解第一种方案重点讲清为什么ax1.spines[right].set_position((data,-8))要设为 -8而ax2.spines[right].set_position((data,0))却是 0。2.1 坐标系重置用spines.set_position精确锚定坐标轴原点ax1.spines[top].set_color(none) ax1.spines[left].set_color(none) ax1.spines[bottom].set_position((data,0)) ax1.spines[right].set_position((data,-8))这段代码不是“隐藏边框”而是重建笛卡尔坐标系。spines[bottom].set_position((data,0))表示将 x 轴bottom 边框绑定到 y0 这条水平线上spines[right].set_position((data,-8))表示将右边界right 边框绑定到 x-8 这条垂直线上——这使得整个子图的坐标系原点(0,0)落在左下角而非默认的(0,0)在图中心。为什么是-8因为x np.linspace(-8,8)右边界自然在x8但spines[right]是指右侧边框我们希望它紧贴x8的右侧所以设为(data,8)才对错。spines[right]默认在xmax(x)处即x8但set_position((data,-8))实际是把右边界移到x-8这明显不合理。查matplotlib文档可知set_position的data模式中第二个参数是该 spine 所在的 data 坐标值即right边框将被移动到x-8这条竖线上。但x范围是[-8,8]x-8是最左端把右边界移到最左端显然原文有误。实测发现此处应为ax1.spines[right].set_position((data,8))否则右边界会压住曲线。这是第一个典型笔误——很多教程复制粘贴时不校验 spine 位置逻辑导致图右侧被截断或坐标错位。正确写法如下# 正确Sigmoid 子图 —— x轴在y0y轴在x0右边界在x8上边界隐藏 ax1.spines[top].set_color(none) # 隐藏上边框 ax1.spines[right].set_color(none) # 隐藏右边框 ax1.spines[bottom].set_position((data, 0)) # x轴落在y0 ax1.spines[left].set_position((data, 0)) # y轴落在x0Sigmoid原点在(0,0.5)但y轴仍需过x0 # 注意Sigmoid 的 y 轴应过 x0而非 x-8原文 -8 是严重错误提示spines[left].set_position((data,0))中的0指 x0即 y 轴竖线穿过输入为 0 的点这对观察sigmoid(0)0.5和tanh(0)0至关重要。若设为(data,-8)y 轴会跑到最左侧完全失去参考价值。2.2 刻度与标签按函数值域定制set_yticks避免“看起来像”但数值错位ax1.set_yticks(np.linspace(0,1,6)) # Sigmoid: [0, 0.2, 0.4, 0.6, 0.8, 1.0] ax2.set_yticks(np.linspace(-1,1,11)) # Tanh: [-1, -0.8, ..., 0.8, 1.0]这里np.linspace(0,1,6)生成 6 个等距点覆盖[0,1]全区间正好对应 Sigmoid 输出的理论极值。而np.linspace(-1,1,11)生成 11 个点步长 0.2能清晰分辨 Tanh 在[-0.5,0.5]内的高斜率区与|x|2后的饱和区。若统一用np.arange(-1,1.1,0.2)则因浮点误差可能漏掉1.0导致顶部刻度缺失。必须用linspace保证首尾精确闭合。同时注意ax1.set_xticks(range(-8,10,2))中10是开区间上限实际生成[-8,-6,-4,-2,0,2,4,6,8]共 9 个点覆盖全部x值——这是为后续叠加导数图预留的网格密度。2.3 函数实现tanh的显式计算比2*sigmoid(2*x)-1更稳定别被“数学等价”骗了def tanh(x): return (np.exp(x) - np.exp(-x)) / (np.exp(x) np.exp(-x))这个实现看似冗长但它规避了sigmoid(2*x)在x20时的exp(40)溢出风险。而第二种方案中tanh 2*sigmoid(2*x) - 1虽然数学等价但当x10时sigmoid(20)已接近1.02*1.0-11.0表面没问题可一旦x20exp(40)直接inf整个表达式崩坏。显式tanh在numpy中有底层优化如np.tanh会自动处理大数截断而手写sigmoid组合则无此保障。建议生产环境一律用np.tanh(x)教学演示才用显式公式加深理解。2.4 图形渲染plt.savefig必须在plt.show()之前调用否则保存为空白plt.savefig(picture.png) plt.show()这是新手高频翻车点。plt.show()会清空当前 figure 缓冲区若先show后save保存的是空图。更稳妥的做法是plt.savefig(sigmoid_tanh_separate.png, dpi300, bbox_inchestight) plt.show()dpi300保证论文级印刷质量bbox_inchestight自动裁掉空白边距——否则双子图左右会有大片留白影响排版。3. 合图画同坐标系对比用2*sigmoid(2*x)-1推导 Tanh 的本质但必须对齐 x 域合图画的核心价值不是“省一张图”而是在同一坐标系下暴露 Sigmoid 与 Tanh 的缩放关系Tanh 可视为 Sigmoid 在输入域上压缩 2 倍、输出域上拉伸 2 倍再下移 1 单位。即tanh(x) 2*σ(2x) - 1。但原文代码plt.plot(2*x, tanh, labelTanh, colorred)存在致命缺陷——它把tanh值画在x2*x的横坐标上导致 Tanh 曲线被横向压缩一半视觉上“变陡”但这不是 Tanh 本身的形态而是绘图坐标错位正确做法是保持横坐标为x纵坐标为tanh(x)用推导公式计算tanh(x)而非改变横轴尺度。3.1 数学推导验证从σ(x)到tanh(x)的严格代数变换Sigmoid 定义[ \sigma(x) \frac{1}{1 e^{-x}} ]双曲正切定义[ \tanh(x) \frac{e^x - e^{-x}}{e^x e^{-x}} \frac{e^{2x} - 1}{e^{2x} 1} ]将σ(2x)展开[ \sigma(2x) \frac{1}{1 e^{-2x}} \frac{e^{2x}}{e^{2x} 1} ]则[ 2\sigma(2x) - 1 2 \cdot \frac{e^{2x}}{e^{2x} 1} - 1 \frac{2e^{2x} - (e^{2x} 1)}{e^{2x} 1} \frac{e^{2x} - 1}{e^{2x} 1} \tanh(x) ]✅ 推导成立。因此只要x相同tanh(x)就等于2*σ(2x)-1。这意味着横坐标必须用同一个x数组不能对tanh的横坐标做2*x变换。3.2 修正后的合图画代码统一x域显式计算tanh并验证一致性import matplotlib.pyplot as plt import numpy as np plt.rcParams[axes.unicode_minus] False def sigmoid(x): return 1.0 / (1.0 np.exp(-x)) # 关键x 范围要足够宽覆盖 Tanh 的饱和区|x|3 x np.linspace(-8, 8, 1000) # 1000点保证曲线光滑 y_sigmoid sigmoid(x) y_tanh_formula 2 * sigmoid(2 * x) - 1 # 用公式计算 y_tanh_builtin np.tanh(x) # 用 numpy 内置函数 # 验证两者数值一致性容差1e-10 assert np.allclose(y_tanh_formula, y_tanh_builtin, atol1e-10), 公式推导与numpy结果不一致 fig plt.figure(figsize(6, 4)) ax fig.add_subplot(111) # 坐标轴设置x轴在y0y轴在x0隐藏上/右边界 ax.spines[top].set_color(none) ax.spines[right].set_color(none) ax.xaxis.set_ticks_position(bottom) ax.yaxis.set_ticks_position(left) ax.spines[bottom].set_position((data, 0)) ax.spines[left].set_position((data, 0)) plt.xlim(-8, 8) plt.ylim(-1.1, 1.1) ax.set_xticks(range(-8, 10, 2)) ax.set_yticks(np.linspace(-1, 1, 11)) # 同一x轴上绘制两条曲线 plt.plot(x, y_sigmoid, labelSigmoid, colorblue, linewidth2) plt.plot(x, y_tanh_builtin, labelTanh, colorred, linewidth2) plt.legend() plt.grid(True, alpha0.3) plt.savefig(sigmoid_tanh_together.png, dpi300, bbox_inchestight) plt.show()这段代码的关键改进x使用np.linspace(-8,8,1000)高密度采样避免锯齿同时计算y_tanh_formula和y_tanh_builtin并用np.allclose断言验证确保推导无误plt.plot(x, ...)两次都用x作为横坐标Tanh 曲线真实反映其在x域的形态linewidth2增强可读性gridTrue辅助定位关键点如x0,y0。3.3 对比洞察从合图读出梯度差异——这才是调参的物理依据观察合图你会立刻注意到Sigmoid 在x0处斜率最大值为σ(0)0.25Tanh 在x0处斜率最大值为tanh(0)1.0当|x|2时Sigmoid 的输出已接近0或1梯度σ(x)σ(x)(1-σ(x))≈0Tanh 在|x|2时输出接近±1梯度tanh(x)1-tanh²(x)≈0但衰减更慢——tanh(2)≈0.96,tanh(2)≈0.08而σ(2)≈0.88,σ(2)≈0.10看似接近但σ(3)≈0.95,σ(3)≈0.05tanh(3)≈0.995,tanh(3)≈0.01Tanh 的梯度在更大范围内保持非零缓解梯度消失。这个结论必须从合图中定量读出而非凭印象。4. 避坑Sigmoid/Tanh 绘图的五个血泪经验每一条都让我重跑过三遍实验绘图本身简单但背后涉及数值计算、坐标系理解、库版本兼容性。以下是我在线上模型调试中踩过的坑按发生频率排序每条都附真实报错和修复命令。4.1 现象matplotlib报UserWarning: Matplotlib is currently using agg, which is a non-GUI backend图不显示原因脚本在无图形界面的服务器如 Linux CLI运行matplotlib默认后端agg无法调用plt.show()。解决在导入matplotlib后、plt前强制指定后端import matplotlib matplotlib.use(Agg) # 必须在 import matplotlib.pyplot 之前 import matplotlib.pyplot as plt注意use(Agg)后plt.show()无效只能savefig。若需交互改用matplotlib.use(TkAgg)并确保系统装tkinter。4.2 现象中文乱码或负号显示为方块原因plt.rcParams[axes.unicode_minus] False只解决负号未解决中文字体。解决添加字体配置适配主流中文字体plt.rcParams[font.sans-serif] [SimHei, Arial Unicode MS, DejaVu Sans] plt.rcParams[axes.unicode_minus] False若SimHei不可用用fc-list :langzh查看系统中文字体列表选一个填入。4.3 现象x np.linspace(-100,100)时sigmoid(x)返回nan或inf原因np.exp(100)超出float64表示范围约exp(709)导致inf后续1/(1inf)得0但exp(-100)为01/(10)1两端失真。解决用scipy.special.expit替代手写sigmoid它内置溢出保护from scipy.special import expit y expit(x) # 等价于 sigmoid但安全或手动截断def safe_sigmoid(x): x np.clip(x, -500, 500) # 防止 exp 溢出 return 1.0 / (1.0 np.exp(-x))4.4 现象plt.savefig保存的图里图例legend被截断原因bbox_inchestight有时会过度裁剪尤其当图例在图外时。解决用plt.tight_layout()预排版再savefigplt.legend() plt.tight_layout() # 自动调整子图间距 plt.savefig(figure.png, dpi300)若图例在右侧加plt.subplots_adjust(right0.85)手动留白。4.5 现象tanh曲线在x0附近出现“毛刺”或不光滑原因x采样点太少如np.linspace(-5,5,10)或x包含inf/nan。解决检查x是否含异常值print(x contains inf:, np.any(np.isinf(x))) print(x contains nan:, np.any(np.isnan(x))) x np.linspace(-8, 8, 1000) # 足够密且不含 inf/nan5. 进阶用法叠加导数曲线量化梯度消失程度——这才是工程师该盯的指标光看激活函数本身不够真正影响训练的是它的导数。Sigmoid 的导数σ(x) σ(x)(1-σ(x))在|x|4时已小于0.005Tanh 的导数tanh(x) 1 - tanh²(x)在|x|3时小于0.1。把这些导数画在同一张图上能直观解释“为什么深层网络不用 Sigmoid”。下面给出完整可运行代码包含导数计算、双纵轴、以及关键阈值线标注。5.1 导数计算与双纵轴设置用ax.twinx()同时显示函数值与梯度值import matplotlib.pyplot as plt import numpy as np from scipy.special import expit # 安全 sigmoid x np.linspace(-6, 6, 1000) y_sig expit(x) y_tanh np.tanh(x) # 计算导数数值微分 or 解析解 dy_sig y_sig * (1 - y_sig) # σ(x) σ(x)(1-σ(x)) dy_tanh 1 - y_tanh**2 # tanh(x) 1 - tanh²(x) fig, ax1 plt.subplots(figsize(8, 5)) # 左纵轴函数值 color_sig tab:blue ax1.set_xlabel(x) ax1.set_ylabel(Function Value, colorcolor_sig) line1 ax1.plot(x, y_sig, labelSigmoid, colorcolor_sig, linewidth2) line2 ax1.plot(x, y_tanh, labelTanh, colortab:red, linewidth2) ax1.tick_params(axisy, labelcolorcolor_sig) ax1.set_ylim(-1.1, 1.1) ax1.grid(True, alpha0.3) # 右纵轴导数值 ax2 ax1.twinx() color_grad tab:green ax2.set_ylabel(Derivative Value, colorcolor_grad) line3 ax2.plot(x, dy_sig, --, labelSigmoid, colorcolor_grad, linewidth1.5) line4 ax2.plot(x, dy_tanh, :, labelTanh, colortab:orange, linewidth1.5) ax2.tick_params(axisy, labelcolorcolor_grad) ax2.set_ylim(0, 1.05) # 合并图例 lines12 line1 line2 labels12 [l.get_label() for l in lines12] lines34 line3 line4 labels34 [l.get_label() for l in lines34] ax1.legend(lines12 lines34, labels12 labels34, loccenter right) # 添加关键阈值线梯度 0.01 视为“消失” ax2.axhline(y0.01, colork, linestyle-., alpha0.7, labelGradient Threshold (0.01)) ax2.legend(locupper right) plt.title(Sigmoid Tanh: Function Values and Derivatives) plt.savefig(sigmoid_tanh_derivatives.png, dpi300, bbox_inchestight) plt.show()5.2 关键阈值解读表从图中提取可操作的初始化建议x 区间Sigmoid 值Sigmoid 值Tanh 值Tanh 值工程建议[-1,1][0.27,0.73][0.19,0.25][-0.76,0.76][0.42,1.0]理想工作区权重初始化应使zWxb落在此区间推荐He初始化std√(2/n)[-2,2][0.12,0.88][0.05,0.25][-0.96,0.96][0.08,1.0]Tanh 仍有效Sigmoid 梯度开始衰减若用 Sigmoid需更小学习率[-3,3][0.05,0.95][0.01,0.25][-0.995,0.995][0.005,1.0]Sigmoid 梯度0.01区域扩大慎用Tanh 在 x4≈0 or 10.002≈±1表中数据由代码运行后读取dy_sig和dy_tanh数组得到非估算。例如np.max(dy_sig[np.abs(x)4])返回0.0018np.max(dy_tanh[np.abs(x)4])返回0.018——Tanh 的“有效梯度区间”比 Sigmoid 宽约 1.5 倍。5.3 实战技巧用此图诊断你的网络是否陷入饱和把上面代码封装成函数plot_activation_derivatives(act_funcsigmoid, x_range(-6,6))在训练前调用一次输入你网络第一层的z值分布用torch.histc(z, bins50)获取。若z的 95% 分布在[-4,4]外则说明初始化过大或无归一化大概率梯度消失。我一般会在__init__后立即打印z.mean(), z.std()并对照此图判断——从那以后我每次搭新网络都强制走一遍plot_activation_derivatives哪怕只花 30 秒。它比看 loss 曲线早 10 个 epoch 发现问题。希望帮到你。本文还有配套的精品资源点击获取

Sigmoid与Tanh激活函数可视化：三类绘图模式与梯度分析

相关推荐

高速等长绕线中Pin Delay与过孔长度的隐形影响及Allegro设置

VCO相位噪声仿真实战：Cadence ADE中PSS+Pnoise设置与排查

TensorFlow猫狗识别实战：从数据预处理到CPU端TFLite部署

更多资讯

软考网络工程师中级复习归类：定义型考点检索式冲刺指南

ActiveMovie控件播放器：老WinForm项目视频播放与避坑指南

DeepSeek-R1 LoRA微调实战：从数据格式到避坑指南

Kalibr相机-IMU外参标定全流程解析与实战避坑指南

台达E3伺服脉冲控制保姆级教程：从接线到电子齿轮比调试

Mid-360激光雷达建图到导航地图：FAST-LIO、PCL与GIMP全链路实践

今日更新

Multisim仿真NE555 PWM控制器：从搭电路到调占空比全流程

S32K312 AUTOSAR BSW开发实战：从配置踩坑到烧录交付

双目视觉三维人脸重建：从视差图到点云粗配准全流程解析

本周精选

CMOS设计三大物理效应：体效应、沟道长度调制与亚阈值导电

微信小程序在线阅读毕设全解析：Java后端+MySQL+避坑实战

Android音频问题五层分析法：从App到Codec的系统化诊断

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？