SpeechBrain 声音分类实战：基于 ESC50 数据集的 CNN14 / Conv2D / FocalNet / ViT 多模型训练全解-北京尧图网络

SpeechBrain 声音分类实战基于 ESC50 数据集的 CNN14 / Conv2D / FocalNet / ViT 多模型训练全解【免费下载链接】speechbrainA PyTorch-based Speech Toolkit项目地址: https://gitcode.com/GitHub_Trending/sp/speechbrain本指南以 SpeechBrain 仓库中的 ESC50 声音分类 reciperecipes/ESC50/classification/README.md为骨架系统讲解如何用该 recipe 在 50 类环境音数据集上训练音频分类器涵盖数据自动下载与 fold 划分、特征提取管线log-spectra 与 log-mel 双模式、四种主流骨干网络CNN14、Conv2D、FocalNet、ViT的训练配置、WHAM! 噪声增强以及仅测试集评估。读完本文你将能够直接复现表格中的公开结果并深入理解每条配置背后的源码级实现原理。ESC50 任务与数据集概览ESC50 是一个多类别声音分类基准数据集共包含50 个声音类别每个类别 40 条样本每条样本为 5 秒音频。recipe 的训练目标是让模型对输入音频正确判别其所属类别。50 个类别被划分为五个语义组Animals动物如狗吠、猫叫、鸡鸣等Natural soundscapes and water sounds自然声景与水声如雨声、海浪、溪流Human, non-speech sounds人类非语音声音如咳嗽、笑声、打鼾Interior/domestic sounds室内/居家声音如敲门、电话铃、微波炉Exterior/urban noises室外/城市噪声如直升机、警笛、钻孔该 recipe 同时支持使用log-spectra对数幅度谱与log-mel对数梅尔谱两种音频特征训练模型。前者直接对短时傅里叶变换STFT幅度谱取对数后者在此基础上进一步通过梅尔滤波器组压缩频带。两种模式由 YAML 中的use_melspectra开关切换详见下文配置解析。数据集下载全自动还是手动运行 recipe 时数据集会被自动下载到指定的--data_folder路径。若希望手动下载可访问 ESC-50 数据集官方仓库karolpiczak/ESC-50获取原始压缩包。自动下载的逻辑实现在 esc50_prepare.py 中。核心函数download_esc50(data_path)的执行流程如下检查目标目录下是否存在meta子目录若不存在则判定数据集缺失通过 SpeechBrain 的speechbrain.utils.fetching.fetch工具从 ESC-50 官方发布地址下载master.zip约 600MB下载进度可在data_folder/temp_download中查看用shutil.unpack_archive解压并将ESC-50-master目录下的所有文件上移一层到data_folder清理临时目录与解压目录。下载完成后prepare_esc50()会进一步处理元数据读取原始meta/esc50.csv为每条样本生成ID列去掉文件名后缀并将category列重命名为 SpeechBrain 需要的class_string字段生成修改版元数据meta/esc50_speechbrain.csv随后据此为 train / valid / test 三个集合分别生成 JSON manifest 文件默认输出到data_folder/manifest/{train,valid,test}.json。每个 manifest 条目包含wav文件名、classID整数类别编号、class_string类别名、fold所属折编号与duration时长通过audio_io.info读取真实采样率计算得出。若个别文件读取失败该样本会被跳过而不是中断流程。安装额外依赖在运行 recipe 之前需要先安装额外的 Python 依赖。直接执行pip install -r extra_requirements.txtextra_requirements.txt 中列出的依赖包括matplotlib混淆矩阵绘图、pandas元数据 CSV 处理、scikit-learn混淆矩阵计算、torchvisionViT/FocalNet 输入预处理与图像 resize、transformers加载 Hugging Face 上的 FocalNet / ViT 预训练骨干以及wget。其中torchvision与transformers仅在训练 FocalNet / ViT 骨干时严格必需但统一安装可避免后续报错。支持的四种模型与训练命令recipe 提供四套超参配置文件分别对应四种骨干网络。训练命令统一为python train.py hparams/config.yaml --data_folder /yourpath/ESC50数据会在指定目录自动下载。CNN14cnn14.yamlCNN14 是 Audio Set 论文《PANNs: Large-Scale Pretrained Audio Neural Networks》arXiv:1912.10211中提出的 14 层卷积网络是音频事件分类的经典强基线。运行python train.py hparams/cnn14.yaml --data_folder /yourpath/ESC50在 SpeechBrain 中的实现位于 speechbrain/lobes/models/Cnn14.pyCnn14类由 6 个ConvBlock级联构成通道数依次为 1→64→128→256→512→1024→emb_dim本配置为 2048每个卷积块内部还支持bnBatchNorm、inInstanceNorm、lnLayerNorm/GroupNorm三种归一化方式默认使用bn。compute_forward中会通过全局平均池化把输出的 4D 特征图压成 2048 维向量再送入线性分类头。该配置默认启用log-mel 特征use_melspectra: True、use_log1p_mel: True80 个梅尔频带并预训练初始化通过speechbrain.utils.parameter_transfer.Pretrainer从 Hugging Face 加载speechbrain/cnn14-esc50的embedding_model.ckpt。Conv2Dconv2d.yaml一个轻量级卷积分类器适合快速验证管线或算力受限场景。运行python train.py hparams/conv2d.yaml --data_folder /yourpath/ESC50原文档此处命令末尾多打了一个反引号实际命令与其余配置一致。该配置使用 speechbrain/lobes/models/PIQ.py 中的Conv2dEncoder_v2输出维度dim: 256作为骨干分类头采用 speechbrain/lobes/models/ECAPA_TDNN.py 中的Classifier输入 256 维、输出 50 类、1 个线性块其内部还带可选的全局统计池化与 BatchNorm。Conv2D 配置默认使用log-spectra 特征use_melspectra: False同时保留mean_var_norm句子级输入归一化模块并加载speechbrain/PIQ-ESC50的预训练编码器。注意其学习率lr: 0.00002比 CNN14 低一个数量级。FocalNetfocalnet.yamlFocalNetFocal Modulation Networks是 2022 年提出的视觉骨干用焦点调制替代自注意力在 speechbrain/lobes/models/Cnn14.py 之外的实现中通过transformers库直接加载 Hugging Face 上的microsoft/focalnet-base预训练权重!apply:transformers.FocalNetBackbone.from_pretrained。运行python train.py hparams/focalnet.yaml --data_folder /yourpath/ESC50FocalNet 分类头输入维度为 1024。由于预训练模型期望的图像输入是 224×224×3compute_forward中会先用torchvision.transforms.functional.resize把特征图缩放到配置的image_size再扩展为 3 通道随后取feature_maps[-1]做全局平均得到嵌入。该配置还首次引入了时域数据增强DropFreqDropChunk75% 概率触发详见下文。ViTvit.yamlVision TransformerViT骨干通过transformers加载google/vit-base-patch16-224预训练模型分类头输入维度为 768。运行python train.py hparams/vit.yaml --data_folder /yourpath/ESC50与 FocalNet 类似输入先 resize 到 224×224 并扩展为 3 通道compute_forward中取last_hidden_state并转置后做均值池化得到 768 维嵌入。ViT 配置同样附带DropFreqDropChunk增强。四种配置的公共参数速览配置骨干预训练来源特征模式epochbatch_sizelr分类头输入维cnn14.yamlCnn14speechbrain/cnn14-esc50log-mel200322e-42048conv2d.yamlConv2dEncoder_v2speechbrain/PIQ-ESC50log-spectra200322e-5256focalnet.yamlFocalNetBasemicrosoft/focalnet-baselog-spectra100162e-41024vit.yamlViTBasegoogle/vit-base-patch16-224log-spectra100162e-4768配置文件核心参数解析以 hparams/cnn14.yaml 为例逐段解读关键配置基础设置seed: 1234通过speechbrain.utils.seed_everything固定全局随机种子data_folder: !PLACEHOLDER是必填占位符运行时用--data_folder覆盖audio_data_folder指向data_folder/audio。输出目录output_folder: ./results/cnn14-esc50/seedsave_folder存放检查点train_log.txt记录训练日志。数据 manifesttrain_annotation/valid_annotation/test_annotation分别指向data_folder/manifest/{train,valid,test}.json。fold 划分train_fold_nums: [1, 2, 3]、valid_fold_nums: [4]、test_fold_nums: [5]。ESC50 官方把 2000 条样本预分为 5 折recipe 默认用前 3 折训练、第 4 折验证、第 5 折测试。prepare_esc50会对 fold 编号做合法性校验必须属于 1–5并检查三组 fold 互斥重叠会直接报错返回。训练参数number_of_epochs: 200、batch_size: 32dataloader_options中num_workers: 0、shuffle: True配置注释特别强调shuffle 这里很重要。特征参数n_mels: 80、use_melspectra: True、use_log1p_mel: True预处理链路由compute_stftSTFTn_fft: 1024、spec_mag_power: 0.5的幅度谱与compute_fbank80 维梅尔滤波、log_mel: False组成。模型组件embedding_modelCnn14mel_bins: 80、emb_dim: 2048、classifiertorch.nn.Linear2048→50、out_n_neurons: 50类别数。损失与优化compute_cost采用LogSoftmaxWrapperAdditiveAngularMarginmargin 0.2、scale 30即 AM-Softmax 损失将分类损失改为角度间隔形式以增强判别力opt_class为 Adamweight_decay: 2e-6lr_annealing使用CyclicLRSchedulerbase_lr: 1e-8、max_lr: 2e-4、step_size: 65000做循环学习率调度。日志与检查点FileTrainLogger写训练日志Checkpointer每 15 分钟ckpt_interval_minutes落盘一次恢复对象包括embedding_model、classifier与epoch_counter。预训练use_pretrained: True、embedding_model_path: speechbrain/cnn14-esc50/embedding_model.ckpt由Pretrainer负责从 Hugging Face 收集并加载权重。若不想用预训练编码器删除pretrained_encoder字段或将use_pretrained置为False即可。focalnet.yaml与vit.yaml额外引入了时域增强块DropFreq随机丢弃 0–1 归一化频率轴上 1–3 个、宽度 0.05 的频带与DropChunk随机丢弃 1–5 个、长度 1000–2000 采样点的音频片段二者由Augmenter以 75% 概率组合触发min_augmentations/max_augmentations均为 2concat_original: False。增强在训练阶段作用于原始波形见compute_forward中stage sb.Stage.TRAIN的分支相当于对网络施加频谱与时间上的随机遮盖正则化这也是这两个视觉骨干在小数据上能收敛的重要原因。训练脚本源码级解析recipes/ESC50/classification/train.py 是 recipe 的入口整体遵循 SpeechBrain 的 Brain 类范式。主流程__main__sb.parse_arguments(sys.argv[1:])解析命令行hparams_file、run_opts、overrides--data_folder这类键值对会作为 overrides 注入sb.utils.distributed.ddp_init_group初始化多卡 DDP单卡无影响load_hyperpyyaml加载 YAML 并实例化其中的!new:/!apply:对象sb.create_experiment_directory创建实验目录并备份超参文件run_on_main(prepare_esc50, ...)只在主进程执行一次数据准备避免多卡重复下载dataio_prep(hparams)构建数据集与标签编码器若配置了wham_folder调用prepare_wham构建 WHAM! 噪声数据流实例化ESC50Brain按需加载预训练编码器pretrained_encoder.collect_filesload_collected非test_only时执行fit()最后用evaluate()在测试集上评估。数据管线dataio_prepaudio_pipeline负责读音频加载 wav 后 squeeze 维度、多声道取均值降混为单声道、必要时用torchaudio.transforms.Resample重采样到配置的sample_rate: 16000最后归一化到sig / sig.max()。label_pipeline通过sb.dataio.encoder.CategoricalEncoder把class_string编码为张量标签。三份 JSON 经DynamicItemDataset.from_json加载输出键为[id, sig, class_string_encoded]。标签编码器以save_folder/label_encoder.txt持久化支持多卡 DDP 下的load_or_create。前向与目标计算compute_forward/compute_objectivescompute_forward的完整链路为波形 →可选增强 / WHAM! 混噪 → STFT 幅度谱spec_mag_power: 0.5→可选梅尔滤波 →log1p取对数 → 嵌入模型 → 全局平均池化 → 分类头 →(outputs, lens)。其中对 Hugging Face 骨干有config属性与 SpeechBrain 本地骨干CNN14、Conv2D走了两套分支前者 resize 扩三通道后按model_typefocalnet/vit分别取feature_maps[-1]或last_hidden_state池化后者直接消费特征图4D 输出按(-1, -2)均值池化。compute_objectives将预测与标签做 one-hot 交叉熵对增强后的批次按倍数复制标签训练/验证阶段在on_batch_end触发循环学习率步进同时在验证与测试阶段累计confusion_matrixsklearn.metrics并通过self.acc_metric基于speechbrain.utils.Accuracy与error_stats统计精度与分类错误率。阶段收尾与可视化on_stage_end在验证结束时执行学习率退火、TensorBoard/文件日志记录并用checkpointer.save_and_keep_only(min_keys[error])只保留验证错误率最优的检查点验证阶段还会用 confusion_matrix_fig.py 中的create_cm_fig生成混淆矩阵图写入 TensorBoardValidation Confusion Matrix。测试阶段则输出逐类准确率与完整混淆矩阵到日志便于定位易混淆类别。使用 WHAM! 噪声增强训练recipe 支持在训练时叠加 WHAM! 环境噪声模拟真实嘈杂场景下的分类。步骤为从 WHAM! 官网下载噪声数据集wham_noise运行训练命令并追加两个参数python train.py hparams/modelofchoice.yaml --data_folder /yourpath/ESC50 --add_wham_noise True --wham_folder /yourpath/wham_noise底层实现在 wham_prepare.pyprepare_wham在wham_folder为空时自动下载 WHAM! 噪声包WHAMDataset是一个IterableDataset无限随机采样噪声 wav统一重采样到 16kHz 并裁剪/补零到signal_length_s秒combine_batches在compute_forward中按0dB 信噪比混合干净信号与噪声各自先做 L2 归一化再相加最后整体归一化。若开启该功能train.py会断言signal_length_s 5即 5 秒的 ESC50 样本必须与 5 秒的噪声窗口对齐。注意只要指定了--add_wham_noise True就必须同时给出--wham_folder否则prepare_wham会抛出异常提示。仅运行测试集评估若只想在测试集上评估已训练的模型例如重新验证检查点在命令末尾追加--test_only标志python train.py hparams/config.yaml --data_folder /yourpath/ESC50 --test_only该标志对应 YAML 中的test_only: False。置为True后train.py会跳过fit()训练阶段直接从检查点目录恢复最优模型evaluate时以min_keyerror选取检查点并在测试集上输出整体准确率、错误率、逐类准确率与混淆矩阵。公开实验结果原文档给出的四套配置在各自数据集划分下的复现结果如下准确率为测试集 Accuracy训练时间为单 epoch 耗时GPU 环境为训练时所用硬件超参文件准确率 (%)训练时间GPUcnn14.yaml82.011 秒/epochRTX 3090conv2d.yaml75.015 秒/epochRTX 3090focalnet.yaml77.460 秒/epoch1×V100 32GBvit.yaml73.656 秒/epoch1×V100 32GB官方同时提供了各模型的 Hugging Face 权重与 Dropbox 备份链接便于直接加载推理或微调。以上数据仅为该 recipe 在默认 fold 划分与配置下的复现值不同随机种子、fold 组合或硬件环境下结果会有所波动。使用注意事项recipe 会自动下载 ESC50 数据集你只需通过--data_folder指定期望的存放路径数据已存在时不会重复下载。各训练脚本所需的预训练模型权重CNN14/PIQ 编码器、FocalNet/ViT 骨干均会自动下载无需手动干预。若需自定义数据划分可修改 YAML 中的train_fold_nums/valid_fold_nums/test_fold_nums但需保证三者互斥且取值在 1–5 之间skip_manifest_creation: True可跳过 manifest 重建步骤适合数据集已就绪、仅改 fold 重训的场景。引用如果本 recipe 对你有帮助请引用以下工作。CNN14/Conv2D 路线对应的自监督表示学习工作article{Wang_2022, doi {10.1109/lsp.2022.3229643}, url {https://doi.org/10.1109%2Flsp.2022.3229643}, year 2022, publisher {Institute of Electrical and Electronics Engineers ({IEEE})}, volume {29}, pages {2607--2611}, author {Zhepei Wang and Cem Subakan and Xilin Jiang and Junkai Wu and Efthymios Tzinis and Mirco Ravanelli and Paris Smaragdis}, title {Learning Representations for New Sound Classes With Continual Self-Supervised Learning}, journal {{IEEE} Signal Processing Letters} }FocalNet 在可解释声音分类上的工作inproceedings{dellalibera2024focal, title{Focal Modulation Networks for Interpretable Sound Classification}, author{Luca Della Libera and Cem Subakan and Mirco Ravanelli}, booktitle{IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) XAI-SA Workshop}, year{2024}, }使用 SpeechBrain 请引用misc{speechbrain, title{{SpeechBrain}: A General-Purpose Speech Toolkit}, author{Mirco Ravanelli and Titouan Parcollet and Peter Plantinga and Aku Rouhe and Samuele Cornell and Loren Lugosch and Cem Subakan and Nauman Dawalatabad and Abdelwahab Heba and Jianyuan Zhong and Ju-Chieh Chou and Sung-Lin Yeh and Szu-Wei Fu and Chien-Feng Liao and Elena Rastorgueva and François Grondin and William Aris and Hwidong Na and Yan Gao and Renato De Mori and Yoshua Bengio}, year{2021}, eprint{2106.04624}, archivePrefix{arXiv}, primaryClass{eess.AS}, note{arXiv:2106.04624} }延伸阅读若对可解释性感兴趣同一数据集的解释性变体见 recipes/ESC50/interpret含 PIQ、NMF、LMAC 等可解释分类器。与 ESC50 同源的 UrbanSound8k 分类 recipe 位于 recipes/UrbanSound8k/SoundClassification本 recipe 的代码结构即基于它改写。【免费下载链接】speechbrainA PyTorch-based Speech Toolkit项目地址: https://gitcode.com/GitHub_Trending/sp/speechbrain创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

SpeechBrain 声音分类实战：基于 ESC50 数据集的 CNN14 / Conv2D / FocalNet / ViT 多模型训练全解

相关推荐

FMEA-MSR功能分析实战：从监视到响应，避开六大坑

pytest 在 CI 环境中的自动检测与短摘要输出行为详解

Zemax光学设计全流程：从需求到公差分析实战指南

更多资讯

使用 awesome-codex-skills 中的 pr-review-ci-fix：基于 Composio CLI 的 GitHub/GitLab PR 审查与 CI 自动修复循环

SpringBoot+Vue课程作业管理系统：可直接运行的全栈项目解析

5分钟下载整个抖音博主主页：去水印、增量抓取、自动归档一次搞定

FlagEmbedding 微调核心解析：AbsEmbedderRunner 运行器的设计原理与源码级实战

claude-skills 的 API Designer 实战指南：从资源建模到 OpenAPI 3.1 契约交付

MMSegmentation 中的 PointRend：基于点渲染的高效语义分割实现与配置实战指南

今日更新

基于高阶循环谱的MPSK载波频率估计与MATLAB实现

MiniPdf方：.NET开源Office转PDF的高效解决方案

Solon AI v3.10：Java全栈智能体开发框架解析

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？