TinyML入门实战：从模型训练到单片机部署全流程-北京尧图网络

最近被好几个做嵌入式的朋友问同一个问题单片机跑不了AI吧我说你怕是没听过TinyML。TinyML翻译过来就是微型机器学习专门在微控制器这类内存按KB算、主频按MHz算的设备上跑神经网络推理。这篇文章不打算讲那些吓人的公式从一个实际项目出发把从训练模型到烧录到开发板的完整链路捋一遍。无论你是嵌入式工程师、电子相关专业的学生还是纯粹的DIY玩家只要会点C语言都能顺着这篇文章把第一个TinyML应用跑起来。老实说TinyML是机器学习领域里最“接地气”、也最容易获得正反馈的方向。你不用先学三个月的线性代数也不需要一台几万块的服务器。一个几十块钱的开发板、一颗麦克风或者一块加速度计传感器就能做语音唤醒、异常检测、手势识别这些很具象的应用。我打算写一个TinyML入门系列这是第一篇重点解决“这东西到底怎么玩、第一步怎么迈出去”的问题。1. 为什么我建议从TinyML起步它能解决什么问题1.1 先把TinyML的边界画清楚它到底算不算AI很多人一听到人工智能脑子里浮现的是那种需要超大算力的深度学习模型。但TinyML做的事情不一样它是在资源极其受限的设备上做推理。一个典型的微控制器RAM可能只有几十KB到几百KBFlash可能只有几百KB到几MBCPU主频在几十MHz到几百MHz之间。你可以把TinyML理解成“把AI压缩成一颗糖塞进你的口袋里”而不是把一个健身房搬进去。它是货真价实的AI。模型在服务器或者PC上完成训练学习到了特征提取和分类的权重然后在微控制器上做前向推理。训练是“调参数”推理是“做乘法”TinyML把后面那步搬到了嵌入式设备上。这样做的好处非常直接数据不用上传云端、响应延迟低、功耗极低一块电池能跑很长时间。在一些工业预测性维护场景里设备长期在无人值守的地方运行如果每次振动数据都要传到云端分析成本和功耗都受不了。TinyML让设备自己在本地判断“现在是不是异常”只有真正发现问题时才报警这是它最有价值的应用方式之一。这套体系覆盖的典型场景我整理了一个简单的表格场景类型输入数据典型任务为什么适合TinyML语音关键词唤醒麦克风音频识别“你好”“打开”等固定词数据量小、特征明显、需要实时响应工业振动异常检测加速度计/陀螺仪判断电机是否异常数据本地处理避免持续联网传输手势识别IMU/视觉识别挥动、翻转等动作硬件成本低、模型可以做得很小简单图像分类摄像头低分辨率识别有无人员、物体分类不需要高清图像几十KB模型就够了这些应用都有个共同点任务非常聚焦输入特征纬度没那么高对精度要求也不是“必须超过人类专家”。这就让极小模型有了用武之地。1.2 学习TinyML需要的前置知识比你想象中少得多关于前置知识我遇到过很多人的顾虑是不是得先把机器学习原理啃透其实不需要。真正需要的是这几样C语言基础部署环节、芯片外设配置、编译烧录这些跑不掉。一点Python基础训练模型时写Keras或TensorFlow代码能看懂Notebook会改参数就够用。基本数字电路知识接传感器、看I2S时序、排查硬件问题这是嵌入式老本行。对“训练和推理”的概念有点认识知道“权重”是什么、知道“过拟合”大概是什么意思剩下的可以在项目里慢慢补。数学方面入门阶段你甚至只需要知道卷积是“对局部区域做加权求和”、全连接层是“矩阵乘加偏置”就够了。我第一次带朋友跑通Demo的时候他连反向传播都说不清楚但这不影响他把模型部署到开发板上因为整个框架已经帮你做好了。1.3 三个真正适合TinyML的场景与三个不适合的场景我见过不少初学者一上来就想做很炫酷的东西比如实时视频流识别或者自然语言对话结果搞了一个月发现这条路根本走不通。原因很简单微控制器那点内存装不下大模型也没有足够的算力处理高吞吐数据。不适合的场景包括高清视频流实时检测分辨率稍高一点输入数据就几十KB甚至上百KB微控制器直接卡死。生成式AI大语言模型那参数量级即使在PC上都要靠显卡在MCU上无异于天方夜谭。需要持续高精度识别的核心安全系统比如自动驾驶障碍物识别这类场景不仅算力不够还需要严格的冗余设计黑盒模型很难满足安全认证要求。适合的场景前面表格已经列了我再补充一点凡是“输入固定、目标单一、数据量小”的任务TinyML基本都是好选择。比如做一个智能家居的人体存在传感器用低分辨率的热释电阵列或者毫米波雷达在MCU上判断“房间里有没有人”这样不用把隐私数据传出去响应也快电池可以撑几个月。2. 入门工具链怎么选开源路线还是图形化平台2.1 一张图看清训练到部署的完整链路很多人被TinyML的英文名吓到以为是很高深的技术栈。其实整个链路非常固定大概就五步数据准备、模型训练、模型转换、模型量化、嵌入式部署。这五步对应着不同的工具和角色。数据准备是给模型“喂”样本比如采集录音片段或者传感器数据做标注、分割、增强。模型训练是在PC上用Keras这类深度学习框架把数据输入进去通过反向传播不断优化权重。模型转换是把训练好的模型通常是Keras格式或SavedModel格式转换成TensorFlow Lite格式也就是.tflite文件。模型量化是TinyML的关键一步它把原本用32位浮点数存储的权重转换成8位整数或者4位整数这样模型体积能缩小好几倍推理速度也会快很多。嵌入式部署则是把转换并量化后的模型打包成C语言数组烧录进微控制器由TFLite Micro这类推理引擎加载和执行。你可以把这条链路理解成先养一只大型犬训练然后把它合成一张照片转换再把这照片压成邮票大小量化最后把邮票粘到你的笔记本里部署。每一步都有专门的工具但核心思想始终是“模型足够小小到能在MCU里跑起来”。2.2 开源路线的核心组件与版本搭配开源路线是目前资料最多、也最值得花时间学的一条路。核心组件主要有这几个TensorFlow或者Keras用来训练模型跑在PC上。TensorFlow Lite Converter把Keras模型或SavedModel转成.tflite文件。TensorFlow Lite for Microcontrollers也就是TFLite Micro运行在微控制器上的推理引擎负责加载模型并执行前向推理。开发板的SDK与编译工具链比如Arduino IDE、PlatformIO、ESP-IDF负责把C代码编译后烧录到板子上。这里有个非常值得新手注意的点TFLite Micro和TensorFlow主线版本并不完全同步。你PC上TensorFlow版本太新转换出来的模型里可能包含TFLite Micro还不支持的算子上板编译时就会报错。我实测下来的经验是入门阶段TensorFlow 2.9到2.13这个区间比较稳妥同时安装arduino-tflite-micro库时要留意它对应的版本最好先跑一遍官方示例确认环境通了再动手。2.3 图形化平台的取舍Edge Impulse到底要不要用现在市面上有一些图形化的TinyML开发平台比如Edge Impulse它把数据采集、训练、部署整个流程都做成了网页向导鼠标点一点就能出一个可烧录的模型。对于完全没有编程经验的极早期原型验证它确实非常方便你可以快速拿到一个能跑的结果建立信心。但我不建议初学者长期依赖这类平台。原因有两点。第一图形化平台把关键步骤都封装起来了你点了几下鼠标就拿到了模型但对底层原理完全没有概念一旦模型效果不好你根本不知道怎么调。第二这类平台本质上是黑盒很多细节不可控比如预处理流程是否和你的硬件数据匹配、量化方式具体是什么、有没有算子被悄悄替换。你很难排查问题。我的建议是先用官方开源示例跑通一遍理解链路再决定要不要借助可视化平台做原型验证。两条路线可以并存但主线永远是开源路线因为它可控、可复现、可深挖。2.4 我推荐的入门选型清单硬件的选择直接影响你后续踩坑的难度。我推荐这几个组合都是社区里资料很足、成本不高、好买到的硬件特点适合的应用方向ESP32-S3双核240MHz自带向量指令适合跑语音/传感器模型语音关键词、传感器分类树莓派PicoRP2040主频133MHz价格最低社区资料多传感器基础演示、学习原理STM32F4系列传统工业常用性能不错功耗控制好工业预测性维护、参考设计Arduino Nano 33 BLE集成麦克风和IMU开箱即用官方示例兼容性最好的板子软件环境我用的是Arduino IDE加ESP32开发板支持包外加arduino-tflite-micro库。如果你不喜欢ArduinoPlatformIO也完全可以差别不大。对于外设第一个项目建议用一个I2S麦克风模块比如INMP441接线简单、驱动也成熟用手头的板载麦克风也行但驱动配置会麻烦一点。提示如果你的主控芯片不是ESP32系列而是STM32这种裸机环境部署TFLite Micro会涉及更多工程配置建议第一块板子先从ESP32或者Arduino生态入手把原理搞通再移植。3. 第一个Demo实操让开发板识别自定义关键词3.1 Demo目标与数据准备我们这次要做的Demo是用开发板上的I2S麦克风采集声音识别两个关键词一个表示“开启”一个表示“停止”。中文关键词训练需要自己录数据对初学者来说数据采集和处理流程有点重。为了先跑通链路我用官方Speech Commands数据集里的“Yes”和“No”作为第一版模型。这两个词在社区里有大量现成数据训练好的模型也很容易验证效果。外接INMP441麦克风模块的接线方式如下INMP441引脚ESP32-S3引脚说明VDD3.3V电源GNDGND地SCKGPIO 4I2S位时钟BCLKWSGPIO 5左右声道选择LRCLKSDGPIO 6数据输出DIN需要注意INMP441的L/R脚。接地表示输出左声道数据接VDD表示输出右声道数据。在I2S配置里左右声道设置要和硬件接线对上否则读出来的数据全是错的表现为“有波形但识别不出任何东西”。这是我第一次用这块模块踩过的坑先给你排掉。数据准备的逻辑很简单Speech Commands数据集里每个音频是一秒钟的喊话采样率16kHz单声道。我们需要按一定比例切出训练集和验证集。如果完全从零自己录数据可以用手机或者PC录音统一导成16kHz的单声道WAV文件每个词大概准备100到200条再在训练时做点离线增广比如加噪声、平移时间轴这样小数据集也能有不错的效果。3.2 训练模型Keras搭建小型CNN处理Mel频谱图语音信号直接送入神经网络效果很差因为原始波形长度很长、信息冗余。标准做法是先把音频转成Mel频谱图也就是把一秒钟的音频用30毫秒的窗口、20毫秒的步长滑动切片每片提取40个Mel滤波器的能量值。这样一秒钟的音频会得到一个大约49帧乘40频带的二维特征图。你可以把它理解成声波的一张“照片”CNN在这张照片上识别模式。模型本身不需要复杂。我用的是一个非常小的卷积网络结构如下import tensorflow as tf from tensorflow import keras def build_model(input_shape(49, 40, 1), num_classes2): model keras.Sequential([ keras.layers.Input(shapeinput_shape), keras.layers.Conv2D(8, (3, 3), paddingsame, activationrelu), keras.layers.MaxPooling2D((2, 2)), keras.layers.Conv2D(16, (3, 3), paddingsame, activationrelu), keras.layers.GlobalAveragePooling2D(), keras.layers.Dense(num_classes, activationsoftmax) ]) model.compile( optimizerkeras.optimizers.Adam(learning_rate1e-3), losssparse_categorical_crossentropy, metrics[accuracy] ) return model model build_model() history model.fit( train_dataset, validation_dataval_dataset, epochs30 )训练过程没什么玄学就是交替调整batch size和学习率。对这类小任务通常10到30个epoch就能收敛到90%以上的准确率。训练完记得保存模型下一步要把它转换成TensorFlow Lite格式。3.3 转换为TensorFlow Lite并量化int8量化细节模型训练完之后体积可能还有几百KB直接塞进MCU很吃力。量化的作用就在这里把32位浮点数权重变成8位整数模型体积直接缩小到四分之一推理速度也会变快。量化还有一个关键设置int8量化需要提供一个代表性的数据集说白了就是拿一小部分真实数据走一遍模型统计出每一层激活值的动态范围这样才能确定缩放因子。如果跳过这一步量化后的模型精度可能会掉得很厉害。转换代码大致是这样import tensorflow as tf converter tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations [tf.lite.Optimize.DEFAULT] converter.representative_dataset representative_data_gen converter.target_spec.supported_ops [tf.lite.OpsSet.TFLITE_BUILTINS_INT8] tflite_model converter.convert() with open(keyword_model.tflite, wb) as f: f.write(tflite_model)其中representative_data_gen做的事情就是每次从验证集里取出一个batch转成模型期望的输入张量格式。我这里取了100个样本已经足够覆盖常见的音量变化和噪声水平。3.4 生成C文件并烧录到开发板转换完成后需要把.tflite文件变成一个C语言数组这样才能在嵌入式工程里直接引用。使用如下命令xxd -i keyword_model.tflite keyword_model_data.cc生成的文件里会有一个keyword_model_tflite数组把这个文件放到Arduino工程的src目录下替换掉官方micro_speech示例里的micro_features_model_data.cpp再把模型相关的头文件声明改过来。具体来说你需要修改两处一处是模型指针指向新数组另一处是输入输出的张量索引一般保持和原示例一致就行。编译上传之后打开串口监视器对着麦克风喊“Yes”或者“No”你会看到类似这样的输出Heard yes (score: 0.92) Heard no (score: 0.87)这个输出就是模型对当前音频片段的预测分数。分数大于阈值就认为识别成功。TFLite Micro的示例里帮你把“检测平滑”和“阈值判断”都写好了你只需要看懂它的判定逻辑比如它要求连续几帧都超过阈值才会触发避免误触发。3.5 验证与调试串口输出分数怎么看第一个Demo跑通后我建议你把串口输出的裸分数多观察一会儿。你会发现说“Yes”时两个类别的分数都在变化只不过“Yes”的分数偶尔会被“背景噪声”压下去。这是很正常的因为MCU上的模型输入窗口只有一秒而你的实际说话可能不在窗口正中。为了方便调试我习惯在代码里把“当前检测类别”和“最高分数”一起打印而不是只打印最终判定结果。这样能很快判断是模型问题分数一直很低、还是触发逻辑问题分数够高但没触发、还是麦克风数据问题分数一直在0.5附近波动。这一步虽然简单但能省下大量排查时间。4. 跑通Demo后一定会踩的坑我的实测经验4.1 版本与算子兼容为什么PC上好好的上板就报错这是初学者遇到最多的拦路虎报错信息大致是这样的Didnt find op for builtin opcode MEAN version 2意思是TFLite Micro的算子内核库里没有当前模型里引用的“MEAN”算子的可用实现。原因通常有两个。一是TensorFlow版本和TFLite Micro版本不匹配转换出的模型使用了较新的算子版本而库里的算子版本旧。二是模型里用到了某些训练阶段很方便、但推理阶段很少用到的算子比如复杂的reshape组合、自定义层等。解决思路有三种。第一种是把TensorFlow降级到与TFLite Micro库对齐的版本简单粗暴。第二种是检查模型里的算子清单把自定义层尽量用标准卷积、池化、全连接实现。第三种是手动注册额外算子这要求你了解TFLite Micro的算子注册机制一般等后续深入了再碰。我个人的建议是入门阶段尽量坚持用TFLite官方示例里已经验证过的结构等跑通了再慢慢加花活。等你在PC上训练的模型总是上板报错时先看看是不是模型编译时用了太新的API。4.2 量化后精度下降校准数据集别偷懒模型在PC上验证集准确率98%量化后掉到85%这种情况我见过太多次了。原因在于量化时的缩放因子没有覆盖真实数据分布。如果你校准数据集只用了安静环境下录的音频而真实使用时现场有风扇声、空调声量化后的模型对噪声域的数据根本不敏感。解决办法很直接校准数据集要尽量贴近真实使用环境。我从第二次迭代开始会把训练数据里混入一些背景噪声、把音量随机缩放一部分、加入轻微的时间偏移然后再拿去量化校准。这样虽然训练准确率看起来稍微低一点但实际部署后的鲁棒性好了很多。注意量化后的模型精度不是你训练时的准确率部署后的准确率才是真正有价值的指标。建议上板后跑一遍实际场景下的测试集而不是只盯着PC端的评估曲线。4.3 内存不够和Flash不够怎么看、怎么省TFLite Micro和PC端不一样PC端内存不够可以换机器MCU内存不够就只能砍模型。在Arduino工程里你会看到micro_interpreter初始化的地方有类似这样的代码constexpr int kTensorArenaSize 10 * 1024; static uint8_t tensor_arena[kTensorArenaSize];这个tensor_arena就是给推理引擎分配的“工作台”模型的所有中间激活值都放在这里。太小了会直接崩溃太大了又浪费宝贵的RAM。判断它够不够最快的方法是二分法先给一个足够大的值比如20KB编译运行如果打印出来的arena_used_bytes远小于这个值就可以逐步调小。一般推理引擎会返回实际使用的字节数你可以用它来精确设定最小值。Flash不够的优化方向主要是模型体积。量化到int8之后还不够可以再考虑weight clustering或者知识蒸馏。不过那是后话了先把int8量化吃透Flash问题能解决一大半。4.4 I2S麦克风没声音接线之外还有声道配置第一个Demo最常见的硬件问题是“上板后分数没有变化永远是0.5”。碰到这种情况先别怀疑模型用示波器或者调试打印看一下I2S数据是否在流动。如果没有数据按这个优先级排查现象可能原因解决建议完全没有数据接线错误、供电不稳检查VDD和GNDSCK/WS/SD是否对应正确GPIO数据全是0L/R声道接地或接VDD配置反了在I2S配置里切换left/right channel数据有但波形很小麦克风灵敏度低采样位深不对检查I2S数据格式是16位还是32位偶发数据中断靠近WiFi天线或电源干扰给麦克风加电容滤波、远离天线区域我遇到过最隐蔽的问题是把SD引脚接错了但I2S初始化却成功了它读到的全是另一个引脚的信号。排查这类问题时不要只看“能不能初始化”一定要打印实际采到的样本值确认数值范围是不是预期的麦克风输出范围通常是无信号时静音基底有一个小偏置说话时有明显波动。4.5 实测下来的功耗与稳定运行经验TinyML的核心优势是低功耗但前提是你会跑低功耗模式。我最初做的版本设备空载时功耗也有几十毫安后来加了延时和事件唤醒机制才把平均电流压到了个位毫安级别。具体做法是主循环里用MCU的定时器控制推理频率比如每秒采样一次如果没有检测到事件就让CPU进入轻睡眠等下一个采样窗口唤醒。对于传感器端应用这个优化几乎是必须的否则一块锂电池撑不了几天。另外稳定性方面要注意看门狗。生产环境里设备可能连续运行几个月一块堆栈溢出就可能导致死机。建议在部署阶段给主循环加看门狗喂狗把可能的死循环兜住。这个和TinyML本身关系不大但真正做项目时非常关键。5. 第一章完结下一步怎么继续深入5.1 把第一个Demo吃透的三个检查标准很多人跑通Demo后就急着换下一个项目结果过两周全忘了等于白做。我建议拿出三个问题来检验自己是不是真理解了。第一能不能手工算出模型每一层输入和输出的shape变化比如输入的49乘40乘1经过一个3x3卷积后尺寸怎么变全连接层之前为什么是GlobalAveragePooling。第二能不能解释量化校准数据集的作用知道为什么少了它模型精度会掉。第三能不能把里面的“Yes/No”换成你自己录的两个词如果能做到说明你已经掌握了数据到部署的完整闭环。这三个标准都是我自己带人时总结出来的。绝大多数人卡在第二和第三个之间原因是对“训练脚本-转换脚本-部署侧代码”之间的数据流没捋清变量命名一改就不知道对应关系了。我的建议是给每一次状态转换做日志输出比如训练完打印模型大小、转换后打印tflite文件大小、在板上打印arena使用量这样整条链路的每个环节都是可见的。5.2 建议后续做的小项目难度逐个递增吃透第一个Demo后可以做下面几个小项目来巩固难度从低到高异常声音检测用一个麦克风监测环境里的异常响动比如东西掉落、敲门模型分类为“正常”和“异常”。这个项目不用自己录大量数据可以直接用噪声数据集。手势识别用六轴IMU采集手势动作模型识别挥手、翻转、下压等动作。核心难点是数据对齐和时序特征提取但思路和语音识别几乎一样。图像分类用低分辨率摄像头拍静止物体做简单的“有没有人”检测。这个项目会涉及图像缩放、RGB到灰度转换、以及更大的内存管理卡关点在于arena大小和模型结构的选择。每做一个项目你会对“数据质量决定模型上限”有更深的体会。我在做IMU手势识别时一开始模型死活训练不上去后来发现是不同人做手势的快慢不一样导致样本时间轴不对齐。加了时间归一化预处理之后准确率直接上了一个台阶。5.3 学习资源定位文档和示例代码怎么用最高效TFLite Micro官方文档和GitHub示例是最宝贵的入门资料特别是micro_speech和hello_world这两个示例前者覆盖了音频特征提取到模型推理的完整链路后者用最小的方式演示了TFLite Micro的API用法。我的看法是与其一开始就抱着深度学习的书啃不如先把这些示例代码逐行读懂。读的时候重点看三处一是输入tensor怎么填充二是interpreter的invoke调用逻辑三是输出tensor怎么解析。把这三个点串起来TFLite Micro的框架你就掌握了一半。剩下的学习材料比如各种快餐教程都可以作为辅助。但遇到问题时最好的老师依然是源码和示例。你可以在本地把示例工程复制一份逐段加注释再尝试修改参数观察行为变化这种“动一下手”的学习效率远高于看十几篇文章。5.4 关于这个系列接下来的内容预告第一篇到这里基本把“从零到跑通第一个Demo”讲完了。接下来我打算用几篇分别展开数据增强、模型压缩、部署优化和低功耗设计这几个方向。数据增强那篇会讲怎么在样本量有限的情况下把模型的鲁棒性提上去模型压缩那篇会讲除了int8量化还有哪些更深层的压缩手段比如剪枝、权值聚类、知识蒸馏部署优化那篇会讲怎么压榨MCU的性能比如内存复用、算子融合、自定义分配器。目标是让你能独立把一个玩具Demo逐渐打磨成一个接近产品形态的原型。在带过几位零基础的朋友之后我发现最容易劝退人的不是TinyML本身而是版本环境、编译错误这些“看似与AI无关”的杂事。这篇的很多内容就是把这些坑提前给你标出来希望你能少走点弯路。有一点我想特别强调不要急着追求模型多高级先把手头的模型部署起来把一个完整闭环跑通再去优化。这种“先完成再完美”的思路在嵌入式AI这个领域特别适用。手上如果正好有开发板今天就试试把环境搭起来跑通一次你就会有完全不一样的感受。

TinyML入门实战：从模型训练到单片机部署全流程

相关推荐

Looped Transformer：共享权重循环迭代，重塑深度模型效率边界

AUTOSAR MCAL功能安全实战：底层驱动的安全机制与工程落地

如何识别插件生态真假？看那60%的僵尸率就够了

更多资讯

xcap发包工具实战：报文模板编写与TCP/UDP发送排障

Python自动化生成PPT实战：从Markdown到幻灯片的技术实现

【创新无忧】基于凌日优化算法TSOA优化极限学习机KELM-Adaboost实现故障诊断附matlab代码

HarmonyOS SDK实战：从ArkUI声明式开发到Ability生命周期全记录

多无人机协同路径规划与动态防撞：MATLAB完整实现方案

IS-IS快速收敛调优实战：BFD联动与SPF调度参数详解

今日更新

智能硬件视频会议集成：从芯片选型到场景落地的全栈实践

FFmpeg音视频处理与5路RTMP推流实战：从原理到118克盒子部署

RK3528+1GB内存如何变身直播节点？硬编解码与六协议实战复盘

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？