简介这是一份面向嵌入式开发者和物联网爱好者的ESP32手势识别项目资料聚焦于利用红外热成像阵列传感器实时捕获手部温度分布并解析动作含义。内容覆盖ESP32的GPIO/ADC配置、底层外设驱动、C/C应用层开发、FreeRTOS任务调度以及红外传感器数据读取与图像预处理流程。在识别算法方面资料梳理了灰度化、噪声滤波、直方图均衡化、模板匹配和轻量级CNN等思路帮助读者了解如何根据微控制器资源限制选择合适的计算方案同时也可作为高校课程设计或电子设计竞赛的参考方案。压缩包为zip格式大小约19.73MB适合有一定单片机基础、正尝试进入嵌入式视觉或传感器融合领域的开发者参考。目前已有87人次浏览学习说明其内容在相关技术社区中有一定参考价值。读者可以从中完整了解从传感器连接到手势判别的系统架构掌握各功能模块的划分、调试路径与常见问题排查思路从而将这套方法迁移到自己的智能交互或IoT项目中。1. 为什么在ESP32上做红外热成像手势识别而不是摄像头摄像头方案一遇到暗光、逆光、窗帘拉上就显得很脆弱而红外热成像阵列传感器根本不在乎光线它输出的是一幅“温度矩阵”手是 31~35℃背景是 20~28℃温差天然把目标从背景里剥出来。用 ESP32 通过 I2C 读这颗传感器再用 C/C 做背景建模和分类完全可以实现“0到9手势识别”不需要跑 OpenCV也不需要外挂 NPU。很多人以为热成像只能用来测体温其实 32x24 的低分辨率矩阵对静态手势识别刚好够用数字 0、1、2、3、4、5 这类形状核心信息在轮廓和分布不在纹理。下面这套方案适合想把手势识别做成一个独立模块的人硬件只留 ESP32 传感器代码能直接烧进 Arduino 或 ESP-IDF 工程模型小到可以用 C 数组固化在 Flash 里。2. 红外热成像阵列传感器选型与ESP32的I2C接线2.1 三种常用红外热成像阵列传感器参数对比先别急着写代码传感器选错后面所有算法都要返工。市面上能直接买到的阵列传感器主要有三款型号分辨率FOV刷新率接口适合场景AMG88338x860°10HzI2C靠近检测、左右挥手MLX9064116x1255° 或 110°0.5~64HzI2C中等复杂度手势MLX9064032x2455° 或 110°0.5~64HzI2C0到9手势识别如果只做“手掌靠近”或“左右挥”AMG8833 完全够用成本最低I2C 量也小。但做 0 到 9 这类数字手势8x8 的像素太少了数字 6 和 0、1 和 7 在热像上几乎长一个样。我一般直接上 MLX9064032x24 的横向 32 个像素能保留出手指之间的温度凹陷分类器才有可分性。2.2 ESP32的I2C引脚和供电别接错3.3V和5VMLX90640 是 3.3V 器件ESP32 开发板的 VIN 或 5V 引脚不能直接接给传感器否则通电瞬间就可能烧掉内部 LDO。标准的接法是这样MLX90640ESP32 开发板VDD3.3VGNDGNDSDAGPIO21SCLGPIO22注意 ESP32-S3 等新板子的 I2C 默认引脚不一定还是 21/22很多模组把 SDA/SCL 放在 GPIO8/GPIO9买板子时先看丝印和原理图。Wire.begin(21, 22)里的引脚号是 ESP32 做 I2C 时的自定义引脚不是固定的硬件引脚所以你也可以改成其他 GPIO但不要选 GPIO12它是 strapping pin上电时有下拉电阻容易造成 I2C 电平异常。传感器功耗不高运行电流在 12mA 左右直接用开发板的 3.3V LDO 没问题。I2C 上拉电阻在多数开发板上已经存在但如果用杜邦线把传感器拉到 20cm 以上最好在 SDA/SCL 上各并联一个 4.7k 欧姆上拉电阻否则高温环境下波形沿变缓会出现隔几分钟丢一帧的现象。2.3 用C读一帧768点温度矩阵这里先用 Arduino 生态最常用的库验证库的底层就是 C后面要搬到 ESP-IDF 也容易。在 Arduino IDE 的库管理器里搜索并安装Adafruit MLX90640然后写这一段#include Wire.h #include Adafruit_MLX90640.h Adafruit_MLX90640 mlx; float frame[32 * 24]; void setup() { Serial.begin(115200); Wire.begin(21, 22); // SDAGPIO21, SCLGPIO22 Wire.setClock(400000); // I2C 时钟 400kHz if (!mlx.begin(0x33, Wire)) { Serial.println(MLX90640 not found); while (1) delay(100); } mlx.setMode(MLX90640_CHESS); mlx.setResolution(MLX90640_ADC_16BIT); mlx.setRefreshRate(MLX90640_8_HZ); } void loop() { if (mlx.getFrame(frame) 0) { for (int i 0; i 32 * 24; i) { Serial.printf(%6.2f%c, frame[i], (i % 32 31) ? \n : ); } } delay(100); }这段代码里几个参数是关键Wire.begin(21, 22)指定 ESP32 的 I2C 引脚换成你的实际接线。mlx.begin(0x33, Wire)MLX90640 默认 I2C 地址是 0x33如果改了传感器的地址位这里要跟着改。MLX90640_CHESS设置读出模式。如果一帧图像里出现横条纹或棋盘格噪声把它换成MLX90640_INTERLEAVED再试。MLX90640_ADC_16BITADC 精度越高分辨率越好但刷新率会受限制实际用 16bit 就够。MLX90640_8_HZ8Hz 刷新率适合手部动作太慢会丢过程太快则背景和 I2C 总线压力都大。getFrame返回的frame数组已经是摄氏温度值比如 26.4 表示 26.4℃不需要再乘系数。第一次跑通后建议用串口绘图器或上位机把 32x24 的二维数组画成热图确认传感器是不是正对着手背。如果画面里手的顶部被切掉可能是 FOV 和距离不匹配MLX90640 的 55° 视场在 30cm 距离上大约能覆盖 31cm x 23cm手放太近就超出画面了。3. 手势识别核心背景建模、手部分割与特征提取拿到原始温度矩阵之后下一步不是直接训练而是先把手掌从背景里抠出来。手势识别算法里最容易翻车的就是背景漂移空调出风、阳光晒到的桌面、传感器自身发热都会让同一个像素的温度随时间变化。如果只做一次静态背景采集早上能用的阈值下午就废了。3.1 背景更新需要“留一手”我常用的做法是慢速背景建模参考帧只更新温差小的像素。这样手长时间停在画面里也不会被吸收进背景。#define PIXEL_NUM 768 static float bg[PIXEL_NUM]; static bool bgReady false; void updateBackground(float *frame) { if (!bgReady) { memcpy(bg, frame, sizeof(bg)); bgReady true; return; } for (int i 0; i PIXEL_NUM; i) { float diff frame[i] - bg[i]; // 只有背景像素才更新避免手部长时间不动后被写成新背景 if (fabsf(diff) 1.5f) { bg[i] 0.95f * bg[i] 0.05f * frame[i]; } } } void frameDiff(float *frame, float *fg) { for (int i 0; i PIXEL_NUM; i) { float d frame[i] - bg[i]; // 下限滤掉传感器噪声上限滤掉热杯/空调等高温源 fg[i] (d 1.8f d 15.0f) ? d : 0.0f; } }0.95f是背景更新系数相当于每次只拿 5% 的新像素去修正背景。在 8Hz 刷新率下背景时间常数大约是 20 帧也就是 2.5 秒。太大会导致背景跟不上室内温度变化太小则会导致手停下 1 秒后变成背景。阈值 1.8~15℃ 也不是随便写的。MLX90640 在 16bit 模式下的随机噪声大约 ±0.1~0.3℃1.8℃ 能滤掉噪声又能保留手和空气的温差。上限 15℃ 是为了避开电热杯、灯泡这些比手更热的物体如果你所在环境里没有这类高温源可以把上限去掉只保留下限。3.2 用连通域过滤小噪点保留最大手掌区域阈值分割之后会出现零星亮点可能是传感器噪声或远处热源。我一般会再用一次“最大连通域”过滤只保留面积最大的一块区域。这里用四邻域种子填充就能跑void floodFill(const uint8_t *src, uint8_t *out, int w, int h, int sx, int sy, int *area) { int stack[768]; int top 0; stack[top] sy * w sx; *area 0; while (top 0) { int idx stack[--top]; if (src[idx] 0 || out[idx]) continue; out[idx] 1; (*area); int x idx % w; int y idx / w; if (x 0) stack[top] idx - 1; if (x w - 1) stack[top] idx 1; if (y 0) stack[top] idx - w; if (y h - 1) stack[top] idx w; } }使用方式是从fg的非零像素开始调用floodFill每填完一块就记录面积面积最大的那块就是手。src是二值化后的 maskout是输出 mask。由于矩阵只有 768 个点局部栈用int stack[768]就够不会爆栈你不需要也不应该在 ESP32 上跑 OpenCV 的findContours。3.3 归一化和下采样从768个浮点压到64个特征手掌区域提取出来后如果直接拿 768 个温度值去训练模型很容易记住“手在传感器左上角”的位置而不是记住手的形状。正确做法是把手掌放到一个 8x8 的网格里做一次 max-pooling再用最大值归一化。void thermalTo8x8(float *blob, float *features) { float maxVal 0.0f; // 32x24 分成 8x8 块每块 4x3 像素 for (int oy 0; oy 8; oy) { for (int ox 0; ox 8; ox) { float maxv 0.0f; for (int y oy * 3; y oy * 3 3; y) { for (int x ox * 4; x ox * 4 4; x) { float v blob[y * 32 x]; if (v maxv) maxv v; } } features[oy * 8 ox] maxv; if (maxv maxVal) maxVal maxv; } } // 归一化到 0~1减少手和传感器的距离影响 if (maxVal 0.01f) { for (int i 0; i 64; i) features[i] / maxVal; } }用 max-pooling 而不是 average-pooling是因为手指在热像上只占 2~3 个像素均值会把指尖温度拉低max 能保留“最热”的位置。下面的表是这组参数的经验值环境温差越大越要注意上限参数推荐值说明背景更新系数0.95时间常数约20帧手不会融进背景前景温差下限1.8℃低于这个值视为传感器噪声前景温差上限15℃排除热杯、灯具等高温干扰池化方式max保留指尖和手掌边缘输出尺寸8x864维特征适合轻量 MLP4. 在ESP32上跑轻量分类器模型选择与前向推理4.1 先训练后部署的思路64 维特征向量不需要上卷积网络。0 到 9 手势识别的可分性主要在轮廓占比和手指分布一个单隐层全连接网络就够了。常见做法是在 PC 上用 Python 或 Edge Impulse 训练手势识别模型然后把权重导出成 C/C 源文件。Edge Impulse 的好处是能直接从串口采集 MLX90640 的 8x8 灰度图自动生成嵌入式 C 推理代码如果不想依赖平台自己用 Keras 训练也可以最后把model-get_weights()转成二维数组。训练样本每个手势至少录 100 帧采集时手要有上下左右轻微移动不能只放正中间。否则模型在部署时会对位置极其敏感手一偏就分类错误。4.2 前向推理 C 函数以下是我在 ESP32 上用的最小推理结构输入 64 个 float输出 10 个类别的索引#include math.h #define N_IN 64 #define N_HIDDEN 24 #define N_CLS 10 static const float w1[N_HIDDEN][N_IN] { /* PC训练后导出 */ }; static const float b1[N_HIDDEN] { /* 训练后导出 */ }; static const float w2[N_CLS][N_HIDDEN] { /* 训练后导出 */ }; static const float b2[N_CLS] { /* 训练后导出 */ }; int predictGesture(float *features) { float hidden[N_HIDDEN]; // 隐层线性加权 tanh 激活 for (int h 0; h N_HIDDEN; h) { float sum b1[h]; for (int i 0; i N_IN; i) { sum w1[h][i] * features[i]; } hidden[h] tanhf(sum); } // 输出层找最大得分不需要完整 softmax int best 0; float bestScore -1e9f; for (int c 0; c N_CLS; c) { float sum b2[c]; for (int h 0; h N_HIDDEN; h) { sum w2[c][h] * hidden[h]; } if (sum bestScore) { bestScore sum; best c; } } return best; // 返回 0~9 }几个细节必须说明N_HIDDEN取 24 而不是更大的值是因为 64 维输入相对简单隐层太大会过拟合且在 ESP32 上每多一个节点都会增加乘法次数。tanhf比sigmoid更容易收敛且 ESP32 的 libm 自带不需要额外算法。权重必须定义为static const让编译器放进.rodata段不占用堆栈。如果你把几 KB 的权重数组放在函数内部ESP32 默认栈只有 8KB一调用就重启。输出层没有做 softmax 也能完成分类因为只需比较大小。如果要输出“置信度”再补一个 softmax 循环。4.3 0到9手势识别的参数整定参数推荐值踩坑说明隐层节点16~32大于64后准确率不升反降学习率0.001Adam 默认即可训练轮数50~100样本少时轮数太多会记住训练集分类阈值0.6输出概率低于0.6时判为 unknown刷新率8~16Hz低于4Hz时手势过程会断实际跑起来最容易混的是 0 和 6、1 和 7。0 和 6 在热像上都是圆形差别只在右边有没有一个小缺口如果 8x8 池化后缺口被 max-pooling 抹掉就会误判。遇到这种情况可以把 8x8 改成 12x8 的下采样给横向更多分辨率同时把N_HIDDEN提高到 32就能把缺口作为一个特征保留下来。5. 串口可视化、OTA升级和现场排错5.1 用串口JSON输出识别结果调试阶段不要只打印一个数字最好把分类结果和手部区域一起输出这样你才知道模型为什么错。我习惯用一行 JSONvoid publishResult(int cls, float prob, int area, float cx, float cy) { Serial.printf( {\cls\:%d,\prob\:%.2f,\area\:%d,\cx\:%.2f,\cy\:%.2f}\r\n, cls, prob, area, cx, cy); }上位机用 Python 的json.loads()直接解析或者用 Node-RED 接 MQTT 都可以。area是最大连通域的面积cx/cy是质心坐标。如果分类错误时 area 明显偏小说明分割阶段把手指切掉了如果 cx/cy 抖动很大说明背景更新太慢有很多残留噪声被当成前景。5.2 ESP32 OTA升级改模型不用拆机算法调试到现场后经常会改阈值或换手势定义。每次都用 USB 线插到板子上烧录太麻烦尤其传感器已经装在结构件里。ESP32 OTA升级是标准解法方案适用阶段注意事项USB 串口烧录开发验证简单直接ArduinoOTA/IDF OTA同一局域网第一次烧录需要先把手动烧录入口编译进去HTTP OTA现场远程分区表必须包含 ota_0 和 ota_1 两个 app 分区我建议开发初期就把ArduinoOTA加进工程提前把 OTA 流程调通。使用默认分区表时只有一个 app 分区Update.begin会失败需要把分区方案换成带ota_0和ota_1的布局固件升级时才会在两个分区之间切换。OTA 成功后别忘了把模型权重放在可写入的存储区或者单独做一个 model 分区否则每次升级都要重新烧模型。5.3 三个现场排错点如果你的设备在手势识别现场出现下面三种情况优先按顺序查传感器找不到mlx.begin返回 false。先用i2cdetect类似工具扫描 0x33 地址再用示波器或万用表量 SDA/SCL 是否有 3.3V 上拉。杜邦线超过 20cm 时上升沿变差也可能导致偶尔识别不到。手放进画面 5 秒后分割区域慢慢消失。这是背景更新太快0.95f被改得太小了。背景更新系数要保持在 0.9~0.99 之间同时updateBackground里必须检查fabsf(diff) 1.5f否则手部像素会持续污染背景。分类准确率在实验室 95%现场掉到 70%。先看串口的area和cx/cy如果手的位置偏到画面边缘热像轮廓被截断分类器自然会错。最好在特征归一化前判断area是否小于全画面的 5%过小就直接输出unknown不要让模型硬猜。如果现场遇到分类错乱优先把BG_ALPHA调回 0.95再看串口图里手的轮廓有没有断成两截。本文还有配套的精品资源点击获取
ESP32红外热成像手势识别：从温度矩阵到0-9分类实战
简介这是一份面向嵌入式开发者和物联网爱好者的ESP32手势识别项目资料聚焦于利用红外热成像阵列传感器实时捕获手部温度分布并解析动作含义。内容覆盖ESP32的GPIO/ADC配置、底层外设驱动、C/C应用层开发、FreeRTOS任务调度以及红外传感器数据读取与图像预处理流程。在识别算法方面资料梳理了灰度化、噪声滤波、直方图均衡化、模板匹配和轻量级CNN等思路帮助读者了解如何根据微控制器资源限制选择合适的计算方案同时也可作为高校课程设计或电子设计竞赛的参考方案。压缩包为zip格式大小约19.73MB适合有一定单片机基础、正尝试进入嵌入式视觉或传感器融合领域的开发者参考。目前已有87人次浏览学习说明其内容在相关技术社区中有一定参考价值。读者可以从中完整了解从传感器连接到手势判别的系统架构掌握各功能模块的划分、调试路径与常见问题排查思路从而将这套方法迁移到自己的智能交互或IoT项目中。1. 为什么在ESP32上做红外热成像手势识别而不是摄像头摄像头方案一遇到暗光、逆光、窗帘拉上就显得很脆弱而红外热成像阵列传感器根本不在乎光线它输出的是一幅“温度矩阵”手是 31~35℃背景是 20~28℃温差天然把目标从背景里剥出来。用 ESP32 通过 I2C 读这颗传感器再用 C/C 做背景建模和分类完全可以实现“0到9手势识别”不需要跑 OpenCV也不需要外挂 NPU。很多人以为热成像只能用来测体温其实 32x24 的低分辨率矩阵对静态手势识别刚好够用数字 0、1、2、3、4、5 这类形状核心信息在轮廓和分布不在纹理。下面这套方案适合想把手势识别做成一个独立模块的人硬件只留 ESP32 传感器代码能直接烧进 Arduino 或 ESP-IDF 工程模型小到可以用 C 数组固化在 Flash 里。2. 红外热成像阵列传感器选型与ESP32的I2C接线2.1 三种常用红外热成像阵列传感器参数对比先别急着写代码传感器选错后面所有算法都要返工。市面上能直接买到的阵列传感器主要有三款型号分辨率FOV刷新率接口适合场景AMG88338x860°10HzI2C靠近检测、左右挥手MLX9064116x1255° 或 110°0.5~64HzI2C中等复杂度手势MLX9064032x2455° 或 110°0.5~64HzI2C0到9手势识别如果只做“手掌靠近”或“左右挥”AMG8833 完全够用成本最低I2C 量也小。但做 0 到 9 这类数字手势8x8 的像素太少了数字 6 和 0、1 和 7 在热像上几乎长一个样。我一般直接上 MLX9064032x24 的横向 32 个像素能保留出手指之间的温度凹陷分类器才有可分性。2.2 ESP32的I2C引脚和供电别接错3.3V和5VMLX90640 是 3.3V 器件ESP32 开发板的 VIN 或 5V 引脚不能直接接给传感器否则通电瞬间就可能烧掉内部 LDO。标准的接法是这样MLX90640ESP32 开发板VDD3.3VGNDGNDSDAGPIO21SCLGPIO22注意 ESP32-S3 等新板子的 I2C 默认引脚不一定还是 21/22很多模组把 SDA/SCL 放在 GPIO8/GPIO9买板子时先看丝印和原理图。Wire.begin(21, 22)里的引脚号是 ESP32 做 I2C 时的自定义引脚不是固定的硬件引脚所以你也可以改成其他 GPIO但不要选 GPIO12它是 strapping pin上电时有下拉电阻容易造成 I2C 电平异常。传感器功耗不高运行电流在 12mA 左右直接用开发板的 3.3V LDO 没问题。I2C 上拉电阻在多数开发板上已经存在但如果用杜邦线把传感器拉到 20cm 以上最好在 SDA/SCL 上各并联一个 4.7k 欧姆上拉电阻否则高温环境下波形沿变缓会出现隔几分钟丢一帧的现象。2.3 用C读一帧768点温度矩阵这里先用 Arduino 生态最常用的库验证库的底层就是 C后面要搬到 ESP-IDF 也容易。在 Arduino IDE 的库管理器里搜索并安装Adafruit MLX90640然后写这一段#include Wire.h #include Adafruit_MLX90640.h Adafruit_MLX90640 mlx; float frame[32 * 24]; void setup() { Serial.begin(115200); Wire.begin(21, 22); // SDAGPIO21, SCLGPIO22 Wire.setClock(400000); // I2C 时钟 400kHz if (!mlx.begin(0x33, Wire)) { Serial.println(MLX90640 not found); while (1) delay(100); } mlx.setMode(MLX90640_CHESS); mlx.setResolution(MLX90640_ADC_16BIT); mlx.setRefreshRate(MLX90640_8_HZ); } void loop() { if (mlx.getFrame(frame) 0) { for (int i 0; i 32 * 24; i) { Serial.printf(%6.2f%c, frame[i], (i % 32 31) ? \n : ); } } delay(100); }这段代码里几个参数是关键Wire.begin(21, 22)指定 ESP32 的 I2C 引脚换成你的实际接线。mlx.begin(0x33, Wire)MLX90640 默认 I2C 地址是 0x33如果改了传感器的地址位这里要跟着改。MLX90640_CHESS设置读出模式。如果一帧图像里出现横条纹或棋盘格噪声把它换成MLX90640_INTERLEAVED再试。MLX90640_ADC_16BITADC 精度越高分辨率越好但刷新率会受限制实际用 16bit 就够。MLX90640_8_HZ8Hz 刷新率适合手部动作太慢会丢过程太快则背景和 I2C 总线压力都大。getFrame返回的frame数组已经是摄氏温度值比如 26.4 表示 26.4℃不需要再乘系数。第一次跑通后建议用串口绘图器或上位机把 32x24 的二维数组画成热图确认传感器是不是正对着手背。如果画面里手的顶部被切掉可能是 FOV 和距离不匹配MLX90640 的 55° 视场在 30cm 距离上大约能覆盖 31cm x 23cm手放太近就超出画面了。3. 手势识别核心背景建模、手部分割与特征提取拿到原始温度矩阵之后下一步不是直接训练而是先把手掌从背景里抠出来。手势识别算法里最容易翻车的就是背景漂移空调出风、阳光晒到的桌面、传感器自身发热都会让同一个像素的温度随时间变化。如果只做一次静态背景采集早上能用的阈值下午就废了。3.1 背景更新需要“留一手”我常用的做法是慢速背景建模参考帧只更新温差小的像素。这样手长时间停在画面里也不会被吸收进背景。#define PIXEL_NUM 768 static float bg[PIXEL_NUM]; static bool bgReady false; void updateBackground(float *frame) { if (!bgReady) { memcpy(bg, frame, sizeof(bg)); bgReady true; return; } for (int i 0; i PIXEL_NUM; i) { float diff frame[i] - bg[i]; // 只有背景像素才更新避免手部长时间不动后被写成新背景 if (fabsf(diff) 1.5f) { bg[i] 0.95f * bg[i] 0.05f * frame[i]; } } } void frameDiff(float *frame, float *fg) { for (int i 0; i PIXEL_NUM; i) { float d frame[i] - bg[i]; // 下限滤掉传感器噪声上限滤掉热杯/空调等高温源 fg[i] (d 1.8f d 15.0f) ? d : 0.0f; } }0.95f是背景更新系数相当于每次只拿 5% 的新像素去修正背景。在 8Hz 刷新率下背景时间常数大约是 20 帧也就是 2.5 秒。太大会导致背景跟不上室内温度变化太小则会导致手停下 1 秒后变成背景。阈值 1.8~15℃ 也不是随便写的。MLX90640 在 16bit 模式下的随机噪声大约 ±0.1~0.3℃1.8℃ 能滤掉噪声又能保留手和空气的温差。上限 15℃ 是为了避开电热杯、灯泡这些比手更热的物体如果你所在环境里没有这类高温源可以把上限去掉只保留下限。3.2 用连通域过滤小噪点保留最大手掌区域阈值分割之后会出现零星亮点可能是传感器噪声或远处热源。我一般会再用一次“最大连通域”过滤只保留面积最大的一块区域。这里用四邻域种子填充就能跑void floodFill(const uint8_t *src, uint8_t *out, int w, int h, int sx, int sy, int *area) { int stack[768]; int top 0; stack[top] sy * w sx; *area 0; while (top 0) { int idx stack[--top]; if (src[idx] 0 || out[idx]) continue; out[idx] 1; (*area); int x idx % w; int y idx / w; if (x 0) stack[top] idx - 1; if (x w - 1) stack[top] idx 1; if (y 0) stack[top] idx - w; if (y h - 1) stack[top] idx w; } }使用方式是从fg的非零像素开始调用floodFill每填完一块就记录面积面积最大的那块就是手。src是二值化后的 maskout是输出 mask。由于矩阵只有 768 个点局部栈用int stack[768]就够不会爆栈你不需要也不应该在 ESP32 上跑 OpenCV 的findContours。3.3 归一化和下采样从768个浮点压到64个特征手掌区域提取出来后如果直接拿 768 个温度值去训练模型很容易记住“手在传感器左上角”的位置而不是记住手的形状。正确做法是把手掌放到一个 8x8 的网格里做一次 max-pooling再用最大值归一化。void thermalTo8x8(float *blob, float *features) { float maxVal 0.0f; // 32x24 分成 8x8 块每块 4x3 像素 for (int oy 0; oy 8; oy) { for (int ox 0; ox 8; ox) { float maxv 0.0f; for (int y oy * 3; y oy * 3 3; y) { for (int x ox * 4; x ox * 4 4; x) { float v blob[y * 32 x]; if (v maxv) maxv v; } } features[oy * 8 ox] maxv; if (maxv maxVal) maxVal maxv; } } // 归一化到 0~1减少手和传感器的距离影响 if (maxVal 0.01f) { for (int i 0; i 64; i) features[i] / maxVal; } }用 max-pooling 而不是 average-pooling是因为手指在热像上只占 2~3 个像素均值会把指尖温度拉低max 能保留“最热”的位置。下面的表是这组参数的经验值环境温差越大越要注意上限参数推荐值说明背景更新系数0.95时间常数约20帧手不会融进背景前景温差下限1.8℃低于这个值视为传感器噪声前景温差上限15℃排除热杯、灯具等高温干扰池化方式max保留指尖和手掌边缘输出尺寸8x864维特征适合轻量 MLP4. 在ESP32上跑轻量分类器模型选择与前向推理4.1 先训练后部署的思路64 维特征向量不需要上卷积网络。0 到 9 手势识别的可分性主要在轮廓占比和手指分布一个单隐层全连接网络就够了。常见做法是在 PC 上用 Python 或 Edge Impulse 训练手势识别模型然后把权重导出成 C/C 源文件。Edge Impulse 的好处是能直接从串口采集 MLX90640 的 8x8 灰度图自动生成嵌入式 C 推理代码如果不想依赖平台自己用 Keras 训练也可以最后把model-get_weights()转成二维数组。训练样本每个手势至少录 100 帧采集时手要有上下左右轻微移动不能只放正中间。否则模型在部署时会对位置极其敏感手一偏就分类错误。4.2 前向推理 C 函数以下是我在 ESP32 上用的最小推理结构输入 64 个 float输出 10 个类别的索引#include math.h #define N_IN 64 #define N_HIDDEN 24 #define N_CLS 10 static const float w1[N_HIDDEN][N_IN] { /* PC训练后导出 */ }; static const float b1[N_HIDDEN] { /* 训练后导出 */ }; static const float w2[N_CLS][N_HIDDEN] { /* 训练后导出 */ }; static const float b2[N_CLS] { /* 训练后导出 */ }; int predictGesture(float *features) { float hidden[N_HIDDEN]; // 隐层线性加权 tanh 激活 for (int h 0; h N_HIDDEN; h) { float sum b1[h]; for (int i 0; i N_IN; i) { sum w1[h][i] * features[i]; } hidden[h] tanhf(sum); } // 输出层找最大得分不需要完整 softmax int best 0; float bestScore -1e9f; for (int c 0; c N_CLS; c) { float sum b2[c]; for (int h 0; h N_HIDDEN; h) { sum w2[c][h] * hidden[h]; } if (sum bestScore) { bestScore sum; best c; } } return best; // 返回 0~9 }几个细节必须说明N_HIDDEN取 24 而不是更大的值是因为 64 维输入相对简单隐层太大会过拟合且在 ESP32 上每多一个节点都会增加乘法次数。tanhf比sigmoid更容易收敛且 ESP32 的 libm 自带不需要额外算法。权重必须定义为static const让编译器放进.rodata段不占用堆栈。如果你把几 KB 的权重数组放在函数内部ESP32 默认栈只有 8KB一调用就重启。输出层没有做 softmax 也能完成分类因为只需比较大小。如果要输出“置信度”再补一个 softmax 循环。4.3 0到9手势识别的参数整定参数推荐值踩坑说明隐层节点16~32大于64后准确率不升反降学习率0.001Adam 默认即可训练轮数50~100样本少时轮数太多会记住训练集分类阈值0.6输出概率低于0.6时判为 unknown刷新率8~16Hz低于4Hz时手势过程会断实际跑起来最容易混的是 0 和 6、1 和 7。0 和 6 在热像上都是圆形差别只在右边有没有一个小缺口如果 8x8 池化后缺口被 max-pooling 抹掉就会误判。遇到这种情况可以把 8x8 改成 12x8 的下采样给横向更多分辨率同时把N_HIDDEN提高到 32就能把缺口作为一个特征保留下来。5. 串口可视化、OTA升级和现场排错5.1 用串口JSON输出识别结果调试阶段不要只打印一个数字最好把分类结果和手部区域一起输出这样你才知道模型为什么错。我习惯用一行 JSONvoid publishResult(int cls, float prob, int area, float cx, float cy) { Serial.printf( {\cls\:%d,\prob\:%.2f,\area\:%d,\cx\:%.2f,\cy\:%.2f}\r\n, cls, prob, area, cx, cy); }上位机用 Python 的json.loads()直接解析或者用 Node-RED 接 MQTT 都可以。area是最大连通域的面积cx/cy是质心坐标。如果分类错误时 area 明显偏小说明分割阶段把手指切掉了如果 cx/cy 抖动很大说明背景更新太慢有很多残留噪声被当成前景。5.2 ESP32 OTA升级改模型不用拆机算法调试到现场后经常会改阈值或换手势定义。每次都用 USB 线插到板子上烧录太麻烦尤其传感器已经装在结构件里。ESP32 OTA升级是标准解法方案适用阶段注意事项USB 串口烧录开发验证简单直接ArduinoOTA/IDF OTA同一局域网第一次烧录需要先把手动烧录入口编译进去HTTP OTA现场远程分区表必须包含 ota_0 和 ota_1 两个 app 分区我建议开发初期就把ArduinoOTA加进工程提前把 OTA 流程调通。使用默认分区表时只有一个 app 分区Update.begin会失败需要把分区方案换成带ota_0和ota_1的布局固件升级时才会在两个分区之间切换。OTA 成功后别忘了把模型权重放在可写入的存储区或者单独做一个 model 分区否则每次升级都要重新烧模型。5.3 三个现场排错点如果你的设备在手势识别现场出现下面三种情况优先按顺序查传感器找不到mlx.begin返回 false。先用i2cdetect类似工具扫描 0x33 地址再用示波器或万用表量 SDA/SCL 是否有 3.3V 上拉。杜邦线超过 20cm 时上升沿变差也可能导致偶尔识别不到。手放进画面 5 秒后分割区域慢慢消失。这是背景更新太快0.95f被改得太小了。背景更新系数要保持在 0.9~0.99 之间同时updateBackground里必须检查fabsf(diff) 1.5f否则手部像素会持续污染背景。分类准确率在实验室 95%现场掉到 70%。先看串口的area和cx/cy如果手的位置偏到画面边缘热像轮廓被截断分类器自然会错。最好在特征归一化前判断area是否小于全画面的 5%过小就直接输出unknown不要让模型硬猜。如果现场遇到分类错乱优先把BG_ALPHA调回 0.95再看串口图里手的轮廓有没有断成两截。本文还有配套的精品资源点击获取
