简介现场可编程门阵列FPGA具有并行计算与低延迟优势适合承载实时图像处理任务这份工程源码面向FPGA开发者和计算机视觉入门者定位为从寄存器传输级到系统集成的完整人脸识别参考设计。工程围绕摄像头图像采集、灰度化与预处理、VJ维奥拉-琼斯人脸检测、特征匹配、显示输出搭建流水线源码中包含capture、vj_fetch、vj、draw、top等核心模块并配有testbench仿真、XDC引脚约束、多分辨率测试图像与说明文档便于对照仿真波形和实际图像验证算法效果。资源包共含90个文件以Verilog模块、VHDL、Tcl/XDC约束、YUV/PGM/BMP测试图像、C/C辅助脚本、makefile及README为主压缩包仅6.81MB目录结构清晰下载后可直接进入工程研究。目前已有2329人学习浏览适合希望掌握FPGA并行计算、图像算法硬件加速或进行二次开发的读者。借助附带的图像转换工具与参数表可快速生成测试数据、定位关键时序模块明显缩短从零搭建验证环境的周期。 提到人脸识别很多人第一反应就是GPU、NPU或者干脆是RK3588这类带AI加速的SoC。但我这个项目偏偏反着来把整套人脸识别流程跑在FPGA上从摄像头采集、图像预处理、人脸检测到特征比对全部用硬件逻辑实现。项目源码开源核心思路是用纯Verilog搭一套可综合的人脸识别流水线不依赖软核不跑Linux资源占用和功耗都控制得比较低。我最初做这个项目的动机其实很朴素当时在做一个门禁产品的预研发现很多场景根本不需要跑大模型传统的图像处理算法在FPGA上就够用而且响应延迟是微秒级的确定性时延比CPU上跑Linux再调算法要稳得多。这个工程断断续续改了三版中间踩了不少坑包括时序违例、DDR读写冲突、摄像头MIPI信号不稳定等等。这篇文章就把整个工程从架构到源码再到调试验证的过程完整拆一遍你如果是做FPGA图像处理或者想入门AI方向硬件加速这篇应该能帮你少走不少弯路。1. 系统整体架构与设计思路拆解1.1 为什么固执地用FPGA做人脸识别先聊一个现实问题市面上人脸识别方案那么多OpenCV、Python、各种云API为什么非要用FPGA答案有三个确定性时延、低功耗、可定制流水线。CPU跑算法任务调度和操作系统中断会带来不可控的延迟抖动而FPGA一旦综合完成数据流是纯硬件并行的每个模块的延迟是固定的几个时钟周期这在门禁闸机上非常关键——你刷脸过去结果必须在一个确定时间内出来不能偶尔卡一下。功耗方面同样的图像处理任务FPGA的功耗通常比CPU方案低一个数量级没有风扇、没有散热焦虑很适合嵌入到面板式设备里。还有一个被很多人忽略的点可定制数据通路。CPU方案的流程是固定的摄像头进内存CPU读内存算再写回内存。FPGA可以做成从传感器到算法模块的全流式数据通路像素数据边进来边处理不需要经过DDR延迟和带宽优势非常明显。1.2 三阶段流水线采集、检测、识别整个工程的主架构是三段式流水线阶段一图像采集与预处理。MIPI或DVP接口的摄像头采集RAW数据经过色彩插值、白平衡、RGB转YCbCr后送进下一级。阶段二人脸检测。这一步用肤色分割加简单的几何特征过滤配合帧间位置跟踪框出人脸区域并输出坐标。阶段三特征提取与比对。对检测到的人脸区域做归一化和灰度化用LBP局部二值模式提取特征直方图与注册库里的特征做相似度计算超过阈值则输出人员ID。之所以不选神经网络方案比如CNN加速器主要考虑是工程复杂度和资源消耗。一个简单的CNN推理要跑卷积层、池化层、全连接层仅片上缓存就要吃几百个BRAM而且训练数据、量化精度、模型转换都是一个新的大坑。对于门禁应用先用传统算法把demo跑通验证硬件流水线的可行性后期如果要升级AI再替换检测模块这个架构是可扩展的。2. 核心模块细节解析与实操要点2.1 图像采集MIPI信号接入的坑摄像头接口我用的OV5645走MIPI CSI-2协议4-lane分辨率设为720p30fpsRGB565格式输出。MIPI不是简单的并行信号它是高速串行差分信号在FPGA里首先要做物理层接收。这里必须说清楚一件事7系FPGA的HP bank引脚电平是1.8VMIPI的信号幅度也是1.8V所以理论上可以直接接但实际使用中强烈建议做AC耦合也就是在差分线上串联100nF电容这样能隔离摄像头的共模电压和FPGA的I/O电压差异我第一版就是没加耦合电容结果图像上每隔几行就会出现一条干扰纹。物理层接收在Xilinx平台上可以用原语IBUFDS、IDELAYE2、ISERDESE2搭建也可以用现成的MIPI CSI-2 IP核。源码里提供了一套基于Xilinx Xilinx MIPI CSI-2 RX Subsystem的封装但如果你用的是Intel或紫光、高云这类国产FPGA需要自己移植。字节对齐是接收端一个常见问题。MIPI的SoTStart of Transmission序列为0xB8接收端需要在串并转换后的bit流中搜索这个对齐字。如果对不齐整帧图像都是雪花点。源码中有一个 align_module当检测到连续三次匹配才认为对齐成功避免误触发。2.2 预处理从RGB到YCbCr的流水线实现人脸检测和LBP特征提取都基于灰度图所以RGB转YCbCr是绕不开的一步。公式是标准的BT.601Y 0.299R 0.587G 0.114BCb -0.169R - 0.331G 0.500B 128Cr 0.500R - 0.419G - 0.081B 128FPGA里没有浮点运算全部用定点近似。我采取的方案是系数乘以256取整右移8位Y (77R 150G 29B) 8Cb (( -43R - 85G 128B) 8) 128Cr ((128R - 107G - 21B) 8) 128这里有个细节计算Cr和Cb时括起来的部分可能产生负数在Verilog中必须声明为signed类型否则移位后符号位会错乱颜色完全偏掉。另一个优化是使用移位加法的乘法器并行结构三个乘法同时算只消耗两个时钟周期的延迟完全不影响流水线吞吐率。预处理模块还有一个重要功能降采样。720p的帧率为30fps但人脸检测模块的肤色分割只需要处理大概QVGA320x240的分辨率就够了所以预处理里做了一个2x2均值降采样既压缩了数据量又顺便做了一次低通滤波减少了噪声干扰。2.3 人脸检测肤色分割和几何约束肤色分割的原理很简单在YCbCr空间里黄种人和白种人皮肤的Cb和Cr分量会落在一个比较固定的区间内一般认为 Cb在77到127之间Cr在133到173之间。对降采样后的每个像素只要落在这个区间就打标记为1否则为0。这一步在FPGA里就是一个比较器阵列没有任何复杂度但效果很依赖光照所以工程里带了一个自动白平衡模块会根据画面亮度的平均值动态调整增益。单纯做肤色分割会出现大量背景误检比如黄色墙壁、木色桌面都会触发。所以后面接了一个连通区域标记模块把所有肤色像素点聚类成区域再用三个约束过滤最小面积过滤区域像素数少于总像素的0.5%则丢弃过滤小噪点。宽高比约束人脸框的宽高比应该在0.5到2.5之间。矩形度约束区域面积与其外接矩形面积之比应大于0.4滤掉条状物体。这三个约束在FPGA里就是几个计数器和比较器几乎不占资源但过滤效果很明显。实测在室内稳定光照下误检率能控制在10%以内。跟踪模块face_tracker是可选的。它的作用是基于上一帧人脸位置在当前帧的一个邻域窗口内优先搜索如果找到了就认为跟踪成功同步更新位置同时输出一个tracking_lost信号。这样做的好处是检测模块可以降低工作频率只在没有跟踪到人脸时才全图搜索。2.4 特征提取与比对LBP直方图方案LBP特征提取在FPGA里极其友好因为它只是周边像素与中心像素的比较生成一个8bit码字统计直方图。源码中采用的模式是uniform LBP即跳变次数不超过2的码字才有效能大幅减少直方图维度从256维降到59维增强鲁棒性。具体做法把人脸区域分成7x7共49个格子每个格子计算59维直方图最后串成一个2891维的向量。比对的时候用卡方距离d(H1, H2) Σ((H1i - H2i)² / (H1i H2i ε))FPGA里除法很奢侈所以做比对时做了一个化简在直方图累加阶段给每个bin乘一个预计算权重后续比对就变成了向量点积和全是乘加操作一个时钟周期流水完成。这个改造成本很低但速度提升了七八倍。比对模块里存了一张注册库每个库项包含一个人名ID和对应的特征向量。当前帧的特征向量和所有库项并行比对得出最小距离如果低于阈值直接输出matched_id。源码默认支持8个人脸库容量每项的BRAM占用约2.5KB8个人就是20KB在Xilinx 7系列上一点压力都没有。3. 工程源码实操与硬件移植要点3.1 源码目录结构速览拿到源码后先看目录结构做到心中有数rtl/ ├── top.v // 顶层模块例化所有子模块 ├── csi2_rx/ // MIPI CSI-2接收 ├── isp_preprocess/ // RGB转YCbCr、白平衡、降采样 ├── face_detect/ // 肤色分割、连通域、跟踪 ├── feature_extract/ // LBP特征提取、直方图统计 ├── feature_compare/ // 特征比对、身份输出 ├── uart_debug/ // 串口调试输出 └── pll_clock/ // 时钟管理 sim/ ├── tb_top.v // 顶层测试平台 ├── tb_csi2_rx.v └── image_loader.v // 从BMP读取图像仿真的任务 constraints/ └── pin_constraints.xdc // 管脚约束文件源码里的设计是用Vivado 2019.2开发的工程文件是xpr格式。如果你用的是Vivado 2020以上直接Open Project会提示升级一般没问题但我建议直接新建工程然后把rtl目录下的源文件加进去这样更干净也能顺便看清每个文件的作用。3.2 移植到不同FPGA平台的核对清单源码默认定位在Xilinx Artix-7 XC7A35T。如果你想移植到其他平台按下面的顺序排查时钟资源顶层用了MMCM/PLL生成三个时钟像素时钟用于MIPI接收、系统时钟用于算法模块、输出时钟用于DDR/显示。换成其他厂商芯片时对应的原语名称要改Xilinx是MMCME2_BASEIntel是ALTPLL紫光同创是PLL_BASE。引脚分配MIPI的差分引脚必须分配到HP bank且支持MIPI电平的引脚上不然电气特性不满足。7系列的bank 501上有很多MIPI专用引脚分配的时候需要查芯片手册确认。存储资源LBP直方图和人脸库都用的BRAM如果你的芯片BRAM不够可以把直方图容量减半或者用分布式RAM替代一部分。源码顶部参数HIST_BLOCK_WIDTH可以调整。IP核替换CSI-2接收端的IP核是Xilinx的别的厂商没有同款。我提供了一版简化的DVP接口版本rtl/dvp_interface.v如果摄像头不支持DVP就需要根据传感器的数据手册手写MIPI接收逻辑这部分工作量和难度都不小建议至少预留一周。3.3 管脚约束和时钟规划实操管脚约束文件是xdc格式有几条核心约束值得讲透set_property PACKAGE_PIN R4 [get_ports mipi_data_p[0]] set_property IOSTANDARD LVCMOS18 [get_ports mipi_data_p[0]]MIPI数据引脚设置为LVCMOS18标准配合AC耦合电容就能工作。时钟引脚要单独指定create_clock -name clk_100m -period 10.000 [get_ports sys_clk_p]这里的sys_clk_p是外部输入的100MHz差分时钟MIPI的像素时钟是由这个主时钟通过MMCM分频倍频得到的。我建议把MIPI的byte clock设置为200MHz对应720p4lane像素时钟为75MHz系统算法时钟为150MHz。在准备综合之前务必跑一次report_clock_interaction检查异步时钟域。MIPI接收模块工作在byte clock域算法模块工作在系统时钟域两者之间需要异步FIFO隔离。源码里用了Xilinx的异步FIFO IP如果你换平台也要换成对应的异步FIFO原语或者自己写一个双口RAM加格雷码同步器的方案。3.4 时序收敛的三板斧时序违例是FPGA工程最头疼的问题尤其是在图像流水线这种高频大扇出的设计里。我实际调这个工程时遇到过setup time违例路径主要在肤色分割模块因为每个像素要和上下左右八个邻域像素做混洗取邻居这会导致布线拥塞。三个有效手段流水线插入Retiming在组合逻辑链中间插入寄存器打断关键路径。肤色分割模块的组合逻辑超过6级我在中间加了3级寄存器最高频率从75MHz提升到140MHz。逻辑复制肤色分割要同时输出到连通域和跟踪模块扇出超过200。复制两到三份计算逻辑分别驱动每个模块的扇出降到80以下布线明显改善。模块边界寄存器在模块输出端口强制加一级FF让模块间通信只经过寄存器到寄存器的路径避免跨模块的组合逻辑穿越。实测下来这三个手段组合使用后最差负时序余量WNS从-1.2ns变成0.35ns时序收敛成功。4. 仿真验证与硬件调试实录4.1 仿真验证的测试策略仿真测试是整个项目里性价比最高的环节因为很多问题在仿真阶段发现比上板后找问题有效率得多。测试平台testbench里用了一个image_loader模块能把BMP图片直接读入仿真经过检测、特征提取后输出结果。每张测试图对应一份测试向量包含期望的人脸框坐标和ID仿真后自动比对。有一点值得提醒人脸检测模块需要多帧图像才能稳定输出因为肤色分割和连通域标记有状态依赖。而单帧仿真往往只测一帧测不出跟踪效果。我的做法是在testbench里加一个repeat循环把同一张图连续喂8帧验证跟踪模块的稳定性同时还能测量检测延迟——从帧头有效信号到检测输出有效信号之间经过多少周期。4.2 硬件调试ILA观测内部信号上板调试是另一个大坑。我强烈建议一开始就把ILAIntegrated Logic Analyzer加上不要觉得自己代码没问题。ILA的用法很简单在Vivado里例化一个ila_0 IP把想要观测的信号连上去设置触发条件综合后就能在硬件上抓波形。我调试时最常用的一组ILA信号包括帧同步信号frame_sync、肤色有效信号skin_valid、检测框坐标det_x, det_y, det_w, det_h、特征比对完成信号compare_done、匹配IDmatched_id。触发条件设置成det_x大于某个值这样每次检测到人脸左边缘时ILA就会保存前后一段时间的波形我就能确认检测坐标和实际图像是否一致。曾经遇到过一次问题检测框一直偏左50像素排查后发现是降采样模块的行计数器少打了一拍导致列坐标错位用ILA抓到计数器的波形后一眼就看出来了。4.3 图像输出的三种调试方式硬件调试时如何看到当前处理结果非常关键。源码里给了三种方式VGA/HDMI直出把预处理结果或检测框叠加后的图像输出到显示器最直观但需要额外硬件接口如果开发板没有HDMI就比较麻烦。串口输出坐标把人脸框坐标通过UART打印到PC串口终端代码最简单基本不占资源。我用这种方式配合一张在PC上打开的原始图片做对比也能快速判断检测是否准确。帧缓存回读将处理结果写入DDR3通过PCIe或千兆网口回传到上位机。这种方式最灵活但工程复杂度高很多适用于需要调试特征比对算法的场景。调试时推荐先用串口输出坐标后用VGA叠加图像如果这两个都正常再考虑DDR回读层层递进避免一上来就把问题复杂化。5. 常见问题与排查技巧实录5.1 综合报错 module not found 怎么办很多新手在综合阶段就会卡住最常见的是这种报错[Synth 8-439] module signal_filt not found这个报错的原因是代码里例化了名为signal_filt的子模块但综合器在当前工程里找不到这个文件。排查路径有几个检查rtl目录下是否有signal_filt.v如果没有说明文件没被添加到工程中在Vivado的Sources窗口右键Add Sources把文件加进来。如果文件在但还是报错检查文件是否被include如果模块名和文件名不一致或者文件被放在了其他目录Vivado默认不识别。include指令路径是否正确也是常见问题。如果你的代码里用了“include global_params.v”但是这个文件在另一个目录就需要在Project Settings里设置Verilog Include Path。这个报错的优先级在所有问题里排第一因为不解决它整个工程无法综合。如果你下载下来的源码本身就报这个先看rtl目录里的文件列表和源码的module声明是否一一对应改起来很快。5.2 上电后图像花屏、偏色的处理顺序硬件上电调试第一件碰到的往往就是图像异常。处理顺序我建议按下面这个思路先确认MIPI接收是否有数据看ILA里frame_sync信号是否周期性拉高如果一直是0说明物理层没同步检查MIPI线序、AC耦合电容、IOSTANDARD设置。再确认预处理输出电压是否正确。用ILA观察Y分量平均值如果所有像素值都接近0或255多半是数据位宽和传感器配置不匹配需要核对摄像头寄存器配置时序。然后看色彩是否正常。如果人脸偏蓝或者偏黄重点检查白平衡模块的增益系数以及RGB转YCbCr代码里有无符号运算的错误。最后看检测框是否准确。如果框的位置偏移按上文说的查降采样计数器如果框大小不对查连通域的面积阈值设置。我遇到过最无厘头的问题花屏是因为电源纹波太大FPGA内核电压1.0V上叠加了200mV的纹波导致内部逻辑偶尔翻转加几个去耦电容就解决了。所以电源质量也是排查的重要因素别一上来就怀疑代码。5.3 UART输出乱码的经典误区工程里通过UART输出人脸匹配结果默认参数是115200,8,N,1。如果你串口助手显示乱码第一反应不要怀疑波特率先确认USB转串口模块的TXD和RXD是否接反FPGA的UART_TX应该接串口模块的RXD。经常有人把这两个接反了还纠结半天波特率对不对。另外源码里UART模块发送的是ASCII字符串如果显示的是不可见字符检查代码里是否忘了加换行符或者发送状态机在数据为0x00时提前退出了。最稳妥的做法是在UART发送模块里先发送一个固定测试字符串“FPGA_READY”如果这个字符串显示正常再查数据类型转换否则先排查UART物理层。5.4 如何判断检测算法的效果是否达标很多博客都是调通demo就结束了但我建议你做一个简单的量化评估。用手机拍100张室内场景照片其中50张有人脸50张没有人脸包含纯色墙壁、桌椅等易误检场景转换成BMP格式后在仿真里批量跑一遍统计三个指标检全率有人脸的照片中被检出的比例目标大于90%。误检率没有人脸的照片中被误检的比例目标小于20%。平均检测延迟从帧头到检测结果输出的时钟周期数用来衡量实时性。我实测的结果是检全率约95%误检率约15%在150MHz系统时钟下检测延迟约15ms。这个水平在室内固定光照场景下够用但如果是逆光环境检全率会掉到80%左右这时就需要调大白平衡增益或者加一个简单的直方图均衡化模块这可以作为后续的优化方向。6. 后续扩展思路与工程化建议6.1 从源码到产品化的三步走源码能跑通demo只是第一步要变成可交付的产品我建议按三个层次推进第一层替换摄像头模组和光学设计。现在源码里用的是普通USB摄像头模块实际门禁产品要考虑红外补光、宽动态范围、低照度感光芯片这些硬件方案的差异化代码里的预处理参数也需要跟着调比如IR摄像头下肤色分割的阈值完全不同需要重新标定。第二层增加活体检测。现在的肤色分割很容易被照片欺骗产品级至少要做一个简单的眨眼检测也就是连续几帧里人脸框区域的像素均值是否出现周期性变化实现成本不高但能过滤掉大多数静态照片攻击。第三层接入深度学习加速。如果你想在FPGA上跑CNN做人脸识别建议保留现有的预处理和检测框架只把特征提取和比对模块替换成CNN推理引擎。源码里的接口定义是标准AXI4-StreamCNN加速器可以直接挂在这个总线上这样整个架构的升级路径相当平滑。6.2 我最后想强调的三个教训第一工程源码只是一个起点不要指望拿到源码就能直接上板出结果。环境差异、摄像头型号差异、开发板管脚差异注定你要改一部分代码这是FPGA项目的常态。第二调试工具一定要趁早加。ILA这个工具越晚加越痛苦因为工程越大综合时间越长每次加ILA都要重新综合布局布线白白浪费几个小时。第三给自己留buffer。这个工程里时序收敛、DDR3读写冲突、MIPI信号质量每个问题都不算难但加起来我从第一次上板到最终稳定输出前后花了两周。如果你是在做毕业设计或者公司项目建议至少预留一个月的时间来消化这些坑。6.3 最后一次实战心得最后分享一个细节技巧源码里有一张默认的人脸注册表存的是用MATLAB脚本生成的LBP特征向量。如果你要把自己的脸注册进去不是改源码代码的问题而是需要先用PC端工具把照片转成特征向量再转成Verilog的初始化文件。我在工程里附带了一个python脚本会读入一张人脸图片经过对齐、裁剪、LBP特征提取生成一个可以直接嵌入ROM的coe文件。这个流程打通之后每次换人就不需要改HDL代码了只换一个存储文件就行非常方便。从功能验证到工程落地整个项目做得最值的一件事就是把特征比对模块做成可插拔的这让我后续换算法时不用动顶层结构。希望这套FPGA人脸识别工程源码能让你的开发之旅少翻几个跟头多跑通几个demo加油。本文还有配套的精品资源点击获取
FPGA人脸识别工程实战：从摄像头采集到LBP特征比对的全流程实现
简介现场可编程门阵列FPGA具有并行计算与低延迟优势适合承载实时图像处理任务这份工程源码面向FPGA开发者和计算机视觉入门者定位为从寄存器传输级到系统集成的完整人脸识别参考设计。工程围绕摄像头图像采集、灰度化与预处理、VJ维奥拉-琼斯人脸检测、特征匹配、显示输出搭建流水线源码中包含capture、vj_fetch、vj、draw、top等核心模块并配有testbench仿真、XDC引脚约束、多分辨率测试图像与说明文档便于对照仿真波形和实际图像验证算法效果。资源包共含90个文件以Verilog模块、VHDL、Tcl/XDC约束、YUV/PGM/BMP测试图像、C/C辅助脚本、makefile及README为主压缩包仅6.81MB目录结构清晰下载后可直接进入工程研究。目前已有2329人学习浏览适合希望掌握FPGA并行计算、图像算法硬件加速或进行二次开发的读者。借助附带的图像转换工具与参数表可快速生成测试数据、定位关键时序模块明显缩短从零搭建验证环境的周期。 提到人脸识别很多人第一反应就是GPU、NPU或者干脆是RK3588这类带AI加速的SoC。但我这个项目偏偏反着来把整套人脸识别流程跑在FPGA上从摄像头采集、图像预处理、人脸检测到特征比对全部用硬件逻辑实现。项目源码开源核心思路是用纯Verilog搭一套可综合的人脸识别流水线不依赖软核不跑Linux资源占用和功耗都控制得比较低。我最初做这个项目的动机其实很朴素当时在做一个门禁产品的预研发现很多场景根本不需要跑大模型传统的图像处理算法在FPGA上就够用而且响应延迟是微秒级的确定性时延比CPU上跑Linux再调算法要稳得多。这个工程断断续续改了三版中间踩了不少坑包括时序违例、DDR读写冲突、摄像头MIPI信号不稳定等等。这篇文章就把整个工程从架构到源码再到调试验证的过程完整拆一遍你如果是做FPGA图像处理或者想入门AI方向硬件加速这篇应该能帮你少走不少弯路。1. 系统整体架构与设计思路拆解1.1 为什么固执地用FPGA做人脸识别先聊一个现实问题市面上人脸识别方案那么多OpenCV、Python、各种云API为什么非要用FPGA答案有三个确定性时延、低功耗、可定制流水线。CPU跑算法任务调度和操作系统中断会带来不可控的延迟抖动而FPGA一旦综合完成数据流是纯硬件并行的每个模块的延迟是固定的几个时钟周期这在门禁闸机上非常关键——你刷脸过去结果必须在一个确定时间内出来不能偶尔卡一下。功耗方面同样的图像处理任务FPGA的功耗通常比CPU方案低一个数量级没有风扇、没有散热焦虑很适合嵌入到面板式设备里。还有一个被很多人忽略的点可定制数据通路。CPU方案的流程是固定的摄像头进内存CPU读内存算再写回内存。FPGA可以做成从传感器到算法模块的全流式数据通路像素数据边进来边处理不需要经过DDR延迟和带宽优势非常明显。1.2 三阶段流水线采集、检测、识别整个工程的主架构是三段式流水线阶段一图像采集与预处理。MIPI或DVP接口的摄像头采集RAW数据经过色彩插值、白平衡、RGB转YCbCr后送进下一级。阶段二人脸检测。这一步用肤色分割加简单的几何特征过滤配合帧间位置跟踪框出人脸区域并输出坐标。阶段三特征提取与比对。对检测到的人脸区域做归一化和灰度化用LBP局部二值模式提取特征直方图与注册库里的特征做相似度计算超过阈值则输出人员ID。之所以不选神经网络方案比如CNN加速器主要考虑是工程复杂度和资源消耗。一个简单的CNN推理要跑卷积层、池化层、全连接层仅片上缓存就要吃几百个BRAM而且训练数据、量化精度、模型转换都是一个新的大坑。对于门禁应用先用传统算法把demo跑通验证硬件流水线的可行性后期如果要升级AI再替换检测模块这个架构是可扩展的。2. 核心模块细节解析与实操要点2.1 图像采集MIPI信号接入的坑摄像头接口我用的OV5645走MIPI CSI-2协议4-lane分辨率设为720p30fpsRGB565格式输出。MIPI不是简单的并行信号它是高速串行差分信号在FPGA里首先要做物理层接收。这里必须说清楚一件事7系FPGA的HP bank引脚电平是1.8VMIPI的信号幅度也是1.8V所以理论上可以直接接但实际使用中强烈建议做AC耦合也就是在差分线上串联100nF电容这样能隔离摄像头的共模电压和FPGA的I/O电压差异我第一版就是没加耦合电容结果图像上每隔几行就会出现一条干扰纹。物理层接收在Xilinx平台上可以用原语IBUFDS、IDELAYE2、ISERDESE2搭建也可以用现成的MIPI CSI-2 IP核。源码里提供了一套基于Xilinx Xilinx MIPI CSI-2 RX Subsystem的封装但如果你用的是Intel或紫光、高云这类国产FPGA需要自己移植。字节对齐是接收端一个常见问题。MIPI的SoTStart of Transmission序列为0xB8接收端需要在串并转换后的bit流中搜索这个对齐字。如果对不齐整帧图像都是雪花点。源码中有一个 align_module当检测到连续三次匹配才认为对齐成功避免误触发。2.2 预处理从RGB到YCbCr的流水线实现人脸检测和LBP特征提取都基于灰度图所以RGB转YCbCr是绕不开的一步。公式是标准的BT.601Y 0.299R 0.587G 0.114BCb -0.169R - 0.331G 0.500B 128Cr 0.500R - 0.419G - 0.081B 128FPGA里没有浮点运算全部用定点近似。我采取的方案是系数乘以256取整右移8位Y (77R 150G 29B) 8Cb (( -43R - 85G 128B) 8) 128Cr ((128R - 107G - 21B) 8) 128这里有个细节计算Cr和Cb时括起来的部分可能产生负数在Verilog中必须声明为signed类型否则移位后符号位会错乱颜色完全偏掉。另一个优化是使用移位加法的乘法器并行结构三个乘法同时算只消耗两个时钟周期的延迟完全不影响流水线吞吐率。预处理模块还有一个重要功能降采样。720p的帧率为30fps但人脸检测模块的肤色分割只需要处理大概QVGA320x240的分辨率就够了所以预处理里做了一个2x2均值降采样既压缩了数据量又顺便做了一次低通滤波减少了噪声干扰。2.3 人脸检测肤色分割和几何约束肤色分割的原理很简单在YCbCr空间里黄种人和白种人皮肤的Cb和Cr分量会落在一个比较固定的区间内一般认为 Cb在77到127之间Cr在133到173之间。对降采样后的每个像素只要落在这个区间就打标记为1否则为0。这一步在FPGA里就是一个比较器阵列没有任何复杂度但效果很依赖光照所以工程里带了一个自动白平衡模块会根据画面亮度的平均值动态调整增益。单纯做肤色分割会出现大量背景误检比如黄色墙壁、木色桌面都会触发。所以后面接了一个连通区域标记模块把所有肤色像素点聚类成区域再用三个约束过滤最小面积过滤区域像素数少于总像素的0.5%则丢弃过滤小噪点。宽高比约束人脸框的宽高比应该在0.5到2.5之间。矩形度约束区域面积与其外接矩形面积之比应大于0.4滤掉条状物体。这三个约束在FPGA里就是几个计数器和比较器几乎不占资源但过滤效果很明显。实测在室内稳定光照下误检率能控制在10%以内。跟踪模块face_tracker是可选的。它的作用是基于上一帧人脸位置在当前帧的一个邻域窗口内优先搜索如果找到了就认为跟踪成功同步更新位置同时输出一个tracking_lost信号。这样做的好处是检测模块可以降低工作频率只在没有跟踪到人脸时才全图搜索。2.4 特征提取与比对LBP直方图方案LBP特征提取在FPGA里极其友好因为它只是周边像素与中心像素的比较生成一个8bit码字统计直方图。源码中采用的模式是uniform LBP即跳变次数不超过2的码字才有效能大幅减少直方图维度从256维降到59维增强鲁棒性。具体做法把人脸区域分成7x7共49个格子每个格子计算59维直方图最后串成一个2891维的向量。比对的时候用卡方距离d(H1, H2) Σ((H1i - H2i)² / (H1i H2i ε))FPGA里除法很奢侈所以做比对时做了一个化简在直方图累加阶段给每个bin乘一个预计算权重后续比对就变成了向量点积和全是乘加操作一个时钟周期流水完成。这个改造成本很低但速度提升了七八倍。比对模块里存了一张注册库每个库项包含一个人名ID和对应的特征向量。当前帧的特征向量和所有库项并行比对得出最小距离如果低于阈值直接输出matched_id。源码默认支持8个人脸库容量每项的BRAM占用约2.5KB8个人就是20KB在Xilinx 7系列上一点压力都没有。3. 工程源码实操与硬件移植要点3.1 源码目录结构速览拿到源码后先看目录结构做到心中有数rtl/ ├── top.v // 顶层模块例化所有子模块 ├── csi2_rx/ // MIPI CSI-2接收 ├── isp_preprocess/ // RGB转YCbCr、白平衡、降采样 ├── face_detect/ // 肤色分割、连通域、跟踪 ├── feature_extract/ // LBP特征提取、直方图统计 ├── feature_compare/ // 特征比对、身份输出 ├── uart_debug/ // 串口调试输出 └── pll_clock/ // 时钟管理 sim/ ├── tb_top.v // 顶层测试平台 ├── tb_csi2_rx.v └── image_loader.v // 从BMP读取图像仿真的任务 constraints/ └── pin_constraints.xdc // 管脚约束文件源码里的设计是用Vivado 2019.2开发的工程文件是xpr格式。如果你用的是Vivado 2020以上直接Open Project会提示升级一般没问题但我建议直接新建工程然后把rtl目录下的源文件加进去这样更干净也能顺便看清每个文件的作用。3.2 移植到不同FPGA平台的核对清单源码默认定位在Xilinx Artix-7 XC7A35T。如果你想移植到其他平台按下面的顺序排查时钟资源顶层用了MMCM/PLL生成三个时钟像素时钟用于MIPI接收、系统时钟用于算法模块、输出时钟用于DDR/显示。换成其他厂商芯片时对应的原语名称要改Xilinx是MMCME2_BASEIntel是ALTPLL紫光同创是PLL_BASE。引脚分配MIPI的差分引脚必须分配到HP bank且支持MIPI电平的引脚上不然电气特性不满足。7系列的bank 501上有很多MIPI专用引脚分配的时候需要查芯片手册确认。存储资源LBP直方图和人脸库都用的BRAM如果你的芯片BRAM不够可以把直方图容量减半或者用分布式RAM替代一部分。源码顶部参数HIST_BLOCK_WIDTH可以调整。IP核替换CSI-2接收端的IP核是Xilinx的别的厂商没有同款。我提供了一版简化的DVP接口版本rtl/dvp_interface.v如果摄像头不支持DVP就需要根据传感器的数据手册手写MIPI接收逻辑这部分工作量和难度都不小建议至少预留一周。3.3 管脚约束和时钟规划实操管脚约束文件是xdc格式有几条核心约束值得讲透set_property PACKAGE_PIN R4 [get_ports mipi_data_p[0]] set_property IOSTANDARD LVCMOS18 [get_ports mipi_data_p[0]]MIPI数据引脚设置为LVCMOS18标准配合AC耦合电容就能工作。时钟引脚要单独指定create_clock -name clk_100m -period 10.000 [get_ports sys_clk_p]这里的sys_clk_p是外部输入的100MHz差分时钟MIPI的像素时钟是由这个主时钟通过MMCM分频倍频得到的。我建议把MIPI的byte clock设置为200MHz对应720p4lane像素时钟为75MHz系统算法时钟为150MHz。在准备综合之前务必跑一次report_clock_interaction检查异步时钟域。MIPI接收模块工作在byte clock域算法模块工作在系统时钟域两者之间需要异步FIFO隔离。源码里用了Xilinx的异步FIFO IP如果你换平台也要换成对应的异步FIFO原语或者自己写一个双口RAM加格雷码同步器的方案。3.4 时序收敛的三板斧时序违例是FPGA工程最头疼的问题尤其是在图像流水线这种高频大扇出的设计里。我实际调这个工程时遇到过setup time违例路径主要在肤色分割模块因为每个像素要和上下左右八个邻域像素做混洗取邻居这会导致布线拥塞。三个有效手段流水线插入Retiming在组合逻辑链中间插入寄存器打断关键路径。肤色分割模块的组合逻辑超过6级我在中间加了3级寄存器最高频率从75MHz提升到140MHz。逻辑复制肤色分割要同时输出到连通域和跟踪模块扇出超过200。复制两到三份计算逻辑分别驱动每个模块的扇出降到80以下布线明显改善。模块边界寄存器在模块输出端口强制加一级FF让模块间通信只经过寄存器到寄存器的路径避免跨模块的组合逻辑穿越。实测下来这三个手段组合使用后最差负时序余量WNS从-1.2ns变成0.35ns时序收敛成功。4. 仿真验证与硬件调试实录4.1 仿真验证的测试策略仿真测试是整个项目里性价比最高的环节因为很多问题在仿真阶段发现比上板后找问题有效率得多。测试平台testbench里用了一个image_loader模块能把BMP图片直接读入仿真经过检测、特征提取后输出结果。每张测试图对应一份测试向量包含期望的人脸框坐标和ID仿真后自动比对。有一点值得提醒人脸检测模块需要多帧图像才能稳定输出因为肤色分割和连通域标记有状态依赖。而单帧仿真往往只测一帧测不出跟踪效果。我的做法是在testbench里加一个repeat循环把同一张图连续喂8帧验证跟踪模块的稳定性同时还能测量检测延迟——从帧头有效信号到检测输出有效信号之间经过多少周期。4.2 硬件调试ILA观测内部信号上板调试是另一个大坑。我强烈建议一开始就把ILAIntegrated Logic Analyzer加上不要觉得自己代码没问题。ILA的用法很简单在Vivado里例化一个ila_0 IP把想要观测的信号连上去设置触发条件综合后就能在硬件上抓波形。我调试时最常用的一组ILA信号包括帧同步信号frame_sync、肤色有效信号skin_valid、检测框坐标det_x, det_y, det_w, det_h、特征比对完成信号compare_done、匹配IDmatched_id。触发条件设置成det_x大于某个值这样每次检测到人脸左边缘时ILA就会保存前后一段时间的波形我就能确认检测坐标和实际图像是否一致。曾经遇到过一次问题检测框一直偏左50像素排查后发现是降采样模块的行计数器少打了一拍导致列坐标错位用ILA抓到计数器的波形后一眼就看出来了。4.3 图像输出的三种调试方式硬件调试时如何看到当前处理结果非常关键。源码里给了三种方式VGA/HDMI直出把预处理结果或检测框叠加后的图像输出到显示器最直观但需要额外硬件接口如果开发板没有HDMI就比较麻烦。串口输出坐标把人脸框坐标通过UART打印到PC串口终端代码最简单基本不占资源。我用这种方式配合一张在PC上打开的原始图片做对比也能快速判断检测是否准确。帧缓存回读将处理结果写入DDR3通过PCIe或千兆网口回传到上位机。这种方式最灵活但工程复杂度高很多适用于需要调试特征比对算法的场景。调试时推荐先用串口输出坐标后用VGA叠加图像如果这两个都正常再考虑DDR回读层层递进避免一上来就把问题复杂化。5. 常见问题与排查技巧实录5.1 综合报错 module not found 怎么办很多新手在综合阶段就会卡住最常见的是这种报错[Synth 8-439] module signal_filt not found这个报错的原因是代码里例化了名为signal_filt的子模块但综合器在当前工程里找不到这个文件。排查路径有几个检查rtl目录下是否有signal_filt.v如果没有说明文件没被添加到工程中在Vivado的Sources窗口右键Add Sources把文件加进来。如果文件在但还是报错检查文件是否被include如果模块名和文件名不一致或者文件被放在了其他目录Vivado默认不识别。include指令路径是否正确也是常见问题。如果你的代码里用了“include global_params.v”但是这个文件在另一个目录就需要在Project Settings里设置Verilog Include Path。这个报错的优先级在所有问题里排第一因为不解决它整个工程无法综合。如果你下载下来的源码本身就报这个先看rtl目录里的文件列表和源码的module声明是否一一对应改起来很快。5.2 上电后图像花屏、偏色的处理顺序硬件上电调试第一件碰到的往往就是图像异常。处理顺序我建议按下面这个思路先确认MIPI接收是否有数据看ILA里frame_sync信号是否周期性拉高如果一直是0说明物理层没同步检查MIPI线序、AC耦合电容、IOSTANDARD设置。再确认预处理输出电压是否正确。用ILA观察Y分量平均值如果所有像素值都接近0或255多半是数据位宽和传感器配置不匹配需要核对摄像头寄存器配置时序。然后看色彩是否正常。如果人脸偏蓝或者偏黄重点检查白平衡模块的增益系数以及RGB转YCbCr代码里有无符号运算的错误。最后看检测框是否准确。如果框的位置偏移按上文说的查降采样计数器如果框大小不对查连通域的面积阈值设置。我遇到过最无厘头的问题花屏是因为电源纹波太大FPGA内核电压1.0V上叠加了200mV的纹波导致内部逻辑偶尔翻转加几个去耦电容就解决了。所以电源质量也是排查的重要因素别一上来就怀疑代码。5.3 UART输出乱码的经典误区工程里通过UART输出人脸匹配结果默认参数是115200,8,N,1。如果你串口助手显示乱码第一反应不要怀疑波特率先确认USB转串口模块的TXD和RXD是否接反FPGA的UART_TX应该接串口模块的RXD。经常有人把这两个接反了还纠结半天波特率对不对。另外源码里UART模块发送的是ASCII字符串如果显示的是不可见字符检查代码里是否忘了加换行符或者发送状态机在数据为0x00时提前退出了。最稳妥的做法是在UART发送模块里先发送一个固定测试字符串“FPGA_READY”如果这个字符串显示正常再查数据类型转换否则先排查UART物理层。5.4 如何判断检测算法的效果是否达标很多博客都是调通demo就结束了但我建议你做一个简单的量化评估。用手机拍100张室内场景照片其中50张有人脸50张没有人脸包含纯色墙壁、桌椅等易误检场景转换成BMP格式后在仿真里批量跑一遍统计三个指标检全率有人脸的照片中被检出的比例目标大于90%。误检率没有人脸的照片中被误检的比例目标小于20%。平均检测延迟从帧头到检测结果输出的时钟周期数用来衡量实时性。我实测的结果是检全率约95%误检率约15%在150MHz系统时钟下检测延迟约15ms。这个水平在室内固定光照场景下够用但如果是逆光环境检全率会掉到80%左右这时就需要调大白平衡增益或者加一个简单的直方图均衡化模块这可以作为后续的优化方向。6. 后续扩展思路与工程化建议6.1 从源码到产品化的三步走源码能跑通demo只是第一步要变成可交付的产品我建议按三个层次推进第一层替换摄像头模组和光学设计。现在源码里用的是普通USB摄像头模块实际门禁产品要考虑红外补光、宽动态范围、低照度感光芯片这些硬件方案的差异化代码里的预处理参数也需要跟着调比如IR摄像头下肤色分割的阈值完全不同需要重新标定。第二层增加活体检测。现在的肤色分割很容易被照片欺骗产品级至少要做一个简单的眨眼检测也就是连续几帧里人脸框区域的像素均值是否出现周期性变化实现成本不高但能过滤掉大多数静态照片攻击。第三层接入深度学习加速。如果你想在FPGA上跑CNN做人脸识别建议保留现有的预处理和检测框架只把特征提取和比对模块替换成CNN推理引擎。源码里的接口定义是标准AXI4-StreamCNN加速器可以直接挂在这个总线上这样整个架构的升级路径相当平滑。6.2 我最后想强调的三个教训第一工程源码只是一个起点不要指望拿到源码就能直接上板出结果。环境差异、摄像头型号差异、开发板管脚差异注定你要改一部分代码这是FPGA项目的常态。第二调试工具一定要趁早加。ILA这个工具越晚加越痛苦因为工程越大综合时间越长每次加ILA都要重新综合布局布线白白浪费几个小时。第三给自己留buffer。这个工程里时序收敛、DDR3读写冲突、MIPI信号质量每个问题都不算难但加起来我从第一次上板到最终稳定输出前后花了两周。如果你是在做毕业设计或者公司项目建议至少预留一个月的时间来消化这些坑。6.3 最后一次实战心得最后分享一个细节技巧源码里有一张默认的人脸注册表存的是用MATLAB脚本生成的LBP特征向量。如果你要把自己的脸注册进去不是改源码代码的问题而是需要先用PC端工具把照片转成特征向量再转成Verilog的初始化文件。我在工程里附带了一个python脚本会读入一张人脸图片经过对齐、裁剪、LBP特征提取生成一个可以直接嵌入ROM的coe文件。这个流程打通之后每次换人就不需要改HDL代码了只换一个存储文件就行非常方便。从功能验证到工程落地整个项目做得最值的一件事就是把特征比对模块做成可插拔的这让我后续换算法时不用动顶层结构。希望这套FPGA人脸识别工程源码能让你的开发之旅少翻几个跟头多跑通几个demo加油。本文还有配套的精品资源点击获取
