CNN人脸识别全流程：MTCNN对齐、ArcFace训练与部署-北京尧图网络

简介面向深度学习与人脸识别入门学习者的CNN实战代码包围绕Olivetti人脸数据集提供从模型训练到识别调用的完整可运行示例适合已具备Python基础、希望理解卷积神经网络在人脸分类任务中落地方式的学生与开发者参考。压缩包共4个文件整体约14.64MB以2个Python脚本为主分别承担CNN训练与已训练模型的使用验证另含1个pkl参数文件和1个gif数据集示意文件便于直接加载权重复现实验。已有17754人学习下载说明其在入门级人脸识别实践中具有一定参考价值。读者可据此梳理CNN输入组织、卷积与池化层搭建、训练参数保存及推理调用之间的关系并借助现成的参数文件跳过重复训练快速观察模型在小型人脸数据集上的分类表现为后续迁移到更复杂数据与网络结构打基础。1. 从一张 112×112 的人脸图说起这套 CNN 人脸识别方案能落到什么程度前阵子帮某实验室做一个门禁考勤的原型需求文档上写着“识别率 99%”拿回来的现场照片却是侧脸、逆光、半遮挡各占三分之一。团队最初的做法是找个通用分类网络改最后一层训了两天闭集准确率摸到 96%可一换到“这个人到底在不在库里”这个判断题上就全崩了。问题不在网络深浅在整条链路——检测框抖了几个像素、五点对齐偏了、阈值是拍脑袋定的。这套带完整流程和代码实现的 CNN 人脸识别资源补的正是这段“能训不能上”的空档从人脸检测、五点对齐、轻量卷积主干到损失函数选型、训练评估脚本、推理侧的特征比对一环扣一环。适合三类人想把端到端流程跑通的在校生、做课程设计要交活的、以及要把人脸比对接进业务系统但不想整包吞第三方 SDK 的工程师。2. 先把数据管线立住人脸检测、五点对齐与归一化的三步流水线2.1 为什么 CNN 人脸识别的上限被数据管线锁死很多人拿到人脸数据集第一步就是transforms.Resize((112,112))然后直接喂网络训完发现同一个人的两张照片余弦相似度只有 0.5 出头换一张就认不出。根因很朴素整图缩放的时候人脸在图里占的位置、角度、尺寸全都不一样网络被迫花大量容量去学“人脸可能出现在哪”而不是学“这张脸是谁”。卷积本身的平移等变性只能扛住几个像素的偏移扛不住 30 度的旋转和 40% 的尺度差。所以工业界的常见做法是把人脸识别拆成两段第一段是检测对齐把任意一张图里的人脸抠出来用相似变换拉到固定尺寸的规范姿态第二段才是特征提取网络只负责在已经对齐的 112×112 图上做身份判别。这两段的责任边界非常清晰第一段出问题第二段再深也救不回来。判断管线做得好不好有个很土但很准的指标把同一个人的 20 张不同场景照片过一遍管线看对齐后的眼睛中心坐标方差。做得好的管线左右眼中心基本稳定在 (38, 51) 和 (73, 51) 附近抖动在 1~2 像素内做得差的能飘到 10 像素以上。这个数字直接决定了后面特征距离的可分性属于那种不出问题没人看、出了问题查一天的地方。资源里给的实现是 MTCNN 检测加五点相似变换对齐这条路子在精度和速度之间比较平衡CPU 上一张 640×480 的图大约 30~60ms够用了。2.2 用 MTCNN 做检测和五点对齐代码与阈值怎么调MTCNN 输出的是人脸框加五个关键点左眼、右眼、鼻尖、左嘴角、右嘴角。有了这五个点就能求一个从原图到标准模板的相似变换矩阵把脸“掰正”。标准模板用的是 112×112 上的一组固定坐标这套坐标在开源实现里流通很广直接抄就行。import cv2 import numpy as np from mtcnn import MTCNN # min_face_size 决定最小可检人脸现场图建议 40合影场景调到 20 # steps_threshold 是 P/R/O 三级网络的置信度门限调高漏检增多调低误检增多 detector MTCNN(min_face_size40, steps_threshold[0.6, 0.7, 0.7]) # 112x112 标准五点模板左眼、右眼、鼻尖、左嘴角、右嘴角 REF_POINTS np.array([ [38.2946, 51.6963], [73.5318, 51.5014], [56.0252, 71.7366], [41.5493, 92.3655], [70.7299, 92.2041], ], dtypenp.float32) def align_face(img_bgr, out_size112, expand0.0): 检测最大人脸并做相似变换对齐返回对齐后的图没检测到返回 None rgb cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB) results detector.detect_faces(rgb) if not results: return None # 取面积最大的人脸多脸场景要按业务改成遍历 face max(results, keylambda r: r[box][2] * r[box][3]) x, y, w, h face[box] # expand 用于把框往外扩一点保留发际线和下巴0.1~0.2 比较常见 pad_w, pad_h int(w * expand), int(h * expand) x0 max(0, x - pad_w) y0 max(0, y - pad_h) crop img_bgr[y0:y0 h 2 * pad_h, x0:x0 w 2 * pad_w] # 关键点坐标要跟着裁剪框一起平移 kps np.array(face[keypoints].values(), dtypenp.float32) - [x0, y0] order [left_eye, right_eye, nose, mouth_left, mouth_right] kps np.array([face[keypoints][k] for k in order], dtypenp.float32) - [x0, y0] # 相似变换只允许旋转、缩放、平移不允许错切避免把脸拉变形 M, _ cv2.estimateAffinePartial2D(kps, REF_POINTS, methodcv2.LMEDS) if M is None: return None # 按输出尺寸等比缩放变换矩阵 scale out_size / 112.0 M[:, :2] * scale M[:, 2] * scale aligned cv2.warpAffine(crop, M, (out_size, out_size), borderValue0.0) return aligned这段代码里有两个容易被忽略的点。第一个是estimateAffinePartial2D而不是estimateAffine2D前者自由度是 4旋转、等比缩放、平移后者是 6多了错切人脸是刚体加轻微表情用 6 自由度会把侧脸硬掰成正脸反而破坏特征。第二个是expand参数很多开源实现直接拿检测框裁剪结果额头和下巴被切掉模型学到的特征缺一块陌生人比对时相似度普遍偏高。关键点顺序必须固定MTCNN 返回的是 dict遍历顺序不保证按名字取值别偷懒。另外steps_threshold这三个数不是随便写的第一级是 P-Net 的候选框门限调低会带来大量候选速度掉得厉害后两级是 R-Net 和 O-Net 的精修门限调高会把侧脸、遮挡脸直接筛掉。现场图质量差的时候常见做法是把后两级从 0.7 降到 0.6宁可多留一些误检后面用面积和置信度排序兜底。2.3 归一化、增强与那些不能随便开的开关对齐完只是第一步送进网络之前还有归一化。这里最容易翻车的是训练和推理的预处理不一致比如训练用了(x-0.5)/0.5把像素压到 [-1,1]推理脚本里忘了写直接喂 0~255模型输出全是垃圾但不会报错属于典型的黑匣子问题。import numpy as np def to_tensor_input(aligned_bgr, mean(0.5, 0.5, 0.5), std(0.5, 0.5, 0.5)): 对齐后的人脸图转网络输入BGR-RGBHWC-CHW归一化 img cv2.cvtColor(aligned_bgr, cv2.COLOR_BGR2RGB).astype(np.float32) / 255.0 img (img - np.array(mean, dtypenp.float32)) / np.array(std, dtypenp.float32) return np.transpose(img, (2, 0, 1))[None, ...] # (1,3,112,112)mean和std取 (0.5, 0.5, 0.5) 是最省事的做法也可以用人脸数据集统计出的真实均值但对小样本任务差别不大重要的是训练、验证、推理三处用同一份常量。我一般把这个常量写进配置模块三处都 import 同一个从源头上断掉不一致的可能。数据增强这块要克制。人脸识别的增强和通用图像分类不一样有些操作会直接破坏身份信息增强操作建议幅度说明随机水平翻转p0.5人脸近似左右对称可用但左右脸有痣、疤痕这类特征时慎用随机裁剪缩放后0.9~1.0 比例模拟检测框抖动幅度过大会切掉关键区域亮度/对比度扰动±0.2模拟逆光和室内外光照差边界别超过 0.3随机旋转±15°对齐后仍有残余角度小角度有益高斯模糊σ0~1.5模拟对焦不准和低分辨率摄像头颜色抖动HSV色调 ±10饱和 ±20跨摄像头场景有用单摄像头场景收益有限随机遮挡Cutout面积 10%模拟口罩、手遮挡但遮挡块不能盖住双眼区域翻转这条有争议。理论上人脸近似对称翻转相当于零成本扩一倍数据实际上如果你的人脸库里同一个人左右脸差异明显比如偏分发型、单侧胎记翻转会引入噪声。小样本场景我一般先不开等模型收敛了再打开做微调看验证集 EER 有没有下降下降了就留没变就关掉别把它当默认操作。还有一个隐性的坑对齐失败样本的处理。整批数据里总有 3%~8% 的图检测不到人脸有人图省事直接跳过有人直接拿原图 resize 顶上。前者会让某些身份样本数骤减后者会给网络喂一堆没对齐的脏数据。合理做法是记录失败清单单独过一遍人工或换更宽松的检测参数重跑实在不行的直接剔除并在训练日志里留下剔除比例这个比例高过 10% 就该回头查数据源了。3. 网络主干怎么选从轻量卷积到残差结构以及三种监督信号3.1 轻量卷积主干的搭法为什么不要直接拿分类网络改一个特别常见的操作是torchvision.models.resnet18(pretrainedTrue)改fc输出维度然后开训。在数据量上万、身份数上千的场景下这条路能走但在几百人、每人十几张图的小样本任务上预训练权重的 ImageNet 语义狗、车、椅子和人脸身份语义差得远微调时很容易把浅层特征也带偏。更麻烦的是分类网络最后那层全局池化后接全连接输出维度直接等于身份数一旦新增人员就得重训工程上很难受。资源里给的主干是个轻量的类 ResNet 结构输出 512 维的 embedding 而不是分类 logits新增人员只需要往特征库里加一条向量不用动模型。结构大概是一个 3×3 卷积的 stem后面接四组残差块通道数 64→128→256→512每组之间 stride2 下采样最后全局平均池化加一个 512 维全连接。import torch import torch.nn as nn class ConvBNReLU(nn.Module): def __init__(self, cin, cout, k3, s1, p1): super().__init__() self.block nn.Sequential( nn.Conv2d(cin, cout, k, s, p, biasFalse), nn.BatchNorm2d(cout), nn.PReLU(cout), # 人脸任务上 PReLU 比 ReLU 收敛略稳 ) def forward(self, x): return self.block(x) class BasicBlock(nn.Module): 标准残差块stride2 时用 1x1 卷积做短路分支的降采样对齐 def __init__(self, cin, cout, stride1): super().__init__() self.conv1 ConvBNReLU(cin, cout, 3, stride, 1) self.conv2 nn.Sequential( nn.Conv2d(cout, cout, 3, 1, 1, biasFalse), nn.BatchNorm2d(cout), ) self.shortcut nn.Identity() if stride ! 1 or cin ! cout: self.shortcut nn.Sequential( nn.Conv2d(cin, cout, 1, stride, 0, biasFalse), nn.BatchNorm2d(cout), ) self.act nn.PReLU(cout) def forward(self, x): out self.conv2(self.conv1(x)) out out self.shortcut(x) # 短路分支保证梯度能直通浅层 return self.act(out) class FaceNet(nn.Module): def __init__(self, emb_dim512): super().__init__() self.stem ConvBNReLU(3, 64, 3, 1, 1) self.stage1 nn.Sequential(BasicBlock(64, 64), BasicBlock(64, 64)) self.stage2 nn.Sequential(BasicBlock(64, 128, 2), BasicBlock(128, 128)) self.stage3 nn.Sequential(BasicBlock(128, 256, 2), BasicBlock(256, 256)) self.stage4 nn.Sequential(BasicBlock(256, 512, 2), BasicBlock(512, 512)) self.pool nn.AdaptiveAvgPool2d(1) self.fc nn.Linear(512, emb_dim, biasFalse) self.bn nn.BatchNorm1d(emb_dim) # 输出前加 BN等价于把特征约束到球面上 def forward(self, x): x self.stem(x) x self.stage1(x) x self.stage2(x) x self.stage3(x) x self.stage4(x) x self.pool(x).flatten(1) x self.fc(x) return self.bn(x)参数量大约 5M112×112 输入下单张推理在 CPU 上 8~15msGPU 上可以忽略。通道数从 64 起而不是常见的 32 或 16是因为人脸特征对细节敏感通道太窄在低分辨率下人脸关键区域的表达能力不够实测 32 起始的版本 EER 会高 0.5 个点左右。输出前的那个BatchNorm1d值得单独说一句。它把 embedding 的每一维约束到零均值单位方差等于把特征投影到一个近似球面上后面用余弦相似度比对时更稳定也避免了某些维度数值爆炸主导距离计算。这层在推理时要记得切到 eval 模式否则用 batch 统计量会引入样本间的相互依赖同一个人的相似度会因为同批次其他人不同而变化这个坑非常隐蔽。3.2 残差块与初始化把训不起来的概率压下去网络搭完直接跑十次里有三次 loss 会卡在某个值不动、或者第一轮就 NaN。这类问题八成出在初始化和 BN 上。卷积层用 Kaiming 正态初始化fan_out 模式配合 PReLU 的负斜率这是何恺明那套推导的结论直接抄参数就行import math import torch.nn as nn def init_weights(m): if isinstance(m, nn.Conv2d): # fan_out a0.25 对应 PReLU 默认负斜率 nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityleaky_relu, a0.25) elif isinstance(m, nn.BatchNorm2d): nn.init.ones_(m.weight) nn.init.zeros_(m.bias) # 关键最后一层 BN 的 gamma 初始化为 0让残差块起步时接近恒等映射 elif isinstance(m, nn.Linear): nn.init.normal_(m.weight, 0, 0.01)BN 的momentum默认是 0.1小 batch 场景下建议改成 0.01 甚至更小因为它控制了 running_mean 和 running_var 的更新速度。batch 只有 16、32 的时候每个 batch 的统计量抖动很大momentum 0.1 会让 running 统计量被最近几个 batch 带偏推理时使用这个偏掉的统计量指标直接掉几个点。这个现象的表现是训练时 loss 一路下降eval 模式下的准确率却比 train 模式低 5% 以上看到这个差距就该查 momentum 了。还有一个更隐蔽的做法把每个残差块里最后一个 BN 的 gamma 初始化为 0。这样残差分支的输出起步就是 0整个块等价于恒等映射网络从“什么都不做”开始学收敛更稳。这个技巧在深层网络里是标配浅层网络收益小但没坏处。3.3 Softmax、Center Loss 与 ArcFace三种监督信号的取舍网络输出 embedding 之后怎么算 loss 决定了特征的判别力。最朴素的是把 embedding 接一个全连接分类层用标准 Softmax 交叉熵。优点是简单、收敛快缺点是这样训出来的特征在角度空间里是发散的类内距离没有约束两个人长得像的时候特征会糊在一起。指标上表现为闭集准确率能到 98%但开集验证1:1 比对的 EER 停在 8%~10% 下不去。Center Loss 的思路是给每个身份维护一个类中心除了 Softmax 的分类损失再额外惩罚样本特征到类中心的距离把类内散度压下去。它把 EER 能拉到 5% 左右代价是多了一份类中心参数表而且类中心要跟着训练更新显存和实现的复杂度都上去了。小数据集上这个方案性价比不错。ArcFace 是在角度空间上直接加 margin把样本特征和类中心权重的夹角 θ 加上一个常数 m常见 0.5 弧度约 28.6 度再算 Softmax。直观理解就是“要求同类样本必须靠得比异类更近近出一个 margin 的距离”。这条路子在中等规模数据上是最优解EER 能压到 2%~3%缺点是训练初期收敛慢因为 margin 太大模型一开始什么都学不会。import math import torch import torch.nn as nn import torch.nn.functional as F class ArcFaceHead(nn.Module): def __init__(self, emb_dim, num_classes, margin0.5, scale64.0): super().__init__() self.weight nn.Parameter(torch.empty(num_classes, emb_dim)) nn.init.xavier_normal_(self.weight) self.margin margin # 弧度制0.3~0.5 是常用区间 self.scale scale # 温度系数数据量小调低到 30~40 def forward(self, emb, label): # 特征和权重都归一化夹角余弦等价于球面上的相似度 cos F.linear(F.normalize(emb), F.normalize(self.weight)).clamp(-1 1e-7, 1 - 1e-7) theta torch.acos(cos) # 只在目标类上加 margin其他类的角度不变 one_hot F.one_hot(label, num_classesself.weight.size(0)).bool() target theta.gather(1, label.view(-1, 1)).clamp(min0, maxmath.pi - self.margin) theta_m torch.where(one_hot, target self.margin, theta) logits torch.cos(theta_m) * self.scale return F.cross_entropy(logits, label)margin和scale这两个参数是调参的主要抓手。margin 从 0.3 起步数据量在 10 万张以下建议不要超过 0.4否则前期 loss 基本不降看着像训崩了。scale 控制 logits 的锐度等价于温度小数据集上 30~40 就够调太大会让 loss 数值剧烈波动。有个经验判断训练前 5 个 epoch如果 loss 从 8 降到 5 以下参数基本合理如果一直卡在 8 以上先把 margin 砍到 0.2 试。三种方案的选择不用纠结按数据规模分千人以下用 Softmax 加 Center Loss千到万用 ArcFace margin0.3万以上加大 margin 和 scale。资源里三种实现都给了替换起来就是换个 head 的事。4. 训练循环落地采样策略、混合精度与阈值搜索4.1 Dataset 与 PKS 采样让每个 batch 里都有正负对人脸识别训练和普通分类最大的差别在采样。随机 shuffle 出来的一个 batch 很可能全是不同的人ArcFace 这类基于 margin 的损失需要 batch 内存在同身份的正对来提供梯度否则收敛极慢。常见做法是 PKS 采样每个 batch 选 P 个身份每个身份选 K 张图batch size 就是 P×K。P16、K4 是 64 的 batchP32、K4 是 128 的 batch。P 太小类间信息不够K 太小类内信息不够两者都要照顾到。import random from collections import defaultdict from torch.utils.data import Sampler class PKSSampler(Sampler): 每个 epoch 固定采样 P 个身份、每个身份 K 张图 def __init__(self, labels, P16, K4, seed0): self.P, self.K P, K self.rng random.Random(seed) # 按身份分组记录每张图的下标 self.idx_by_label defaultdict(list) for i, lb in enumerate(labels): self.idx_by_label[lb].append(i) # 样本数少于 K 的身份按有放回处理否则采不满 self.labels list(self.idx_by_label.keys()) def __iter__(self): for _ in range(len(self)): pid_list self.rng.sample(self.labels, min(self.P, len(self.labels))) for pid in pid_list: pool self.idx_by_label[pid] replace len(pool) self.K for i in self.rng.choices(pool, kself.K) if replace else self.rng.sample(pool, self.K): yield i def __len__(self): # 每个 epoch 走 100 个 batch够一轮收敛按数据量调整 return 100 * self.P * self.KDataset 那边没什么特别的返回(tensor, label)就行注意图像用 PIL 读然后用 albumentations 或者 torchvision 做增强别在__getitem__里用 cv2 解码后再转CPU 会成为瓶颈。num_workers设成 CPU 核数的 0.7 倍左右配persistent_workersTrue避免每个 epoch 重建进程池。有个细节增强要在对齐之后做而不是对齐之前。原因是对齐依赖关键点坐标如果先做随机裁剪关键点就对不上了。所以 Dataset 里要么预先把对齐后的图存成图片要么在读图后立刻对齐再做增强。前者快但占磁盘后者省空间但每个 epoch 都要跑一次检测慢 3~5 倍。数据量在 5 万张以下我一般选后者因为调试的时候能随时改增强策略。4.2 训练循环、混合精度与学习率调度训练循环本身不复杂麻烦的是几个开关的配合。混合精度AMP能省 40% 左右显存、提速 20%~30%但 BN 和 loss 里涉及 acos、cos 这些运算必须在特定位置保持 fp32否则数值精度不够会导致 loss 抖动。import torch from torch.cuda.amp import autocast, GradScaler def train_one_epoch(model, head, loader, optimizer, scaler, device, epoch, warmup3): model.train() head.train() total_loss, n 0.0, 0 # warmup 余弦退火前 3 个 epoch 线性爬升避免一上来大学习率炸掉 base_lr 0.1 if epoch warmup: lr base_lr * (epoch 1) / warmup else: lr 0.5 * base_lr * (1 math.cos(math.pi * (epoch - warmup) / (total_epochs - warmup))) for g in optimizer.param_groups: g[lr] lr for imgs, labels in loader: imgs, labels imgs.to(device, non_blockingTrue), labels.to(device, non_blockingTrue) optimizer.zero_grad(set_to_noneTrue) with autocast(enabledscaler is not None): emb model(imgs) # (B, 512) loss head(emb.float(), labels) # head 内部有 acos必须用 fp32 if scaler is not None: scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(list(model.parameters()) list(head.parameters()), max_norm5.0) scaler.step(optimizer) scaler.update() else: loss.backward() torch.nn.utils.clip_grad_norm_(list(model.parameters()) list(head.parameters()), max_norm5.0) optimizer.step() total_loss loss.item() * imgs.size(0) n imgs.size(0) return total_loss / max(n, 1)几个参数的含义得说清楚。emb.float()这一句不能省AMP 下模型输出是 fp16直接送进 ArcFace 的acos会得到大量 NaN因为 acos 在 ±1 附近对精度极其敏感。梯度裁剪max_norm5.0是保险丝ArcFace 训练初期梯度范数容易冲到几十不裁的话一次就废掉。warmup 3 个 epoch 是经验值数据量小可以缩到 1。优化器用 SGD momentum0.9、weight_decay5e-4或者 AdamW lr1e-3、wd5e-2。SGD 收敛慢但最终指标略好AdamW 快但对超参敏感。课程设计这种要快速出结果的场景我一般用 AdamW 起步跑通了再换 SGD 精调。一个容易被忽略的点是set_to_noneTrue它比zero_grad()省一次显存写操作在 batch 大、模型大的时候能省 5% 左右显存代价是某些依赖梯度张量存在的自定义操作会报错用之前先跑一遍确认。4.3 评估不能只看准确率ROC、EER 与阈值搜索训练日志里打印的 Top-1 准确率是闭集指标意思是“库里的人一定能被认出来是哪一个”它衡量不了“陌生人能不能被拒掉”。门禁、考勤、支付这类场景真正关心的是开集指标。评估方法很简单取验证集每张图过网络拿 embedding两两算余弦相似度同一身份的样本对记为正对不同身份的记为负对然后扫阈值画 ROC取 FARMAR 的那个点就是 EER。import numpy as np from sklearn.metrics import roc_curve def eval_open_set(embs, labels, far_target1e-3): embs: (N,512) 已 L2 归一化labels: (N,) sim embs embs.T n len(labels) iu np.triu_indices(n, k1) sim_pairs sim[iu] label_pairs (labels[iu[0]] labels[iu[1]]).astype(np.int32) fpr, tpr, thr roc_curve(label_pairs, sim_pairs) eer_idx np.nanargmin(np.abs(fpr - (1 - tpr))) eer (fpr[eer_idx] (1 - tpr[eer_idx])) / 2 # 业务阈值按目标误接受率 FAR 反查常见取 1e-3 或 1e-2 idx np.searchsorted(fpr, far_target) return float(eer), float(thr[min(idx, len(thr) - 1)]) # 调用示例 emb torch.nn.functional.normalize(all_embeddings, dim1).numpy() eer, thr_at_far eval_open_set(emb, np.array(all_labels), far_target1e-3) print(fEER{eer:.4f}, 阈值FAR0.1% 为 {thr_at_far:.4f})阈值这个词值得多说两句。很多人直接拿 0.5 当“是/不是同一个人”的分界线这在余弦相似度上完全不对。ArcFace 训出来的特征同一个人的相似度通常在 0.6~0.9不同人在 0.1~0.4中间那条线在哪取决于你的数据分布和 margin 大小必须用验证集反查。而且这个阈值和业务强相关考勤可以容忍 1% 的误拒支付场景 FAR 必须压到万分之一以下同一份模型对应两个完全不同的阈值。评估集本身也有讲究要保证身份不重叠训练集里的人不能出现在验证集里但同一个人可以有多张不同的图在验证集内用来构造正对。如果有人把同一张图既放训练又放验证闭集准确率能冲到 99.9%上线就露馅这个坑下面单独说。5. 避坑与排查人脸识别上线前最容易翻车的五个地方5.1 数据侧身份泄漏造出来的假高准确率现象验证集准确率一路涨到 99.2%看起来非常漂亮但部署到门禁机上同事换个发型就认不出来了陌生人被误认的概率也高得离谱。原因拆训练验证集的时候按图片随机打乱而不是按身份打乱。同一个人的不同照片分散在两边模型在训练时已经见过这张脸验证时等于在做闭卷考试的翻书题。更隐蔽的一种是数据集本身采集自视频相邻帧几乎一模一样随机切分必然泄漏。解决切分必须以身份为单位先按 label 分组再整体分到训练或验证。同一身份的图片数量少于 5 张时考虑把整个身份从验证集剔掉否则正对样本太少EER 估不准。切完做个自检统计训练集和验证集的 label 交集必须是空集。这个检查写进训练脚本的入口跑一次就两行代码能省掉后面几天的困惑。5.2 训练侧小 batch 撞上 BatchNorm 的连锁反应现象训练 loss 稳定下降验证 loss 在第一轮之后开始上升eval 模式下指标比 train 模式低 8 个点以上怎么调学习率都没用。原因batch size 只有 16 或 32BN 层用当前 batch 算出来的均值方差抖动很大配合默认 momentum0.1running 统计量被最近几个 batch 主导。推理时用这个偏掉的统计量做归一化特征分布和训练时完全对不上。这个问题在 PKS 采样下更容易出现因为一个 batch 里只有 P 个身份样本分布本身就偏。解决三选一。把 momentum 从 0.1 降到 0.01让统计量平滑更新或者把 BN 换成 GroupNorm它对 batch 大小不敏感代价是大 batch 下指标略低或者干脆把 batch size 拉到 128 以上。我一般先降 momentum不够再换 GroupNorm最后才考虑加显存。判断改没改对看 train 和 eval 模式的指标差距压到 2 个点以内基本就正常了。5.3 评估侧闭集指标好看开集指标塌方现象验证集 Top-1 有 98%但产品经理拿着两张不同人的照片来问“为什么说他们是同一个人”一查相似度 0.72。原因只训了 Softmax没有 margin 约束类内散度大、类间间隔小。模型学到的是“在已知的这些人里分对”而不是“把不同人的特征推开”。另外阈值也是拍的没在验证集上做过 FAR 反查。解决先把 loss 换成 ArcFace 或加 Center Loss重训一轮看 EER 有没有下降然后在验证集上按目标 FAR 反查阈值把阈值写进配置而不是代码里。上线前做一个必做的检查拿 100 对不同人的照片算相似度看有多少超过阈值这个数就是实际误接受率和验证集算出来的对不上就说明数据分布变了。5.4 推理侧预处理不一致导致的“模型坏了”现象训练脚本里验证集 EER 2.3%导出模型接到服务里同一个人比对相似度只有 0.4看起来像模型没加载对或者权重坏了。原因训练时用 BGR 读图、转 RGB、除以 255、再减均值除方差推理服务里用的是另一套预处理可能是 PIL 读的 RGB 直接送进去没归一化也可能是对齐模板的坐标系和训练不一样112 和 96 混用还可能是 OpenCV 的warpAffine和训练时的实现有半像素偏移。解决把预处理写成一个独立的函数训练和推理共用同一份代码不要各写各的。导出模型的时候顺手存一份对齐后的样例图和一个参考 embedding服务起起来先跑这张图相似度对不上 0.99 就拒绝启动。这个自检逻辑我在几个项目里都加了属于后悔药装上之后排查时间从半天缩到五分钟。5.5 部署侧特征库更新和阈值漂移现象系统上线三个月新入职的同事录入之后识别率正常老员工的识别率却在缓慢下降尤其是夏天和冬天差别明显。原因人脸会变——体重、发型、是否戴眼镜、光照季节变化。特征库里存的还是入职那天的照片和当前真实人脸的距离在慢慢拉大。同时阈值是上线时定死的没跟着数据分布调整。解决给每个身份在特征库里存 3~5 条不同时期、不同场景的向量比对时取最大相似度而不是平均值这样新照片进来就能覆盖旧状态。定期比如每季度用最近采集的真实样本重算一次 FAR 曲线阈值跟着挪。这套机制不需要重训模型只是工程侧的维护动作但能挡住大部分“越用越不准”的投诉。6. 推理侧收口把 512 维向量变成能查的库训练完只是拿到一个特征提取器真正上线要解决的是“怎么在一堆向量里找最像的那个”以及“多少分算匹配”。先说导出。PyTorch 的模型直接跑推理没问题但服务端如果是 C 或者要跨进程ONNX 是更省心的选择。导的时候注意动态 batch 轴以及把 BN 层折叠进卷积torch.onnx.export时开do_constant_foldingTrue再跑一遍onnxsimimport torch import onnx import onnxsim model.eval() dummy torch.randn(1, 3, 112, 112) torch.onnx.export( model, dummy, face_embed.onnx, input_names[input], output_names[embedding], dynamic_axes{input: {0: batch}, embedding: {0: batch}}, # 支持变长 batch opset_version12, do_constant_foldingTrue, ) # 简化计算图顺手把 BN 折进卷积单张推理能快 10%~15% m onnx.load(face_embed.onnx) m_sim, ok onnxsim.simplify(m) assert ok, 简化失败检查是否有不支持的自定义算子 onnx.save(m_sim, face_embed_sim.onnx)导出之后必须做数值对齐验证同一批输入PyTorch 和 ONNX Runtime 的输出余弦相似度要在 0.999 以上。低于这个值通常是某个算子的实现差异重点查 PReLU 和最后的 BN1d这两个最容易在转换时出偏差。特征库这边几百到几万条向量用 NumPy 暴力算就够512 维 × 1 万条的内存占用约 20MB一次全量比对在 CPU 上是毫秒级。超过十万条再考虑 FAISS 的 IVF 索引但小规模场景上索引反而增加复杂度和召回损失没必要。存储用归一化后的 float32比对时做一次矩阵乘法取 argmax几行就写完了import numpy as np class FaceGallery: def __init__(self, dim512): self.embs np.zeros((0, dim), dtypenp.float32) self.ids [] def add(self, emb, uid): emb emb / np.linalg.norm(emb) # 入库前归一化后续直接点积即余弦 self.embs np.vstack([self.embs, emb[None, :]]) self.ids.append(uid) def search(self, emb, threshold0.42): emb emb / np.linalg.norm(emb) sims self.embs emb idx int(np.argmax(sims)) if sims[idx] threshold: return None, float(sims[idx]) # 低于阈值判为陌生人 return self.ids[idx], float(sims[idx])threshold这个数不能照抄必须用第 4 章那套 FAR 反查的流程在本项目的验证集上标定。同一份模型换一批摄像头、换一个光照环境阈值都要重标一次这不是模型的问题是数据分布变了。多张底库照片的情况改成search里按 uid 分组取组内最大值代码多两行效果比取平均好不少。最后说个我自己的习惯。每次交付前我都会强制走一遍“三张图”检查一张训练集里的人脸、一张同一个人不同时期的照片、一张完全不相干的人脸。跑一遍完整推理链路看前两张相似度是否高于阈值、第三张是否低于阈值再对照日志里的耗时。这套流程看起来土但它能挡住配置未加载、阈值写反、预处理不一致这一类最蠢也最费时间的问题。从那以后我每次换模型、换机器、改预处理都强制走一遍没再出现过服务起起来看着正常、实际全错的情况。希望帮到你。本文还有配套的精品资源点击获取

CNN人脸识别全流程：MTCNN对齐、ArcFace训练与部署

相关推荐

交通银行江苏省分行试水词元贷：不押厂房给两家工厂批了6200万

18｜DeepSeek Harness研究资料更新后，怎样找出还引用旧证据的笔记？

国家发改委推AI全周期治理：上线备案不够了，算力数据也得备查

更多资讯

从MOS平方律曲线理解gm、ro、本征增益与设计避坑

Android剧院购票APP开发实战：MVVM架构与选座系统设计

并查集解决情侣牵手问题：算法与实现

GLM4源码包部署实战：从解压配置到OpenAI兼容服务

模拟CMOS平方律曲线全链路：Cox、工作区、gm与ro

Oracle迁移KingbaseES实战指南与优化策略

今日更新

GUI自动化测试中的ScreenLayout：从硬编码坐标到声明式画面地图

LLC谐振变换器12V25A 300W开关电源设计与调试全攻略

ESP32多应用Flash数据隔离：分区表与NVS namespace实战

本周精选

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？