|
点击上方蓝字关注我们
关注:OpenCV干货与教程第一时间送达！
欢迎星标或者置顶【OpenCV学堂】
概述
OpenCV4.0深度神经网络模块，支持openface模型的导入，提取人脸的128特征向量，进行相似度比对，实现人脸识别。Openface模型的详细信息看这里
http://www.cv-foundation.org/openaccess/content_cvpr_2015/app/1A_089.pdf
主要原理是基于2015年CVPR的FaceNet网络的论文，去年的时候写过一篇文章介绍过它，想要了解详细信息的点击这里查看即可
OpenCV+Tensorflow实现实时人脸识别演示
主要思路
首先使用OpenCV4.0 DNN模块支持的人脸检测模型，实现对图像或者视频的人脸检测，然后对得到的人脸区域通过openface的预训练模型提取128个特征向量值，基于余弦相似度进行特征值比对，实现人脸识别。完整的流程可以图示如下：
余弦相似公式与解释：
代码实现步骤
01
加载网络
需要先加载人脸检测与openface人脸识别网络模型，代码实现如下：
String modelDesc = "D:/projects/opencv_tutorial/data/models/resnet/deploy.prototxt";
String modelBinary = "D:/projects/opencv_tutorial/data/models/resnet/res10_300x300_ssd_iter_140000.caffemodel";
String facemodel = "D:/projects/opencv_tutorial/data/models/face_detector/openface.nn4.small2.v1.t7";
// 初始化网络
Net net = readNetFromCaffe(modelDesc, modelBinary);
Net netRecogn = readNetFromTorch(facemodel);
这两个模型的下载地址如下：
https://github.com/gloomyfish1998/opencv_tutorial/tree/master/data/models/face_detector
02
设置计算后台
OpenCV支持不同的计算后台，这里我们采用OpenVINO作为计算后台，可以实现加速计算，代码如下：
// 设置计算后台
Net netRecogn = readNetFromTorch(facemodel);
net.setPreferableBackend(DNN_BACKEND_INFERENCE_ENGINE);
net.setPreferableTarget(DNN_TARGET_CPU);
netRecogn.setPreferableBackend(DNN_BACKEND_INFERENCE_ENGINE);
netRecogn.setPreferableTarget(DNN_TARGET_CPU);
// load face data
vector<vector<float>> face_data;
vector<string> labels;
vector<string> faces;
glob("D:/my_faces/zhigang", faces);
for (auto fn : faces) {
vector<float> fv;
Mat sample = imread(fn);
recognize_face(sample, netRecogn, fv);
face_data.push_back(fv);
printf("file name : %s\n", fn.c_str());
labels.push_back("zhigang");
}
faces.clear();
glob("D:/my_faces/balvin", faces);
for (auto fn : faces) {
vector<float> fv;
Mat sample = imread(fn);
recognize_face(sample, netRecogn, fv);
face_data.push_back(fv);
printf("file name : %s\n", fn.c_str());
labels.push_back("balvin");
}
if (net.empty() || netRecogn.empty())
{
printf("could not load net...\n");
return -1;
}
03
人脸检测
通过人脸检测网络实现人脸检测，代码实现如下：
// 输入数据调整
Mat inputBlob = blobFromImage(frame, inScaleFactor,
Size(inWidth, inHeight), meanVal, false, false);
net.setInput(inputBlob, "data");
// 人脸检测
Mat detection = net.forward("detection_out");
vector<double> layersTimings;
double freq = getTickFrequency() / 1000;
double time = net.getPerfProfile(layersTimings) / freq;
Mat detectionMat(detection.size[2], detection.size[3], CV_32F, detection.ptr<float>());
04
人脸比对
把实时检测得到ROI区域与预先加载的人脸样本进行比较，找到距离最小的，如果小于阈值T，即为识别输出结果，解析人脸检测并实现人脸识别的代码如下：
for (int i = 0; i < detectionMat.rows; i++)
{
// 置信度 0～1之间
float confidence = detectionMat.at<float>(i, 2);
if (confidence > confidenceThreshold)
{
int xLeftBottom = static_cast<int>(detectionMat.at<float>(i, 3) * frame.cols);
int yLeftBottom = static_cast<int>(detectionMat.at<float>(i, 4) * frame.rows);
int xRightTop = static_cast<int>(detectionMat.at<float>(i, 5) * frame.cols);
int yRightTop = static_cast<int>(detectionMat.at<float>(i, 6) * frame.rows);
Rect object((int)xLeftBottom, (int)yLeftBottom,
(int)(xRightTop - xLeftBottom),
(int)(yRightTop - yLeftBottom));
if (object.width < 5 || object.height < 5) {
continue;
}
// 截取人脸ROI区域
Mat roi = frame(object);
// 人脸比对，发现相似度最高的
vector<float> curr_fv;
recognize_face(roi, netRecogn, curr_fv);
float minDist = 10;
int index = -1;
for (int i = 0; i < face_data.size(); i++) {
float dist = compare(curr_fv, face_data);
if (minDist > dist) {
minDist = dist;
index = i;
}
}
// 阈值与显示识别结果
printf("index : %d, dist: %.2f \n", index, minDist);
if (index >= 0 && minDist < 0.30) {
putText(frame, labels[index].c_str(), Point(xLeftBottom, yLeftBottom-20),
FONT_HERSHEY_SIMPLEX, 0.5, Scalar(255, 0, 255));
}
rectangle(frame, object, Scalar(0, 255, 0));
ss.str("");
ss << confidence;
String conf(ss.str());
String label = "Face: " + conf;
int baseLine = 0;
Size labelSize = getTextSize(label, FONT_HERSHEY_SIMPLEX, 0.5, 1, &baseLine);
rectangle(frame, Rect(Point(xLeftBottom, yLeftBottom - labelSize.height),
Size(labelSize.width, labelSize.height + baseLine)),
Scalar(255, 255, 255), FILLED);
putText(frame, label, Point(xLeftBottom, yLeftBottom),
FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 0, 0));
}
}
余弦相似比较
float compare(vector<float> &fv1, vector<float> fv2) {
// 计算余弦相似, 0 ~ 1 距离，距离越小越相似，
// 0表示夹角为0°，1表示夹角为90°
float dot = 0;
float sum2 = 0;
float sum3 = 0;
for (int i = 0; i < fv1.size(); i++) {
dot += fv1 * fv2;
sum2 += pow(fv1, 2);
sum3 += pow(fv2, 2);
}
float norm = sqrt(sum2)*sqrt(sum3);
float similarity = dot / norm;
float dist = acos(similarity) / CV_PI;
return dist;
}
运行效果
长太丑，只能打点马赛克
往期精选
OpenCV4系统化学习路线图与教程
OpenCV实现年龄与性别预测
OpenCV4.0 灰度图像彩色化
使用OpenVINO ToolKit 实时推断
OpenCV+Tensorflow实现实时人脸识别演示
对象检测网络中的NMS算法详解
欢迎扫码加入【OpenCV研习社】
原价99元，限时优惠只需69元！
(优惠截止日期：2019年3月31号)
扫码即可加入学习(下载课程代码与资料)！
|
