手把手：使用OpenCV进行面部合成— C++ / Python

maro_ · 发表于 2024-1-11 08:53:06

点击视频：一分钟告诉你如何进行面部合成

这篇教程将教大家如何用OpenCV做面部合成，把一张脸演变为另外一张脸。

◆ ◆ ◆

图片合成

图片合成首次在电影《Willow》（《风云际会》）中得到大量运用，这是由工业光魔（译者注：Industrial Light and Magic/ILM，电影特效制作公司）开发的一项技术。下面是电影的一个场景片段。

点击视频查看电影片段

这个图片合成背后的想法相当简单。给定两张图片I和J，通过混合而成一张中间图M。图片I和J的混合程度由参数α控制，α的值在0和1之间（0≤α≤1）。当α= 0时，图片M看似I；当α= 1时，图片M看似J。简单来讲，你可以用以下方程在每个像素点（x,y）混合图片

但是，用以上方程（假设α= 0.5）得到的国务卿希拉里•克林顿与参议员特德•克鲁兹的混合图片，是下面这个有点糟糕的结果。

这个混合图片看起来很闹心，但它似乎在向你喊着要解决方案，恳求你无论如何在混合前把眼睛和嘴巴对准。当你想把两位不同政治思想家的观点糅合，如果没有事先统一他们的思想，你会得到同样闹心的结果——这有点离题了。

所以，为了将图片I过渡合成到图片J，我们需要先在两张图片之间建立对应像素点。换句话说，对于图片I中的每一个像素点，我们需要在图片J中找到对应像素点。假设我们已经神奇般地找到了所有对应点，我们可以用两个步骤将图片混合。第一步，我们需要计算合成图片中像素点的位置。可以由以下方程算出

(1)

第二步，我们需要利用以下方程找到像素点的像素强度

(2)

这就是合成过程，我们已经完成了。现在，让我们去给特朗普投票吧！开玩笑的！就像特朗普一样，我省略掉了一些重要的细节。想要在图片I中找到图片J中的每一个对应像素点，就如同在美国和墨西哥之间建10英尺高的墙一样难。当然这不是不可能，只是有点费力不讨好。

但是，找到部分对应点还是比较容易的。想要合成两个相异的物体，比如一张猫的脸和一张人的脸，我们可以点击两张图片中的部分像素点来建立对应关系，对于其余的像素点则采用插值法来得到最终结果。我们接下来会看到面部合成的具体步骤，这种方法可以应用于任意两个物体。

◆ ◆ ◆

面部合成：一步一步来

以下步骤可以合成两张脸。为了简化，我们假定这两张图片大小相同，但实际上这并不必要。

1.用“面部特征检测”找到对应点

让我们从获取对应点开始。首先，我们可以通过检测面部特征点自动（或手工）获得大量像素点。我用dlib库检测到68个对应点。接下来，我手工增加了4个点（1个在右侧耳朵，1个在脖子处，2个在肩膀处）。最后，我增加了图片的角点和边的中点作为对应点。毋庸置疑，在头部和颈部增加越多的点，得到的图片效果就更好；反之，去掉手工点（只剩下自动点），得到的图片效果就要差一些。

2.德洛内三角剖分算法

我们从之前的步骤得到了两个80个点的集合——每个图片有一个集合。我们可以计算出两个集合中对应点的平均值，由此获得一个新的集合。我们在这个均值点集上使用德洛内三角剖分算法。这个算法将返回一个三角形列表，该列表由80个点的数组中点的索引表示（译者注：点的“索引”在此为保存80个像素点坐标文件的行数，即每个数字代表一个点的坐标）。在这个例子中，三角剖分法根据80个点产生了149个三角形。该结果以三列数组的形式保存。以下显示的是数组的前几行。

该列表表示点38，40和37组成了一个三角形，以此类推。三角剖分法的结果显示在下面的图中。

请注意，两张图中的三角形抓取了近乎相似的区域。我们从对应点开始，由于使用了三角剖分，可以得到对应三角（或区域）。

3.图片变形和alpha混合处理

现在，我们具备智能混合两张图片的条件了。正如前文所言，混合的程度是由参数控制的。可以按以下步骤创建一张合成图片。

◆ ◆ ◆

面部合成结果

应用以上技巧合成的结果如下方所示。中间的图片是将左、右两图按50%的比例进行混合。本文的第一个视频展示了使用不同alpha数值的动画。动画可以很好地掩盖合成过程的一些瑕疵；参议员特德•克鲁兹也喜欢这样的小把戏。

大多数面部特征是对准的。但脸部外侧的部分重合得不好，因为在那些区域我们选取的对应点较少。你可以手工增加额外的像素点来修正未对准的部分，以此获得更棒的效果。

图片来源

国务卿希拉里·克林顿和参议员特德•克鲁兹的图片为公共图片。

唐纳德·特朗普的图片获得知识共享署名授权许可。

原文作者的程序链接在此：

https://github.com/spmallick/learnopencv/blob/master/FaceMorph/faceMorph.cpp

我们把主要的程序段放在这里，供大家参考

#include <opencv2/imgproc/imgproc.hpp>

#include <opencv2/highgui/highgui.hpp>

#include <iostream>

#include <fstream>

#include <iomanip>

#include <stdlib.h>

using namespace cv;

using namespace std;

//读取存储在文本文件内的像素点信息

vector<Point2f> readPoints(string pointsFileName)

{

vector<Point2f> points;

ifstream ifs(pointsFileName);

float x, y;

while(ifs >> x >> y)

{

points.push_back(Point2f(x,y));

}

return points;

}

//利用srcTri进行仿射变换计算，把srcTri转换成src

void applyAffineTransform(Mat &warpImage, Mat &src, vector<Point2f> &srcTri, vector<Point2f> &dstTri)

{

//对于给定的一对三角形，找出仿射变换

Mat warpMat = getAffineTransform( srcTri, dstTri );

//应用仿射变换来找到src图像

warpAffine( src, warpImage, warpMat, warpImage.size(), INTER_LINEAR, BORDER_REFLECT_101);

}

//变形和alpha混合三角区域，把img1和img2变成img

void morphTriangle(Mat &img1, Mat &img2, Mat &img, vector<Point2f> &t1, vector<Point2f> &t2, vector<Point2f> &t, double alpha)

{

   //为每个三角区域找出边界

Rect r = boundingRect(t);

Rect r1 = boundingRect(t1);

Rect r2 = boundingRect(t2);

//像素点按各自边界的左上角进行偏移

vector<Point2f> t1Rect, t2Rect, tRect;

vector<Point> tRectInt;

for(int i = 0; i < 3; i++)

{

      tRect.push_back( Point2f( t.x - r.x, t.y -  r.y) );

      tRectInt.push_back( Point(t.x - r.x, t.y - r.y) ); // for fillConvexPoly



      t1Rect.push_back( Point2f( t1.x - r1.x, t1.y -  r1.y) );

      t2Rect.push_back( Point2f( t2.x - r2.x, t2.y - r2.y) );

}

//通过填充三角区域获得图像的遮片

Mat mask = Mat::zeros(r.height, r.width, CV_32FC3);

fillConvexPoly(mask, tRectInt, Scalar(1.0, 1.0, 1.0), 16, 0);

//把变形图像应用到小矩形补丁中

Mat img1Rect, img2Rect;

img1(r1).copyTo(img1Rect);

img2(r2).copyTo(img2Rect);

Mat warpImage1 = Mat::zeros(r.height, r.width, img1Rect.type());

Mat warpImage2 = Mat::zeros(r.height, r.width, img2Rect.type());

applyAffineTransform(warpImage1, img1Rect, t1Rect, tRect);

applyAffineTransform(warpImage2, img2Rect, t2Rect, tRect);

//Alpha混合矩形补丁

Mat imgRect = (1.0 - alpha) * warpImage1 + alpha * warpImage2;

//把矩形补丁的矩形区域复制到输出图像中

multiply(imgRect,mask, imgRect);

multiply(img(r), Scalar(1.0,1.0,1.0) - mask, img(r));

img(r) = img(r) + imgRect;



}

int main( int argc, char** argv)

{

string filename1("hillary_clinton.jpg");

string filename2("ted_cruz.jpg");

//Alpha值决定合成的深度

double alpha = 0.5;

//读取输入图像

Mat img1 = imread(filename1);

Mat img2 = imread(filename2);

   //把Mat转化为浮点数据类型

img1.convertTo(img1, CV_32F);

img2.convertTo(img2, CV_32F);



//清空平均图像矩阵

Mat imgMorph = Mat::zeros(img1.size(), CV_32FC3);



//读取像素点

vector<Point2f> points1 = readPoints( filename1 + ".txt");

vector<Point2f> points2 = readPoints( filename2 + ".txt");

vector<Point2f> points;

//计算平均像素坐标的权重

for(int i = 0; i < points1.size(); i++)

{

      float x, y;

      x = (1 - alpha) * points1.x + alpha * points2.x;

      y =  ( 1 - alpha ) * points1.y + alpha * points2.y;



      points.push_back(Point2f(x,y));



}



//读取三角形索引

ifstream ifs("tri.txt");

int x,y,z;

while(ifs >> x >> y >> z)

{

      //三角形

      vector<Point2f> t1, t2, t;



      //image1的三个角

      t1.push_back( points1[x] );

      t1.push_back( points1[y] );

      t1.push_back( points1[z] );



      //image2的三个角

      t2.push_back( points2[x] );

      t2.push_back( points2[y] );

      t2.push_back( points2[z] );



      //合成图像的三个角

      t.push_back( points[x] );

      t.push_back( points[y] );

      t.push_back( points[z] );



      morphTriangle(img1, img2, imgMorph, t1, t2, t, alpha);



}

//显示结果

imshow("Morphed Face", imgMorph / 255.0);

waitKey(0);

return 0;

}

原文作者 SATYA MALLICK （企业家，博主，加州圣迭戈分校PH.D，TAAZ联合创始人，酷爱计算机视觉和机器学习）

大数据文摘作品，转载需授权

选文：姚佳灵

编译：田晋阳

校对：姚佳灵

往期精彩文章推荐，点击图片可阅读

福利|听课免费,还送礼品:亚马逊云计算AWS在线技术干货52小时

[手把手]教你绘制全球热门航线和客流分布图

手把手：如何用R制作动态图

志愿者团队介绍

大数据文摘后台回复“志愿者”了解如何加入我们

		自动登录	找回密码
密码			注册哦

手把手：使用OpenCV进行面部合成— C++ / Python

本帖子中包含更多资源