计算机视觉软件库OpenCV的开发基础介绍

当下人工智能的发展是前所未有的迅猛，而计算机视觉(Computer Vision)无疑是人工智能一个非常重要的分支，计算机视觉的发展也成为了很多科研人员和业界开发人员聚焦的热点。我们常说的无人驾驶、智能安防、人脸识别、文字识别、以图搜图、VR/AR、3D重构等等都是以计算机视觉做为技术基础的应用实践。



在计算机视觉项目的开发中，OpenCV作为最大众的开源库，拥有了丰富的常用图像处理函数库，采用C/C++语言编写，可以运行在Linux/Windows/Mac等操作系统上，能够快速的实现一些图像处理和识别的任务。此外，OpenCV还提供了java、python、cuda等的使用接口、机器学习的基础算法调用，从而使得图像处理和图像分析变得更加易于上手，让开发人员更多的精力花在算法的设计上。

本文主要介绍OpenCV开发的一些基础知识以及入门上手的方法。

1、OpenCV的起源背景

OpenCV诞生于Intel研究中心，其目的是为了促进CPU密集型应用。为了达到这一目的，Intel启动了多个项目，包括实时光线追踪和三维显示墙。一个在Intel工作的OpenCV作者在访问一些大学时，注意到许多顶尖大学中的研究组（如MIT媒体实验室）拥有很好的内部使用的开放计算机视觉库（在学生们间互相传播的代码），这会帮助一个新生从一个很高的起点开始ta的计算机视觉研究。这样一个新生可以在以前的基础上继续开始研究，而不用去从底层编写基本函数。

因此，OpenCV的目的是开发一个普遍可用的计算机视觉库。在Intel的性能库团队的帮助下，OpenCV实现了一些核心代码以及算法，并发给Intel俄罗斯的库团队。这就是OpenCV的诞生之地：在与软件性能库团队的合作下，它开始于Intel的研究中心，并在俄罗斯得到实现和优化（这再一次验证了俄罗斯程序员的卓越之处！）。

俄罗斯团队的主要负责人是俄罗斯人Vadim Pisarevsky，他负责管理项目、写代码并优化OpenCV的大部分代码，在OpenCV中很大一部分功劳都属于他。跟他一起，Victor Eruhimov帮助开发了早期的架构，Valery Kuriakin管理俄罗斯实验室并提供了很大的支持。在开始时，OpenCV就定下了以下三大目标：

（1）为基本的视觉应用提供开放且优化的源代码，以促进视觉研究的发展。能有效地避免“闭门造车”。

（2）通过提供一个通用的架构来传播视觉知识，开发者可以在这个架构上继续开展工作，所以代码应该是非常易读的且可改写。

（3）本库采用的协议不要求商业产品继续开放代码，这使得可移植的、性能被优化的代码可以自由获取，可以促进基于视觉的商业应用的发展。

这些目标说明了OpenCV的缘起。计算机视觉应用的发展会增加对快速处理器的需求。与单独销售软件相比，促进处理器的升级会为Intel带来更多收入。这也许是为什么这个开放且免费的库出现在一家硬件生产企业中，而不是在一家软件公司中。从某种程度上说，在一家硬件公司里，在软件方面会有更多创新的空间。就像华为这样的网络通讯设备公司，与硬件相配套的软件也是非常的强大！

2、OpenCV简介

OpenCV的全称是：Open Source Computer Vision Library。OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它是轻量级的，而且是高效的，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

OpenCV用C++语言编写，它的主要接口也是C++语言，但是依然保留了大量的C语言接口。该库也有大量的Python、Java and MATLAB/OCTAVE的接口。这些语言的API接口函数可以通过在线文档获得。如今也提供对于C#、Ruby等的支持。



OpenCV是一个用于图像处理、分析、机器视觉方面的开源函数库。无论你是做科学研究，还是商业应用，OpenCV都可以作为你理想的工具库，因为对于这两者，它完全是免费的。

同时，由于计算机视觉与机器学习密不可分，该库也包含了比较常用的一些机器学习算法，比如图像识别、机器视觉在安防领域有广泛的应用。但很少有人知道，在航拍图片、街道图片（例如google street view）中，要严重依赖于机器视觉的摄像头标定、图像融合等技术。

近年来，在入侵检测、特定目标跟踪、目标检测、人脸检测、人脸识别、人脸跟踪等领域，OpenCV可谓大显身手，而这些，仅仅是其应用的冰山一角。

如今，来自世界各地的各大公司、科研机构的研究人员，共同维护支持着OpenCV的开源库开发。这些公司和机构包括：微软，IBM，索尼、西门子、google、intel、斯坦福、MIT、CMU、剑桥。

计算机视觉市场巨大而且持续增长，且这方面没有标准API，如今的计算机视觉软件大概有以下三种：

（1）研究代码（慢，不稳定，独立并与其他库不兼容）

（2）耗费很高的商业化工具（比如Halcon, MATLAB+Simulink）

（3）依赖硬件的一些特别的解决方案（比如视频监控，制造控制系统，医疗设备）这是如今的现状。

如果能有一个统一的标准API，将简化计算机视觉程序和解决方案的开发，而OpenCV致力于成为这样的标准API。

OpenCV致力于真实世界的实时应用，通过优化的C代码的编写对其执行速度带来了可观的提升，并且可以通过购买Intel的IPP高性能多媒体函数库(Integrated Performance Primitives)得到更快的处理速度（注：OpenCV 2.0版的代码已显著优化，无需IPP来提升性能，故2.0版不再提供IPP接口）。下图为OpenCV与当前其他主流视觉函数库的性能比较。



3、OpenCV内部构成

OpenCV主体分为五个模块，其中四个模块如下所示：



OpenCV的CV模块包含基本的图像处理函数和高级的计算机视觉算法。ML是机器学习库，包含一些基于统计的分类和聚类工具。HighGUI包含图像和视频输入/输出的函数。CXCore包含OpenCV的一些基本数据结构和相关函数。

目前，OpenCV的最高版本为OpenCV4.3.0。其中OpenCV3.0和OpenCV2.0的版本相比，改动比较大，主要改动如下：

（1）大体上保留了OpenCV 2经典的C++和Python编程接口风格。其中，Python接口大大增强，也加入了Python 3.x的支持。一般来说，以前版本的程序只要做少数修改，就可以使用OpenCV 3了。另外还改善了Java接口，并且加入了MATLAB支持。

（2）架构调整。图片、视频编解码从highgui模块分离出来，组成了imgcodecs和videoio。原先的OpenCL模块ocl事实上与其 它模块融为一体，而CUDA加速模块gpu分解成了数个以cuda开头的模块。此外，除了官方支持的OpenCV代码，还有一些自发贡献的内容、不稳定的 内容，或者版权尚存争议的内容，都放到了新的仓库opencv_contrib中。

（3）更多新算法。新版本包括了TLD、鱼眼镜头模型等全新算法，还包括了一些更高层次可以直接拿来用的高级封装，比如汽车检测等。

（4）引入T-API，使OpenCL加速更容易。目前可以参考OpenCV源代码中T-API的范例。可以发现，开启和关闭OpenCL加速，只需要一个语句就够了。这也就是为什么ocl模块会消失了吧。

（5）更多指令集优化。除了之前为Intel CPU做的优化以外，OpenCV 3还容纳了ARM平台NEON指令集的支持。通过英特尔的帮助，OpenCV 3对x86和x64平台默认使用IPP。下图是OpenCV3.0中部分函数得到加速的示意图。



下面主要介绍OpenCV3.0版本的东西。

OpenCV3.0的sources文件结构：

（1）3rdparty/，包含第三方的库，比如视频解码用的 ffmpeg，jpg、png、tiff等图片的开源解码库。

（2）apps/，包含进行 haar 分类器训练的工具，opencv 进行人脸检测便是基于 haar 分类器。如果你想检测人脸以外的图片，千万不要错过这几个工具。

（3）cmake/，包含生成工程项目时 cmake 的依赖文件，用于智能搜索第三方库，普通开发者不需要关心这个文件夹的内容。

（4）data/，包含 opencv 库以及范例中用到的资源文件，haar 物体检测的分类器位于haarcascades子文件中。

（5）doc/，包含生成文档所需的源文件以及辅助脚本。

（6）include/，包含入口头文件。opencv 子文件夹中是 C 语言风格的API，也就是《Learning OpenCV （第一版）》中描述的API函数，官方将逐渐淘汰 C 风格函数，因此我不推荐大家使用该文件夹中的头文件。opencv2 子文件中只有一个 opencv.hpp 文件，这是 cv2 以及 cv3 推荐使用的头文件。

（7）modules/，包含核心代码，opencv 真正的代码都在这个文件夹中。opencv 从2.0开始以模块的方式组织各种功能，近两年模块的数量增长得很快，后面我会依次介绍每个模块的作用。

（8）platforms/，包含交叉编译所需的工具链以及额外的代码，交叉编译指的是在一个操作系统中编译供另一个系统使用的文件。

（9）samples/，范例文件夹。

常用模块介绍：

（1）androidcamera/，仅用于android平台，使得可以通过与其他平台相同的接口来控制android设备的相机。

（2）core/，核心功能模块，定义了基本的数据结构，包括最重要的 Mat 类、XML 读写、opengl三维渲染等。

（3）imgproc/，全称为 image processing，即图像处理。包括图像滤波、集合图像变换、直方图计算、形状描述子等。图像处理是计算机视觉的重要工具。

（4）imgcodec/，负责各种格式的图片的读写，这个模块是从以前的 highgui 中剥离的。

（5）highgui/，高级图形界面及与 QT 框架的整合。

（6）video/，视频分析模块。包括背景提取、光流跟踪、卡尔曼滤波等，做视频监控的读者会经常使用这个模块。

（7）videoio/，负责视频文件的读写，也包括摄像头、Kinect 等的输入。

（8）calib3d/，相机标定以及三维重建。相机标定用于去除相机自身缺陷导致的画面形变，还原真实的场景，确保计算的准确性。三维重建通常用在双目视觉（立体视觉），即两个标定后的摄像头观察同一个场景，通过计算两幅画面中的相关性来估算像素的深度。

（9）features2d/，包含 2D 特征值检测的框架。包含各种特征值检测器及描述子，例如 FAST、MSER、OBRB、BRISK等。各类特征值拥有统一的算法接口，因此在不影响程序逻辑的情况下可以进行替换。

（10）objdetect/，物体检测模块。包括haar分类器、SVM检测器及文字检测。

（11）ml/，全称为 Machine Learning，即机器学习。包括统计模型、K最近邻、支持向量机、决策树、神经网络等经典的机器学习算法。

（12）flann/，用于在多维空间内聚类及搜索的近似算法，做图像检索的读者对它不会陌生。

（13）photo/，计算摄影学。包括图像修补、去噪、HDR成像、非真实感渲染等。如果读者想实现Photoshop的高级功能，那么这个模块必不可少。

（14）stitching/，图像拼接，可用于制作全景图。

（15）nonfree/，受专利保护的算法。包含SIFT和SURF，从功能上来说这两个算法属于features2d模块的，但由于它们都是受专利保护的，想在项目中可能需要专利方的许可。

（16）shape/，形状匹配算法模块。用于描述形状、比较形状。

（17）softcascade/，另一种物体检测算法，Soft Cascade 分类器。包含检测模块和训练模块。

（18）superres/，全称为 Super Resolution，用于增强图像的分辨率。

（19）videostab/，全称为 Video Stabilization，用于解决相机移动时拍摄的视频不够稳定的问题。

（20）viz/，三维可视化模块。可以认为这个模块实现了一个简单的三维可视化引擎，有各种UI控件和键盘、鼠标交互方式。底层实现基于 VTK 这个第三方库。

Cuda加速模块，cuda 是显卡制造商 NVIDIA 推出的通用计算语言，在cv3中有大量的模块已经被移植到了cuda 语言。

（1）cuda/，CUDA-加速的计算机视觉算法，包括数据结构 cuda::GpuMat、 基于cuda的相机标定及三维重建等。

（2）cudaarithm/，CUDA-加速的矩阵运算模块。

（3）cudabgsegm/，CUDA-加速的背景分割模块，通常用于视频监控。

（4）cudacodec/，CUDA-加速的视频编码与解码。

（5）cudafeatures2d/，CUDA-加速的特征检测与描述模块，与features2d/模块功能类似。

（6）cudafilters/，CUDA-加速的图像滤波。

（7）cudaimgproc/，CUDA-加速的图像处理算法，包含直方图计算、霍夫变换等。

（8）cudaoptflow/，CUDA-加速的光流检测算法。

（9）cudastereo/，CUDA-加速的立体视觉匹配算法。

（10）cudawarping/，实现了 CUDA-加速的快速图像变换，包括透视变换、旋转、改变尺寸等。

（11）cudaev/，实现 CUDA 版本的核心功能，类似 core/ 模块中的基础算法。

4、在VS2013中配置使用OpenCV

了解了OpenCV 的数据结构和功能后，下面介绍OpenCV 的配置，Win7 64 + VSW2013 + OpenCV3.0步骤。

（1）下载安装OpenCV 3.0。下载地址：https://opencv.org/releases/。

（2）配置环境变量：计算机属性->高级系统设置->环境变量->Path->变量值。



（3）配置VS2013。首先打开VS2013建立一个Win32控制台项目。然后，在“项目->工程属性->vc++目录”中，加入包含目录

..\opencv\build\include; ..\opencv\build\include\opencv;

..\opencv\build\include\opencv2。(..代表opencv安装的文件夹目录)



加入库目录..\opencv\build\\x64\vc12\lib。



“项目->工程属性->链接器->输入->附加依赖”中添加附加依赖项。

opencv_ts300d.lib；opencv_world300d.lib



配置完成后，就可以在VS2013中使用OpenCV3.0中的函数了。

5、在VS2013中简单的调用OpenCV

经过以上的基础知识介绍后，就可以进行入门的实践了。在上面配置完成的工程中，来显示一幅幅图片，验证一下是否成功。

在解决方案资源管理器中，打开源文件main.cpp(没有可以自己创建)，添加以下代码

#include<opencv2\opencv.hpp>

using namespace cv;

int main(){

Mat src = imread("lena.jpg"); //图片必须添加到工程目录下

imshow("src ", src);

waitKey();

}

然后点击本地Windows调试器，或者按F5运行程序，程序启动后就可以显示这张图像了，如下：



6、总结

本文简单的介绍了OpenCV的起源和应用领域，以及基本数据结构和组成，可以作为OpenCV开发的一般入门指导。希望能对大家有所帮助。

来源：IT外包

本文仅做学术分享，如有侵权，请联系删文。