|
重磅干货，第一时间送达
摘要：三维视觉技术是智能机器人的一个热点研究方向，它是智能机器人进行环境感知和实现复杂任务的基础。本文围绕智能制造环境，介绍了机器人三维视觉技术的国内外研究现状及热点研究问题，阐述了它目前在智能制造中的应用，最后对机器人三维视觉技术的未来研究方向进行了探讨。
关键词：三维视觉；智能制造；智能机器人
1 引言
随着《新一代人工智能发展规划》等国家发展战略的提出与实施，国家大力推进智能制造与机器人技术。机器视觉是智能机器人的一个关键技术，可以实现工业现场的环境感知、视觉定位、伺服驱动控制、零件检测等作业任务。机器人二维视觉技术在多种制造场合已得到了应用，技术上也较成熟，随着智能制造技术的发展，需要通过三维视觉使得机器人在复杂场景下自主完成作业任务。三维视觉技术能够有效提高智能机器人对环境的感知和适应能力，其在智能制造的产品质量检测、视觉驱动控制等领域有广泛的应用前景。
本文阐述了机器人三维视觉技术的国内外研究现状，以及语义分割、三维特征提取、三维目标识别与定位及三维环境感知等热点研究问题。在此基础上，对机器人三维视觉技术在产品质量检测、视觉伺服控制等智能制造领域的应用现状进行重点阐述。最后介绍了作者团队在机器人三维视觉技术方面的研究成果并对机器人三维视觉技术未来的研究方向进行了展望。
2 机器人三维视觉研究现状
机器人三维视觉按结构主要有立体视觉法，结构光法和激光扫描法等，本节对这三类三维视觉技术分别阐述其研究现状。
2.1 立体视觉法
立体视觉法模仿人类视觉系统的距离估计和3D重建过程，利用两个（或多个）存在一定距离或夹角的摄像机对同一物体或场景采集图像数据，并根据空间点在各图像上对应的投影点与摄像机的基本矩阵（Fundamentalmatrix）的线性关系来计算该空间点的3D坐标，以获取物体或场景的3D信息[1]，其原理图如图1所示。立体视觉法主要包括图像获取、摄像机标定[2]、图像匹配[3]和3D重建[4]等过程，其中图像匹配是立体视觉中至关重要的核心问题，它也是立体视觉中最困难的问题。立体视觉法具有精度合适、系统结构简单和成本低等优点，但由于立体视觉中图像获取过程易受阴影和光照条件等因素的影响，无法稳定、可靠地提取图像中的特征信息，通常图像匹配过程的计算量较大并且难以获得准确的图像匹配结果，因而限制了立体视觉法在复杂场景感知中的应用。
图1 立体视觉法测量原理图
2.2 结构光法
结构光法是一种由可控光源和摄像机构成的3D信息测量技术，其基本思想是将具有特定结构模式（Structuredpattern）的光源投射到被测物体表面产生光条纹，根据摄像机捕获的物体表面光条纹的模式变形来获取物体表面3D信息[5,6]。结构光法根据光源产生的光条纹的不同，可以分为点结构光法、线结构光法、多光条结构光法和面结构光法等，其中线结构光法将激光扫描线投射到物体表面，并根据摄像机捕获的物体表面激光轮廓线的变形，直接计算轮廓线上各点的3D坐标，其测量原理示意图如图2所示。由于线结构光法的光学和机械结构较简单，并且其测量的鲁棒性较高，因此线结构光法为常用的结构光测量方法。陈云赛等人[7]针对因海底场景噪声及声学散射影响导致声呐方法无法实现高精度的海底探测问题，提出了一种基于线结构光的扫测系统，该系统结合多阈值算法和基于极值法的高斯拟合法实现条纹中心线提取，并利用共线点的快速标定法实现系统参数的标定和高精度的海底快速测扫，从而实现水下目标的扫描定位。
图2 线结构光法测量原理图
结构光法具有原理简单、易于实现和测量精确高等优点，但由于结构光法需要对光照进行严格控制，对于反射特性较敏感的场景目标表面，如表面对结构光存在完成吸收、镜面反射以及透射等情况时，结构光法将难以获取物体表面精确的3D信息，严重时会导致结构光法测量系统无法正常工作，从而难以应用于复杂场景的感知。
2.3 激光扫描法
激光扫描法根据其激光测距原理的不同，可以分为激光三角法（Laser triangulation）、飞行时间法（Time-of-flight）和相位调制法（Phasemodulation）三种类型[8,9]，其中前两种方法的测距原理如图3所示。根据上述的激光测距原理，通过增加相应的2D或3D扫描装置，使得激光光束能够扫描到整个被测物体表面，则可以获得物体表面的3D点云数据。蔡云飞等人[10]针对非结构化场景的负障碍感知问题，提出了一种基于双多线激光雷达的感知方法，该方法将雷达点云映射到多尺度栅格，通过统计栅格的点云密度与相对高度等特征，以提取负障碍几何特征，并将栅格统计特征与负障碍几何特征进行多特征关联获得关键特征点对，利用特征点聚类识别负障碍。
图3 激光扫描法测量原理
激光扫描法具有能直接获取测量点精确三维坐标，对阴影和光照变化不敏感，测量过程几乎不受被测表面纹理特征影响，以及扫描测量视场范围大等优点，但由于激光扫描法从形状相似或距离较近的目标所获取的点云数据相似度高，对此情况下的扫描目标难以进行有效识别，实现该类目标的精度感知，从而一定程度上限制了基于激光扫描法的场景感知方法的应用范围。
3 机器人三维视觉热点研究问题
本节对机器人三维视觉中语义分割、三维特征提取、三维目标识别与定位、三维环境感知等热点研究问题进行阐述。
3.1 语义分割
语义分割是根据图像、深度图像或三维点云等类型数据中每一个点（像素点或三维点）所表达的语义内容对其进行语义类别分类的技术。其中，以二维图像为数据源的语义分割称为图像语义分割[11,12]。本文主要讨论基于三维点云数据的语义分割，包括基于聚类、模型参数拟合或区域生长等传统的三维点云语义分割方法，以及基于深度学习的三维点云语义分割方法。
（1）传统的三维点云语义分割
Schnabel等人[13]通过在局部范围内选取用于平面参数估计的随机点，来简化得分函数（Scorefunction）的计算，以提高RANSAC（Randomsampleconsensus）方法的点云平面检测效率，但是对于大规模三维点云数据，其计算效率仍很低。王帅等人[14]提出了一种基于混合流形谱聚类的自适应点云分割方法，该方法将点云分割的几何特征在谱空间进行降维嵌入，利用N-cut方法得到描述点云分割特征的多维向量，在此基础上，结合类间、类内划分算法实现点云自适应分割。传统的三维点云语义分割结果需要进行相应的语义标注才能够得到最终的语义分割结果，从而影响了语义分割的效率。
（2）基于深度学习的三维点云语义分割
Charles等人[15]于2017年提出了PointNet，其直接采用原始点云作为深度神经网络的输入，为目标分类、部分分割和场景语义分析提供了一个统一的体系结构，但其未考虑点云局部特征提取，减弱了其识别细粒度模式能力和对复杂场景泛化能力。为此，该团队随后提出了一种分层网络PointNet++[16]，通过对点云进行采样和区域划分，在各个小区域内利用PointNet网络进行迭代特征提取，以融合点云的局部和全局特征，通过全连接层预测点云中各点的语义标签。彭秀平等人[17]提出了一种散乱点云语义分割深度残差－特征金字塔网络框架，以提高基于深度学习的散乱点云语义分割的精度和可靠性。
3.2 三维特征提取
机器人三维视觉中三维特征提取是从图像或点云数据中获取能够反映环境本质属性的特征信息的过程，它是实现三维目标识别与定位、环境感知等任务的基础。三维特征可以是空间直线、空间平面、二次曲面、自由曲线和自由曲面等。Cao等人[18]提出了一种基于张量投票的点云中尖锐特征提取算法，林洪彬等人[19]提出了一种基于多尺度张量分解的点云结构特征提取算法，用于构建点云结构特征曲线，张靖等人[20]提出了一种基于马尔科夫随机场的散乱点云特征提取方法，根据全局能量的变化自适应提取点云中的特征点。现有的特征提取算法通常只能提取某一特定类型的特征，目前还很少有报道适用于多种环境特征类型的通用三维特征提取算法。
3.3 三维目标识别与定位
三维目标识别与定位是一个从场景扫描数据中对三维目标进行识别并获取其位姿参数的过程，它是环境感知领域的重要研究内容。
（1）基于模型的方法
Johnson等人[21]提出了一种基于旋转图像（Spin-image）的三维目标描述和识别方法，该方法通过对支持区域大小控制，抑制杂乱背景和遮挡的影响，由于物体表面三维点由其局部邻域表面的二维旋转图像来描述，因此该方法对三维点云的分辨率很敏感。张凯霖等人[22]提出了一种基于法矢改进点云特征C-SHOT的三维物体识别方法，该方法在精确估计点云法向量的基础上，根据特征点处法向量与邻域法向量的夹角余弦构造点云形状直方图，统计点云纹理直方图并与形状直方图融合成C-SHOT描述符，再对场景与模板分别提取C-SHOT特征，利用特征匹配方法实现多目标识别，但该方法的特征提取过程计算复杂度较高，难以实现高效实时的多目标识别。
（2）基于外观（Appearance-based）的方法
Magnusson等人[23]提出了一种基于外观的位置识别方法，该方法利用正态分布变换（NormalDistributionsTransform，NDT）将扫描表面描述为分段连续函数，根据表面方向和平滑度生成的特征直方图对位置进行描述，从而通过扫描数据和样本数据之间的特征直方图匹配实现位置的识别。庄严等人[24]提出了一种将三维点云转换为二维BearingAngle（BA）图，并采用AdaBoost变体Gentleboost算法来提高室内三维场景物体识别和认知准确率的方法，该方法利用BA图中物体碎片及其相对于物体中心的位置作为特征，利用基于Gentleboost算法的监督学习方法，实现室内场景中物体识别和认知。基于外观的方法通过扫描点云和不同位姿下三维目标样本数据的匹配实现目标的识别与定位，对于多个目标的精确识别与定位问题，其训练样本数通常很大，从而导致在线识别与定位过程的计算量很大。
3.4 三维环境感知
三维环境感知是智能机器人利用其传感器对所处环境进行环境信息的获取，并提取环境中有效的特征信息加以处理和理解，最终通过建立所在环境的模型来表达所在三维环境的信息。任何一种智能机器人，要实现在未知三维环境下的自主作业，都必须以有效而可靠的三维环境感知为基础。
（1）基于单一传感器的三维环境感知
张辉等人[25]提出了一种基于随机光场照射的稠密像点区域匹配算法，用于实现双目立体视觉系统中的物体3D点云测量。Cong等人[26]针对杂波背景下实时3D目标检测和6自由度姿态估计问题，提出了一种在线3D目标检测和姿态估计方法来克服无纹理目标的自遮挡问题，以实现各种金属零件的3D目标识别与定位。由于单一传感器对场景的观测角度单一，难以满足复杂场景精确感知的要求，为此一些研究已经采用多传感器、多模态来解决复杂场景感知问题。
（2）基于多传感器的三维环境感知
Cho等人[27]提出了一种基于多传感器数据实时融合和分析的3D目标重建方法，该方法由3D和2D数据分割方法、应用于每个目标的3D重建方法和投影纹理映射方法所组成。任秉银等人[28]提出了一种基于Kinect传感器和目标计算机辅助设计（ComputerAidedDesign，CAD）模型的不同目标自动识别和3D位姿估计方法，以提高非结构场景下目标识别准确率和位姿估计精度。由于智能机器人所处的操作场景非常复杂、并具有动态特性，不同传感器存在采样分辨率、采集速度、数据源可靠性等方面的差异，所采集到的多模态数据通常具有复杂的动态特性、数据不一致和缺失等问题，这些问题均增加了基于多种异类传感器的复杂场景感知方法的难度，从而给机器人多传感器的融合感知带来了巨大的挑战。
4 机器人三维视觉在智能制造中的应用
4.1 制造过程的产品质量检测
产品质量检测是整个智能制造过程中的关键环节，它是保证产品质量的重要基础。与传统的三坐标测量机相比，三维视觉技术能够实现工业产品无损、高效和实时的测量与检测，因此其已广泛应用于制造过程的产品质量检测领域。Mahmud等人[29]提出了一种基于激光扫描仪的机械零件尺寸和几何信息的测量方法，该方法能够根据零件的几何规格对激光扫描仪的扫描路径进行规划，以保证扫描过程的测量精度。乔景慧和李岭[30]将图像处理技术应用于自动化装配生产线，对电视机背板质量进行在线检测，即使用图像模板匹配方法确定当前背板的型号和检测当前背板的品质，如图4所示。陈允全等人[31]针对传统模拟量检测无法满足飞机大型结构点的外形测量需求，而单独的数字化测量设备和方法又难以实现大尺寸和复杂结构的测量等问题，构建了如图5所示的由工业机器人和激光跟踪仪组成的自动化扫描系统，将大型结构的测量结果与理论数模比较以分析大型结构的误差信息，从而实现大型结构的检测。1-CCD工业相机；2-步进电机；3-机器人末端安装板；4-第1平移装置；5-第2平移装置；6-第3平移装置；7-工业吸盘；8-距离传感器。
图4 电视机背板自动检测与抓取平台[30]
（a）机器人扫描系统组成
（b）试验现场图
图5 飞机大型结构点外形测量扫描系统[31]
4.2 机器人视觉伺服控制
随着智能制造领域作业复杂程度和环境非结构化程度的不断增加，需要引入视觉伺服控制，将机器人视觉与机器人、精密运动控制系统形成闭环控制，以提高机器人的作业精度和智能程度[32]。视觉伺服控制根据控制策略的不同，可以分为基于位置的视觉伺服控制[33,34]，基于图像的视觉伺服控制和混合视觉伺服控制[35]。王麟琨等人[36]提出了一种协调焊枪运动和视觉跟踪的视觉伺服控制方法，用于工业机器人自动跟踪曲线焊缝。孙敬陶等人[37]通过欧几里得单应性矩阵分解设计出旋翼飞行机械臂系统的混合视觉伺服控制方法，在图像空间控制平移、笛卡尔空间控制旋转,减弱了平移与旋转之间的相互影响实现解耦效果，改善了系统对非结构因素的抗扰性能和全局稳定性。吴迎年和杨弃[38]针对智能制造生产线中的机器人抓取需求，以视觉伺服控制系统为基础，设计并构建了视觉伺服数字孪生系统以实现数字模型与物理模型的信息同步、互操作以及数字模型对物理模型状态的预测，其视觉伺服系统结构图如图6所示。
图6 基于信息物理系统的视觉伺服系统结构图[38]
5 未来研究方向
结合智能制造领域中机器人三维视觉技术自身存在的问题和目前研究的现状，本文认为未来智能制造领域的机器人三维视觉技术的研究方向主要有：
（1）三维视觉成像技术及传感器方面。现有的立体视觉法、结构光法和激光扫描法等三维视觉成像技术仍难以满足复杂的智能制造环境的要求，为此，以智能制造需求为导向，进一步研究与智能制造生产线相匹配的三维视觉成像技术并开发相应的三维视觉传感器。
（2）三维视觉技术的鲁棒性问题。由于智能制造环境中光照、阴影等因素的变化，这些将会对语义分割、三维特征提取、三维目标识别与定位、三维环境感知等的准确率和精度产生影响，为此，以智能制造需求为导向，进一步研究鲁棒的三维视觉处理方法。
（3）视觉伺服智能控制问题。由于智能制造设备的多样性，除了传统的六自由度关节式机器人，还有并联机器人、柔性机器人等，为此，需要研究视觉伺服智能控制，以满足不同智能制造设备的需求，实现高速高精度控制。
（4）三维视觉系统的可移植性和适应性问题。由于智能制造环境的复杂性及机器人装备的多样性，目前的三维视觉系统难以应用于多种制造环境，为此，需要进一步研究模块化、可重构的三维视觉平台，以提高智能制造装备对制造环境的可移植性和适应性。
6 研究团队在三维视觉技术方面取得的成果
本课题组在三维点云数据获取、平面特征提取和三维目标定位等方面开展了一系列的工作，并将相关算法应用于产品质量检测、大型构件再制造和智能生产线等智能制造领域。
第一，在三维视觉技术方面：提出了基于伪Huber函数的三维激光扫描仪的鲁棒标定算法，以获取机器人扫描场景的精确三维点云数据；提出了基于多维粒子群优化（Particle Swarm Optimization，PSO）的散乱点云无监督平面分割算法；提出了基于超二次曲面模型的三维目标位姿估计算法。
第二，三维视觉技术在智能制造的应用方面，负责了西安市科技项目“面向智能生产线的工业机器人控制器研制”和苏州市科技项目“面向大型构件再制造的机器人三维感知与控制技术研究”。主要完成了面向激光再制造的大型构件缺陷识别、零件损伤区域的三维特征提取、机器人修复路径的自动规划、机器人高速平稳运动控制工作，研制了面向智能生产线的工业机器人控制器。本课题组研制的机器人控制器结构图如图7所示，缺陷识别定位的三维视觉系统如图8所示。
图7 机器人控制器结构图
图8 缺陷识别定位的三维视觉系统
7 结语
机器人三维视觉技术应用到智能制造设备中，是智能制造装备实现高适应性和智能化作业的重要基础。本文讨论了机器人三维视觉技术及其热点研究问题，并阐述了其在产品质量检测和视觉伺服控制等智能制造领域的应用。对机器人三维视觉技术的鲁棒性和通用性等关键问题的突破，能够不断推动智能制造向高效、智能化发展。
作者简介
汪 霖（1983-），男，浙江杭州人，副教授，博士，现就职于西北大学信息科学与技术学院，研究方向为智能机器人环境感知、三维点云处理和群体智能优化。
曹建福（1963-），男，陕西宝鸡人，教授，博士生导师，现任西安交通大学自动控制研究所所长、中国自动化学会建筑机器人专业委员会主任委员，研究方向为智能机器人、智能制造与智慧工厂。
本文摘自《自动化博览》2020年2月刊
好消息！
小白学视觉知识星球
开始面向外开放啦 |
