|
基于PLC与工业机器人的沃柑视觉分拣系统设计
朱雪琼 刘志强
摘要：随着生活水平的提高，人们对农产品的品质提出更高的要求。广西是沃柑之乡，实现对沃柑的分级分拣，既能满足人们的消费需求，又能提升产品的价值，增加果农的收入。本文基于工业视觉识别技术，结合PLC及工业机器人技术，设计了一套沃柑大小自动分拣系统，并对该系统在硬件设计、模块通信、程序设计、视觉检测设计等方面的工作原理和实现方法进行了阐述。
关键词：农产品｜视觉｜分拣
随着我国社会经济的不断发展，人们的生活水平日益提升，对产品品质的追求也愈发强烈，所以对水果的大小、颜色、成熟度等指标有了更多要求。事实证明，对水果分级分类后进行销售，有助于提升农民/水果中间商的收入。不管是消费者还是商家，都对水果的分级分类提出了迫切的要求。然而，随着我国人口红利的消失，人工成本不断提升，以及人工分拣效率不高等问题，人工分拣已经不能满足产业对水果分级分拣的需求。农业机械是农业生产力中最具活力的要素。农业机械化是衡量农业发展水平、反应农业现代化进行的重要标志。为响应习近平总书记关于加快实现农业现代化的指示，针对水果分级分拣的需求，本文利用工业机器人、PLC、传送带、视觉相机搭建一套广西特产——沃柑的自动分拣系统，实现对沃柑大小的自动分拣。
一、分拣系统总体方案
按照市场认定的沃柑分级标准，柑橘的分级主要考虑果径尺寸、甜度和外观3个要素。沃柑的果径分为5个级别，由于甜度无法通过视觉获取，外观识别需要考虑的因素过多，故本系统仅针对沃柑的大小进行分类分拣，其总体流程如图1所示。
其工作流程为：当起点传感器检测到信号后，启动传送带，将沃柑往视觉检测区域传送，当检测传感器检测到信号时，传送带停止运行，相机拍照，工业视觉随机识别照片中一个沃柑的轮廓，并获取该沃柑的抓取位置和半径信息传送给机器人，机器人通过对半径的判断，进行分级分拣。当照片内具有完整形状的沃柑被抓取完以后，视觉不再反馈抓取位置信息给机器人，机器人回到拍照点，启动传送带再次启动，如此循环。
图1 系统总体设计流程图
二、分拣系统硬件平台
分拣系统主要由工业机器人、可编程控制器（PLC）、工业相机、传送带、传感器等硬件构成。其中工业机器人采用珞石公司的协作机器人XMS3-R580-B4S1Z4C，工业相机采用深圳市精视控制技术有限公司的AY36630000X相机，PLC则采用西门子公司的S7-200 SMART，传感器采用检测精度高、抗干扰能力强、安全系数高的光栅传感器，系统硬件参考布局如图2所示。
图2 系统硬件参考布局图
需要强调的是，在相机视觉范围内，只有具有完整果形的沃柑才能利用视觉相机获得抓取位置，所有为了保证传送带上的沃柑都能通过视觉检测后被机器人分级分拣，在实际安装时，要通过测试，调整光栅传感器的位置，以保证触发光栅的沃柑能够被相机完整的拍到。
三、分拣系统各模块间的通信硬件连接
分拣系统中，PLC根据传感器和机器人的信号控制传送带的启动和停止；机器人来到拍照点后给工业视觉发拍照信号，工业视觉完成拍照后，把沃柑的半径、位置信息等信息发送给机器人；机器人对半径信息进行判断，然后来到相机反馈的位置吸取沃柑，搬运到指定区域。
四、分拣系统软件设计
（一）通信配置
PLC与传感器、传送带之间通过I/O连接的方式进行通信；机器人与相机的通讯只需要在机器人端创建套接字，即可实现机器人与相机的通讯；机器人与PLC采用PROFINET通信方式进行通信，在做PROFINET通信配置时，在PLC端要先加载GSD文件，添加PROFINET通信，设置参与PROFINET通信的寄存器地址，在机器人端，创建BIT类型的只写数组与PLC端的数字量输入端口对应，创建BIT类型的只读数组与PLC端的数字量输出端口对应，创建INT类型的只写数组与PLC端的模拟量输入端口对应，创建INT类型的只读数组与PLC端的模拟量输出端口对应。
（二）传送带控制程序设计
在分拣系统中，对传送带的工作要求为：当起点传感器第一次检测到信号时，或者PLC接收到机器人传送过来的启动信号时，PLC控制传送带运行；当检测传感器检测到信号时，或者按下停止按钮时，PLC控制传送带停止。
（三）视觉检测设计
视觉检测设计是沃柑分级分级系统的关键。在本系统中，我们把相机安装在机器人六轴的机械臂上，在视觉相机能够正常使用前，需要先进行手眼标定，然后再编辑视觉流程，才能获取果径、抓取位置等数据。
1.相机手眼标定
在Robot Assis软件中找到奥比相机、图像显示和手眼标定H进行组合。完成手眼标定，还需要完成12姿态的图像采集，以计算生成后缀为.json的内参、外参并保存，为后面的视觉流程做好数据准备。第一张图片的采集和标定按照步骤1-3进行，剩余11张图片的采集和标定按照步骤4-6进行。
步骤1：调整相机姿态，让相机正好处于标定盘正上方，拍照并保存相机内参。步骤2：打开图像显示，查看图片状态，确保第一次拍照的相片能顺利的往下一个流程传递。步骤3：打开手眼标定，要先加载第一步中保存的相机内参，先点击更新后再点击“+”即可把第一次拍照的相片加载到手眼标定的界面，此时要注意观察，标定盘上所有的圆被直线串联。步骤4：通过上下、前后、左右、旋转等方式微调相机姿态，但要确保标定板始终都在相机的视野范围内，在奥比相机处执行拍照。步骤5：在图像显示处点击单次执行。步骤6：在首演标定处先更新在添加图像。
2.视觉流程编辑
本系统的视觉流程为：网络配置-数据接收-奥比相机-形状匹配-位置修正-圆查找-获取3D位置-物体位置-序列化-数据发送。在视觉流程中，每个环节的作用及操作注意事项如下：
（1）网络配置：该环节的作用是在相机端建立相机与机器人的通信通道，故IP地址为电脑IP。（2）数据接收：视觉相机接收来自机器人的信号，并根据信号要求去执行对应的流程。（3）奥比相机：对目标对象进行拍照，获取图像信息。（4）形状匹配：在框定的范围内去自动获取目标对象的外形轮廓，轮廓线要尽可能的连续、饱满。（5）位置修正：记录照片中目标对象的位置，并以此做为基准点，为之后的获取3D位置和物体位置的计算提供参考。（6）圆查找：该环节的作用是获取目标对象的半径信息。为了防止视觉自动识别两个目标对象的边缘，生成一个新的圆，因此要特别注意根据实际情况调整卡尺高度。（7）获取3D位置：利用坐标转换技术将其坐标转换为机械臂基座坐标系下的3D坐标，在这个环节要加载手眼标定后得到的内参。（8）物体位置：根据机器人所在位置把3维空间位置，改变成机器人可以使用的3维空间位置，这个环节要加载手眼标定后得到的外参。（9）序列化：该环节的作用是自定义视觉要发送给机器人的信息，并且规定好各种信息的排序，以便明确在机器人端接收到数据的时候，每个数据在数组中存放的位置。需要发送的数据都是double类型,机器人需要获得的是果径和抓取位置这两个信息，故需要添加物体位姿获取x轴,添加物体位姿获取y轴,添加圆查找获取圆像素点（圆半径）。（10）数据发送：把机器人需要的数据信息发送给机器人。
（四）机器人程序设计
传送带将沃柑传送到视觉拍照区域后，PLC控制传送带停止运行，同时给机器人发送一个到位信号，机器人接收到位信号后利用套接字给相机发拍照信号，并接收相机传送回来的果径和抓取位置信息。
参考程序如下：Proc ic()SocketClose("aa") //关闭套接字wait 0.5SocketCreate("192.168.0.17",9797,"aa",1,"\r") //创建套接字wait 0.5SocketSendString("A","aa") //发送拍照信号wait 0.5pysj=SocketReadDouble(2,60,"aa") //接收相机数据存放在pysj数组中wait 0.5fld=crobt(tool0,wobj0) //获取机器人当前位置fld.trans.x=pysj[1] //用抓取位置的X轴坐标替换机器人当前位置的X轴坐标fld.trans.y=pysj[2] //用抓取位置的Y轴坐标替换机器人当前位置的Y轴坐标 uu=pysj[3] //把果径值附给变量uuEndproc
完成了机器人与相机之间的通信，获得了需要的数据，就可以进行判断和分级分拣了。当前机器人视野范围内，具有完整轮廓的沃柑都被分拣搬走后，只剩下半个或者小半个果身被相机拍到的，没有完整的果形，视觉是无法获取抓取位置的，在这种情况下相机返回给机器人的抓取位置的X轴、Y轴均为“-1”，故分级分拣的判断逻辑如下：
If 抓取位置的X轴坐标值为-1 then 给PLC发送启动传送带的信号； Elseif 85≦果径≦89 then 搬运到区域一；Elseif 80≦果径≦84 then搬运到区域二；Elseif 75≦果径≦79 then搬运到区域三；Elseif 70≦果径≦74 then搬运到区域四；Elseif 65≦果径≦69 then搬运到区域五；Endif
在搬运沃柑时采用的是吸盘工具，当吸取到沃柑的时候真空表反馈信号为“1”，没有吸取到沃柑的时候，真空表反馈信号为“0”。由于不同大小的水果，果身的高度是不一样的，因此在写机器人程序的时候，可以先让机器人来到吸嘴高于传送带大概100cm的高度，然后利用WHILE语句进行循行操作，当没有吸取到沃柑的时候，吸盘每次下降0.5cm，当吸取到沃柑的时候，跳出循环。由于吸盘内部有弹簧，且吸盘每次下降的高度较小，故不会对沃柑的外形造成损伤。
经实验验证，该系统可以针对沃柑的大小进行分级分拣。但在在柑橘分类指标三要素中，只实现了其中一个要素的检测，后期可通过深入学习颜色检测和斑点检测的原理和方法来对沃柑外观的颜色、黑点等要素进行识别和处理，在完成大小分拣的基础上，再对外观进行分级分拣，进一步满足产业对沃柑分级分拣的要求。
参考文献[1] 王雷.基于机器视觉的球状农产品分拣机的探索研究[J].南方农机,2022,53(10):9-12，23.[2] 黄小琼.关于加快福州市农业机械化进程的几点思考[J].福建农机,2005(03):39-42.[3] 张俊,刘天宋,张任天,等.基于PLC与工业机器人的视觉跟踪分拣系统设计[J].自动化应用,2024,65(03):76-79，82.
|
