机器人智能抓取系统:目前几种主流的解决方案

机器人学习中的经典问题之一便是分拣：在一堆无序摆放的物品堆中，取出目标物品。在快递分拣员看来，这几乎是一个不需要思考的过程，但对于机械臂而言，这意味着复杂的矩阵计算。

事实上，对于人类需要耗费大量时间的数理难题，用智能系统处理起来就显得十分容易，但在几乎不需要思考的情况下就能做出的分选动作，则是全世界机机器人研究专家关注的热点。



机械臂抓取需要确定每段机械臂的位姿

首先，机械臂需要视觉伺服系统，来确定物体的位置，根据末端执行器（手）和视觉传感器（眼）的相对位置，可分为Eye-to-Hand和Eye-in-Hand两种系统。

Eye-to-Hand的分离式分布，视野固定不变，如果相机的标定精度高的话，那么视觉定位于抓取的精度也越高。

Eye-in-Hand则将机械臂与视觉传感器固定在一起，视野随机械臂的移动而改变，传感器越近时精度越高，但过于靠近时则可能使目标超出视野范围。



精密的视觉系统与灵活机械臂的配合，才能完成一次完美的抓取，而这正是当前机器人操作中的核心难题，归纳起来就是这么一件事：找到合适的抓取点（或吸附点），抓住它。之后的转运执行，则属于运动规划的分支。

目前几种主流的解决方案

Model-based（基于模型的方法）

这种方法很好理解，即知道要抓什么，事先采用实物扫描的方式，提前将模型的数据给到机器人系统，机器在实际抓取中就只需要进行较少的运算：

1. 离线计算：根据搭载的末端类型，对每一个物体模型计算局部抓取点；

2. 在线感知：通过RGB或点云图，计算出每个物体的三维位姿；

3. 计算抓取点：在真实世界的坐标系下，根据防碰撞等要求，选取每个物体的最佳抓取点。

RGB颜色空间由红绿蓝三种基本色组成，叠加成任意色彩，同样地，任意一种颜色也可以拆解为三种基本色的组合，机器人通过颜色坐标值来理解“颜色”。这种方式与人眼识别颜色的方向相似，在显示屏上广泛采用。



CGrasp 对精密轴承的无序抓取

Half-Model-based（半模型的方法）

在这种训练方式中，不需要完全预知抓取的物体，但是需要大量类似的物体来训练算法，让算法得以在物品堆中有效对图像进行“分割”，识别出物体的边缘。这种训练方式，需要这些流程：

1.离线训练图像分割算法，即把图片里的像素按物体区分出来，此类工作一般由专门的数据标注员来处理，按工程师的需求，标注出海量图片中的不同细节；

2.在线处理图像分割，在人工标注出的物体上，寻找合适的抓取点。

这是一种目前应用较为广泛的方式，也是机械臂抓取得以推进的主要推力。机械臂技术发展缓慢，但计算机视觉的图像分割则进展迅速，也从侧面撬动了机器人、无人驾驶等行业的发展。



Model-free（自由模型）

这种训练方式不涉及到“物体”的概念，机器直接从RGB图像或点云图上计算出合适的抓取点，基本思路就是在图像上找到Antipodal（对映点），即有可能“抓的起来”的点，逐步训练出抓取策略。这种训练方式往往让机器手大量尝试不同种类的物品，进行self-supervisedlearning，Google的Arm Farm，即为其中的代表之一。



Google Arm Farm

值得注意的是，对于机械手而言，不同形状的物品，抓取难度有天壤之别。即便是同样形状的物体，由于表面反光度和环境光照的影响，在不同场景的抓取难度也大相径庭。从实验室到商业落地，其中有相当一段路要走。



高精密度的相机研发，是机器人“感知”物体的第一步。

实际商业场景中，最麻烦的物体总是“下一个物体”。工业机器人要真正融入实际生产体系，只有具备聪明的大脑，针对不同工况做出柔性的调整，才能拓宽工业机器人的使用场景。
1、 CODESYS 是一款基于先进的.NET 架构和 IEC 61131- 3 国际编程标准的、面向工业 4.0 应用的软件开发平台。CODESYS 软件开发平台的独特优势是：（1）、 使用此单一软件工具套件就可以实现一个完整的工业自动化解决方案， 即在CODESYS软件平台下可以实现：逻辑控制（PLC）、运动控制（Motion Control）及 CNC、 机器人控制、 人机界面（HMI）、 基于 Web Service 的网络可视化编程和远程监控、 冗余控制(Redundancy)和安全控制（Safety）、 以及项目开发与工程协同管理（ SVN） 等多个目标和需求。随着工业自动化市场的快速发展，CODESYS 在研发过程中推陈出新， 不但在中小型 PLC 控制器、 运动控制器、专业化的机器人控制器领域， CODESYS 有成熟解决方案， 同时在个性化的 HMI产品（人机界面） 以及工厂自动化行业里， CODESYS 也顺应行业要求， 推出了 Safety 安全控制器（符合 TUV SIL3 国际安全标准） 的开发解决方案。同时还 满 足 在 轨 道 交 通 行 业 及 过 程 控 制 行 业 中 国 家 强 制 要 求 使 用 的 冗 余（Redundancy） 控制器开发方案。而且 CODESYS 完全支持客户开发拥有自有知识产权的基于工业物联网和云服务的面向应用的工业云平台产品。（2） CODESYS 产品种类和解决方案非常齐全， 是唯一可以提供完整的自动化软件产品和行业解决方案的专业公司CODESYS软件及行业解决方案包括 Engineering工程应用软件包套件 /Runtime实时内核运行软件 / Visualization可视化编程软件 / Fieldbus现场总线协议栈/ Motion + CNC（Robotics） 运动控制以及机器人控制/ Safety 安全控制/Redundancy冗余控制/ Cloud工业云平台开发套件 / Service定制开发服务/ 硬件架构技术咨询&操作系统裁剪技术服务等等。
CODESYS Motion CNC Robotics 的功能包括：

（1）使用PLCopen认证的POU库，可实现单轴和多轴横向

     协同运动；

（2）电子凸轮传动；

（3）CNC控制；

（4）轻松开发多轴运动控制器；

（5）支持 PLCopen Part4 标准功能块；

（6）可通过集成凸轮编辑器对凸轮功能进行图形化规划。

CODESYS Motion CNC Robotics 有如下特点：

（1）运动控制编程独立于总线和驱动器；

（2）可用于众多标准运动控制器的驱动器，例如CiA DSP 402控制器、步进电机、变频器、虚拟轴等；

（3）可直接在CODESYS编程环境中配置总线和驱动；

（4）提供包含所有运动控制功能块的POU库，可以快速、高效地开发简单运动程序；

（5）支持在集成的编辑器中设计电子凸轮；

（6）支持集成的DIN 66025编辑器（支持G代码）来规划和编辑复杂的动作；

（7）通过使用PLCopen Motion Part 4 和轴组编辑器来开发多轴机器人控制器；

（8）丰富的库函数集，包括几何数据处理（路径预处理），样条曲线计算，CNC刀具位置校正等；

（9）包含丰富的交换库（用于备份和交换数据用），用以支持不同运动学的工业机器人的开发，例如Delta机器人，Scara机器人，Portal机器人以及龙门式机器人等；

（10）支持在线的CAM编辑器和CNC编辑器，机器操作员可以图形化的方式创建和编辑CNC程序。