|
本课题研究的目的、意义
随着我国经济的不断发展，以工业机器人为基础的自动化生产过程在零件装配、货物包装以及3C产业等领域中较为常见。越来越多的企业将以往工厂中通过员工手动完成的任务交给机器人去完成，大大节约了企业的劳动成本，提高了产品的生产效率，从而提高公司的经济效益。同时，机器人也被应用于汽车制造行业和医疗等领域，保证了处于危险环境下工人的人身安全，使生产模式逐步由传统的以工人为主导转变为目前的以工业机器人为主导。
传统的机器人大多采用示教编程或离线编程的方法，使机器人做点到点的运动，而实现较为复杂的运动轨迹是比较困难的，就达不到流水线的柔性、自动化生产。这类传统的方法也对待抓取的物体的摆放位置有一定的要求，例如，待抓取物体形状或工作环境改变时，就需要对程序进行重新编写，自动化程度并不高。随着中国制造2025时代的到来，智能化被人们高度重视，现如今，工业机器人也不断的朝着智能化的方向发展，更多的是把机器人与视觉技术结合起来，在零部件及货物的自动化包装、拆卸和搬运的过程中，怎样得到这些目标物体的特征并对其进行分类和识别是非常重要的一个部分。
在过去的几十年里，基于2D图像的研究己经较为成熟，基于图像的视觉技术是目前目标识别中最常用的方法，该技术被广泛的应用于人脸识别、医学检测等领域，主要使用的是模式识别与图像处理方面的知识，对比多幅图像的共有景物，对图像信息进行处理，其中，包括分割、特征提取等过程，从而实现目标的识别与分类。相对于2D图像，物体3D点云信息增加了一维信息，它相比2D图像的优势如下：
1) 3D点云信息增加了深度信息，对物体的描述更加全面；
2)对物体的点云信息进行特征提取不受尺度、旋转以及光照的影响 .
3)基于2D图像的视觉技术可以得到物体的3DOF信息，而3D视觉技术可以得到物体的6DOF信息这些优势使得视觉领域的热点逐渐的进入3D视觉。
随着传感器技术的不断发展，微软在几年前推出了深度传感器Kinect，它可以获取物体表面的三维数据，使用起来比较方便，在三维重构、手势识别、人体骨骼识别等领域得到研究者的青睐，Kinect相机能够获取视野内所有物体表面的点云信息，通过对这些点云信息的处理，可以对目标物体进行识别与分类。除了Kinect之外，华硕的Xtion以及英特尔的Realsense SR300也有同样的功能，也被人们广泛应用于科学研究领域。
通过上述可以得知，目标物体的三维信息获取与处理是机器人智能化发展中必不可少的一项技术。本文对机器人待抓取的目标物体的识别与姿态估计进行研究，利用Kinect相机搭建视觉系统，获取整个视野中的点云数据，并利用相关算法完成目标物体的别与分割，并对目标物体自身位姿进行估计，这对机器人智能化发展有着重要的意义。
本课题国内外研究概况（并在表格最后附上文献综述）
本文通过对目标物体表面三维点云信息的获取，以及算法分析来进行位姿估计，并通过实验进行验证。主要研究内容包括：目标物体的检测识别和机器人分拣实验两大部分。本文将从这两个主要内容进行国内外研究现状的概述。
1.1机器人分拣研究现状
机器人在箱体中抓取散乱堆放的物体在学术上被称为RBP CRandomBing-picking)系统，如图1-1所示。典型的RBP系统主要分为三个部分：视觉检测识别、计算机控制单元和机器人本体。视觉检测部分主要是负责目标物体的信息采集与算法处理，得到目标物体的位姿信息；计算机控制单元负责控制机器人运动，根据算法处理得到目标物体的位姿信息，利用机器人末端执行器对目标物体进行分拣。目前，国内外各大企业都有自己的各种解决方案。
图1-1 Random Bing-picking系统示意图
(1)机器人分拣的国外研究现状
机器人的智能分拣技术在国外己日趋成熟，尤其是在日本、德国、瑞士和美国等国家，他们将该技术广泛地应用于工业生产线上。日本FANUC公司推出基于iRVision的视觉系统，如图1-2所示，该系统能运用在2维和3维视觉环境上，它可以利用高清相机来确定事先没有定位的零部件的确切位置，检测到目标物体原来位置与现在位置的关系，并且在工业机器人出现问题时，可以快速的复位。在机器人收到相机发送的信号后，利用安装在机械臂末端的特定的专用执行器对目标物体进行可靠的抓取与摆放。该系统有较好的柔性及可靠性，组成简单且方便日后维护。
图1-2日本FANUC公司的iRVision系统
较著名的系统还有德国ISRA VISION公司的Shape Scan 3D(形状扫描系统)系统以及该公司在2017CIROS展会展示的最新的机器人视觉产品家族IntelliPICK 3D系统。由于ISRA VISION公司采用了独一无二的用户界面的设计，传感器系统的识别操作完全不需要操作者的经验和专业知识，且由于集成的多种监测手段，因此可以快速得出最佳参数。 Shape Scan 3D采用相移条纹投影、高密度点云生成和网格划分，可以获得目标物边缘等几何特点。IntelliPICK是在市场广泛接受的机器人视觉产品Shape Scan 3D之后开发的新一代视觉传感器产品，它提供了新的功能，可以在多种堆放的零件之中识别并抓取任何异形部件，并从箱体中排除非目标物体，节约了宝贵的生产时间。
另外，瑞士ABB公司推出的YuMi系列的双臂及单臂协作机器人，与传统的单臂工业机器人相比，它们可以在略微窄小的工作区域内如同人一样去完成零部件的分拣及装配工作。当YuMi的机械臂接收到突如其来的接触时，可以及时地的停下，然后恢复之前的工作，例如，它与工人或附近的操作台发生碰撞时，可以在几毫秒内停止运动，并且很容易再次恢复运动，这将满足3C行业在生产制造过程中对生产的柔性以及灵活性的要求，同时也推动人机协作走向更多的领域。
(2)机器人分拣的国内研究现状
近几年，我国工业机器人发展迅速，并步入迅速增长期，我国正从机器人应用大国转变为创新大国。随着科技的不断更新，国内也有一些公司致力于智能分拣系统的研究：2016年8月，爱尔森智能科技有限公司开始自主研发机器人3D定位系统，定位解决方案包含全流程，客户无需进行二次开发即可直接使用。该系统的原理是对机器人的坐标和3D传感器进行坐标关联、统一标定，然后通过激光对目标工件进行快速扫描，得到工件表面的三维点云数据，并进行模板匹配，计算出工件最适合机器人抓取的三维外形数据，发送坐标给机器人来完成抓取。
王玉等人研究并实现了一种工业机器人的视觉定位方法，机器人视觉引导系统借助三维图像处理技术，来定位容器里的零件，软件通过对CAD模型和三维图像的比较，检查给出零件的夹紧位置，使分拣末端抓手有足够的空间抓取零件。
武汉库柏特科技有限公司研发了3D视觉分拣系统，在2017年3月2日以“成就创新，引领卓越(Realizing innovation)”为主题的Siemens PLM Software大中华区用户大会上，得到了许多企业的认可。如图1-6所示，该系统由深度相机获得待分拣物体的RGB-D数据，然后根据图像处理算法，得到深度相机下物体的位置信息，再根据之前系统标定好的相机与机器人的位置关系，最后能得到目标物体在机器人坐标系下的位姿信息。如果场景中有多种复杂的物体，或者物体的形状发生改变时，该系统会引导机器人进行自我深度学习，使该系统能够适合满足多种情况下的分拣问题。该公司还有应用于食品、3C、教育等行业的整套解决方案。
除此之外，很多企业都在对工业机器人的应用进行研究，各种人机协作机器人的出现，也为中小型企业带来了方便，他们用协作机器人与人类合作，从而代替昂贵的整套自动化解决方案，使企业的劳动力水平得到提高，提高竞争力。
1.2目标物体检测技术研究现状
在机器人智能分拣过程中，目标物体的识别与位姿的求取是最关键的技术，目标物体的检测就包括物体识别与位姿的求取。3D点云数据可以得到比二维图像更多一维的几何信息，所以对目标物体的点云数据的处理和姿态的求解是本文的主要研究内容。目标物体的识别可以是从二维灰度图、彩色图像中识别出目标物体，也可以是从三维点云信息中识别出目标物体，所以目标物体的识别与位姿估计也可以分别从二维图像中及3D点云数据中进行。
卢冠男使用Hough圆变换及Hough一链码对场景中目标物体的几何外形进行识别，然后对识别出来的目标物体的质心进行定位，最后利用物体质心的位置进行抓取实验。Martinez等人提出OPSESEQ视觉感知系统，该系统能够在复杂混乱的背景中对目标物体进行识别与姿态求取，利用目标自身的特征进行3D学习模型的建立，并保存到数据库，可以对多个物体的位姿进行实时求取。耿立明等人在视觉反馈的基础上用模糊预测控制策略来对机器人搭建整个分拣系统，用模型预测来对目标物体的未来状态进行预测。
DI'OSt等人设计了一种基于方向点对的特征对目标物体3D点云数据进行全局特征描述，再结合点云数据的局部特征以及霍夫变换的投票原理，实现目标的识别。陶海跻等人提出了一种点云自动配准的方法，该方法结合了刚性距离约束条件及随机抽样一致性算法对点云进行配准，得到了较好的效果。余亚玲采用基于NCC匹配和KNN点云聚类相结合的方法，先把RGB-D数据中的RGB彩图使用NCC模板匹配算法进行中心点进行定位标记，再利用标记的定位点对目标物体进行KNN点云聚类分割，对目标物体进行识别。周伟峰等人使用SVM与组合矩的方法，对目标工件的特征进行分类，降低特征的维数，完成目标物体的识别。朱亚红先将目标物体的图像进行预处理与目标提取，然后依据图像的矩特征对神经网络进行训练分类，最后引入基于HALCON软件来进行实验。周逸徉先用3D扫描仪对常见桌面级物体进行扫描建模，然后再结合深度与颜色信息获取目标物体的候选区域，最后将模板与点云数据进行匹配，得到位姿信息。江漩用卷积神经网络对目标物体进行分类，得到抓取模型，实现目标物体的抓取。
参考文献：
[1]蔡自兴，郭播.中国工业机器人发展的若干问题[J].机器人技术与应用，2013 (3)： 9-12.
[2]王国庆.智能机器人视觉和力觉系统在工业中的应用[J].安徽电子信息职业技术学院学报，2017(5)：27-32.
[3]王帅，徐方，陈亮，等.视觉技术在机器人零部件装配中的应用研究[J].组合机床与自动化加工技术，2015(8)：107-110.
[4]方雨馨.基于图像处理的人脸识别算法实现[J].电脑知识与技术，2018，14(27)：176-177.
[5]栗科峰，卢金燕，黄明明，黄全振.基于子图分割与多类支持向量机的人脸识别方法[J].科技通报，2018，34(08)：159-163.
[6]王鸿娟.边缘检测在医学图像处理中的应用研究[J].自动化与仪器仪表，2017(OS)：140-141.
[7]Creusot C，Pears N，Austin J .A Machine-Learning Approach to Keypoint Detection and Landmarking on 3D Meshes[J]. International Journal of Computer Vision，2013，102(1-3)：146-179.李刚，杨笑丛.3D视觉技术在机器人抓取作业中的应用[J].自动化博览，2018，35(11)：82-87.
[8]Smisek J，Jancosek M，Pajdla T. 3D with Kinect[C]//IEEE International Conference on Computer Vision Workshops. 2011.
[9]郑传远.基于Kinect深度传感器的三维重建技术研究[D].陕西师范大学，2016.
[10]王攀，官巍.基于Kinect手势识别的应用研究[J].计算机与数字工程，2018，46(08)：1659-1663.
[11]孙光民，李俊，张俊杰，闰正祥，马北川.基于Kinect的上肢康复网络系统的设计与实现[J].计算机测量与控制，2018，26[11]：190-194.
[12] Object Detection and Pose Estimation of Randomly Organized Objects for a Robotic Bin-picking System[D]. Sweden： Blekinge Institute of Technology，2012： 12一13.
[13] Oh J K，Baek K K，Kim D，et al. Development of structured light based bin picking system using primitive models[C]//IEEE International Symposium on Assembly&Manufacturing.2010：46-52.
[14]佐立营.面向机器人抓取的散乱零件自动识别与定位技术研究[D].哈尔滨工业大学，2015.
[15] Connolly C. A new integrated robot vision system from FANUC Robotics[M]//Information technology law/.Routledge，2007：103一106.
[16]张旭.发那科机器人iRvision视觉系统在涂装生产线上的应用[J].现代涂料与涂装，2019(01)：68-70.
[17] Rasolzadeh B，orkman M，Huebner K，et al. An Active Vision System for Detecting，Fixating and Manipulating Objects in the Real World.[J]. International Journal of Robotics Research，2011，29(2-3)：133一154.
[18] IIANews原创.ISRA VISION高端工业机器人视觉技术的推动者[0L].http：//www.iianews.com/ca/O1-ABC00000000000262201--2.shtml，2017/07/17.
[19]王宁.国产工业机器人的今天与明天[J].中国设备工程，2018(15)：8-10.
[20]王玉，马为清，杜慧蝉等.工业分拣机器人3D视觉定位系统应用[J].现代制造，2017，(31)：56-57.
[21]武汉库柏特科技有限公司.库柏特以3D视觉分拣系统引爆西门子用户大会现场[0L] . http：//www. cobotsys. com/a/141. html. 2017/03/17.
[22]石广升.基于Kinect的物体三维模型构建和姿态估计方法研究[D ].哈尔滨工业大学，2015.
[23]卢冠男.基于机器视觉的工业机器人抓取系统的研究[D].合肥工业大学，2017.
[24] Martinez M，Collet A，Srinivasa S S. MOPED： A scalable and low latency object recognition and pose estimation system[C]//IEEE International Conference on Robotics and Automation.IEEE，2010：2043-2049.
[25]耿立明，王迪，杨威.机器视觉在工业机器人智能分拣识别中的研究[J].电子制作，2018(20)：32-33.
[26] Drost B，Ulrich M，Navab N，et al. Model globally，match locally： Efficient and robust 3D object recognition[C]//Computer Vision and Pattern Recognition. IEEE，2010：998一1005.
[27]陶海跻，达飞鹏一种基于法向量的点云自动配准方法[J].中国激光，2013(8)：179-184.
[28]余亚玲.机器人作业目标位姿信息检测方法研究[D].西南科技大学，2016.
[29]周伟峰，江娟娟，林园胜，et al. SVM与组合矩在工件识别中的应用研究[J].重庆工商大学学报(自然科学版)，2015，32(4)：78-84.
[30]朱亚红.基于机器视觉的工业机器人分拣系统[J].智慧工厂，2018(12)：73-74.
|
