视觉引导下机器人拆垛场景识别定位抓取方法

简介

针对2D图像识别缺乏3D姿态信息,而传统的3D视觉需要处理大量点云,运算时间较长等问题,提出一种基于改进Mask R-CNN与局部点云迭代优化相结合的机器人拆垛、分拣及码垛策略。对Mask R-CNN网络进行改进,在其ROIAlign结构之后加入空间变换网络模块,提升识别准确率;利用改进的Mask R-CNN网络对目标进行实例分割,结合场景点云分割得到物体感兴趣区(ROI)场景局部点云;采用加入K维树邻域搜索的迭代最近点算法将物体ROI场景局部点云与模板点云进行配准,最终得到位姿估计的结果。UR5协作机器人根据此结果解决拆垛、分拣及码垛问题,实验结果表明:利用改进的Mask R-CNN网络提升了目标识别的准确率,使用ROI局部点云法减少了场景点云与模板点云配准的迭代次数,提高了工业机器人的拆垛、分拣及码垛效率。