针对机器人示教抓取异构件水龙头仅能适应固定姿态,缺乏自主获取位姿能力的问题,开发了一套双目视觉引导的异构件定位抓取系统。首先通过单目及双目标定获取相机参数及相对位姿,接着对图像进行预处理、立体校正。经过二值化、形态学等图像处理算法将水龙头待抓取区域提取并且创建为模板。采用模板匹配与极限约束结合的方法进行特征匹配,根据匹配点视差及相机标定结果计算三维坐标,同时利用图像的二阶矩计算偏转角度。最后根据手眼标定矩阵及偏转角转换公式,求得水龙头在机器人基坐标系下的姿态,实现异构件的定位与抓取。实验结果表明x、y、z方向误差分别在±0.9mm、±1mm、±1.4mm以内,偏转角误差在±3.5°以内,具有良好的实用价值。

足球机器人双目视觉定位能力是机器人进行足球比赛的基础,发球角度是影响发球质量的重要因素,为了有效提高足球智能机器人发球稳定性和精度,减小足球落点位置误差,提出了足球智能机器人双目视觉发球角度定位方法。通过在足球智能机器人双目处绑定摄像机,利用双目摄像机,对足球场地进行观测,获取平移矩阵与旋转矩阵,双目标定足球智能机器人。采用Canny算子进行边缘检测,从而识别图像中目标物的位置,保障发球定位精度。利用Harris算子对目标角点信息进行提取,并结合Canny边缘检测识别的目标边缘点作为特征点,基于Canny-Harris特征点,匹配左图像和右图像里的目标物,遵循一致性顺序约束,获取二者匹配关系。通过立体匹配获取数据,针对物体角度实施三维重构,实现机器人发球角度定位。实验结果表明,当发球角度为10°时,能够有效提高足球智能机器...

立体匹配(Stereo Matching)算法的效果在机器人应用中至关重要。为了提高立体匹配算法效果,首先利用基于一阶差分的Sobel检测、Scharr检测和Canny检测对图像进行梯度处理,获取图像边缘,其次利用图像的边缘信息作为初始匹配代价进行立体匹配,大幅减少不必要的计算量,然后利用所提算法分别对Middlebury数据集中的图像和自采集的图像进行实验,获得立体匹配的误匹配率和匹配时间。经过实验数据对比,Sobel检测算法和BM(Boyer-Moore)算法结合的方法所得视差图速度快且精度高,效果最佳,实验证明所提方法具有明显优势,可提高立体匹配效果。

r级联分类器同时提取双目图像中的人脸,将其提取到的局部人脸左右并联制作成数据集;然后把“shortcut”思想引入到残差块中提高特征的利用率,最后改进了具有注意力机制的SENet模块在SE-ResNet神经网络中的位置。利用实验室采集的图像数据进行验证,结果表明该实验测试集的平均准确率达到了98.62%,较ResNet34网络测试集的平均准确率提升2.07%,本实验对因为光线和角度变化的人脸活体检测有较好的鲁棒性。

在机器人自动加工系统中,针对待加工零件存在体积大、异形等导致工件难以精确定位的问题,提出了一种基于双目视觉的零件位姿测量系统。在该位姿测量系统中,通过在待加工零件上放置不等腰直角三角形参照物的方法来对其进行局部双目拍摄。对拍摄后的图像采用Harris角点特征检测参照物角点并匹配,进而求解参照物的角点世界坐标,然后通过坐标变换完成对待加工零件的初始位姿测量。并建立了位姿测量系统的数学模型,通过MATLAB语言编写了位姿求解计算程序。最后搭建了位姿测量系统实验平台,联合C#语言设计了一款零件位姿测量系统软件,并进行了位姿测量实验。本视觉系统相对于市场上机器人加工系统中的视觉系统成本很低。实验结果表明该系统能够有效求解待加工零件的位姿,为修正机器人加工系统中的加工轨迹提供了技术支持。

为了解决机械臂标定方法成本高、效率低的问题,对低成本的机械臂实时标定方法进行研究。选择低成本的双目相机为测量设备,基于微分变换理论阐述连杆参数误差辨识模型的建立方法;以作业轨迹和靶标可视性作为约束条件,采用逆运动学算法生成测量构型库;在此基础上通过DETMAX优化算法挑选出合适的构型用于建立辨识模型,并提出一种矩阵平衡方法改善模型性态水平;与此同时,还采用K-means聚类算法将所选构型进行划分,以此作为多组中间姿态输入至控制系统生成若干条平滑的作业-标定轨迹;最后,仿真验证了新方法在不同强度测量噪声下的连杆参数误差辨识精度。结果表明:矩阵平衡法将辨识模型观测指数由10.6提升至6.2×104,同时将其条件数由1.2×103降低至37.8,显著改善了模型性态水平;良态辨识模型使得绝大部分连杆参数误差辨识结果不易受测量噪声影...

针对番茄采摘自动化水平不高的问题,设计一种利用双目视觉采集系统和机器人定位技术的番茄采摘系统。利用双目立体视觉系统进行图像采集,构建模型并进行标定校正。通过图像处理技术将图像预处理,从而获得成熟番茄的具体轮廓;根据番茄类椭圆形状确定其中心点坐标,并将其转换为空间坐标,便于机器人末端执行器抓手进行定位采摘。针对各关节运动限制提出平滑性约束,通过改进蚁群算法,获得采摘抓手较平滑且距离最短的路径。仿真结果表明:该方法可基本满足采摘图像处理要求,能获得运动距离最短且平滑的路径,为实现番茄全自动化采摘提供参考。

为解决人工捡球费力费时的问题,设计了一种双目视觉识别定位、机械手捡拾和自主避障的轮式智能捡球机器人。该机器人通过双目摄像头和Lab VIEW平台,实现对小球图像的实时采集与处理;运动控制系统采用以STM32F411为主核心的NUCLEO-F411RE嵌入式开发板,实现对各个模块的驱动;通过五自由度机械手实现小球的捡拾;通过红外传感器检测周围环境,实现自主避障;由计数器统计捡球数量,通过手柄模块人机交互辅助完成卸载过程。仿真结果表明:该机器人能够完成高尔夫球、乒乓球、网球等多种小型球类的捡拾任务。

针对人工包装USB组件效率低和分装错误率高的问题,开发一套集识别、选择和分选于一体的智能分拣系统。提出一种改进的分拣算法,利用边缘曲线等价方法确定工件形状,通过多目标形心图像区域分割快算方法确定各组件中心,采用Harris角点检测算法获取旋转角度。构建分选识别相机和旋转纠偏相机相结合的双目视觉智慧分选和包装模式。结果表明:最大旋转角度误差为0.75°,最大质心偏差为0.68 mm,测试成功率达99.5%以上,所构建的智能分拣系统对USB组件不同摆放位置模板匹配的误差和抓取误判率均满足设计要求。研究结果为智能化设备研究提供了参考。

文中通过对双目视觉系统的研究,建立了双目视觉系统中摄像机分辨率的误差模型,并分析了分辨率对测量结果的影响.从理论上分析了在测量深度Z 方向上的测量误差,发现分辨率误差在Z方向上影响最大,并且目标距离摄像机越远,误差越大,误差与目标深度之间成非线性关系.另外,误差模型还与摄像机的基线距离、有效焦距、像点在感光元件的坐标位置有关.