针对Kinect V2深度相机采集的深度图像存在深度信息丢失(孔洞)问题,提出了一种融合超像素分割RGB图像和深度图像配准的深度图像修复方法。首先对RGB图像进行超像素分割;然后将分割后的RGB图像与原始深度图像配准;接着将孔洞像素按照所在区域划分为超像素区域内的孔洞像素和超像素边界上的孔洞像素两大类,并对不同类型的孔洞像素采用不同的方法完成深度图像的修复。最后进行了实验验证,结果表明,该方法与双边滤波算法、联合双边滤波算法相比,能够有效地修复深度图像中的孔洞,获得较高质量的深度图像。

为实现最直观的人机交互方式,与仿人机器人的动作模仿,建立了仿人机器人系统。利用Kinect体感摄像机的骨骼追踪技术,采集示教者的重要关节骨骼点三维空间坐标,对采集到的数据进行霍尔特指数平滑滤波处理。基于骨骼数据建立机器人手臂重要关节的数学模型,将骨骼数据转换成相应伺服电机控制信息。并发送到仿人机器人主控制器驱动各关节伺服电机转动,实现动作模仿。实验结果表明,所述建模方法适用于仿人机器人手臂动作模仿系统,能够实现实时动作模仿,且运动平滑无抖动,动作模仿效果较好。

针对上肢主动康复训练中的运动意图识别条件复杂、肢体康复自由度受限等问题,开展基于Kinect的上肢主动康复训练运动意图识别技术研究。经过采用微软体感设备Kinect,获取人体上肢运动信号。建立人体上肢简化模型,模拟计算和预测上肢关节角度变换规律,设计并完成康复训练动作试验。采用卡尔曼滤波结合运动方程,进行数据分析。利用MATLAB得到上肢主动康复训练运动过程的数学模型。数据证明由Kinect获取的人机交互信息,可以实时有效的预测人体上肢运动意图,具有可行性。该技术可以快速有针对性地制定运动康复训练方案,也可为机电系统辅助的神经功能康复技术和神经科学研究提供资源。

针对移动机器人在复杂环境中使用单一传感器进行同时定位与建图存在的精度不足、扫描范围有限等问题,提出一种将激光雷达与Kinect深度相机两种传感器数据融合的方法。首先对Kinect深度数据进行降维处理,然后使用卡尔曼滤波对激光数据与Kinect深度数据进行融合,在建图阶段使用贝叶斯估计将激光雷达与Kinect各自生成的二维局部栅格地图进行融合。通过实验表明,该方法获得的地图包含更加丰富的环境信息,有助于后续的导航避障工作。

针对传统的AdaBoost人脸检测算法需要对整张图像进行穷举,时间成本比较高,文中采用Kinect v2传感器获得的深度信息对人脸进行初定位,将人脸区域从背景中分割出来,再利用AdaBoost人脸检测算法对人脸进行检测。经实验验证该人脸检测算法能有效提高人脸检出率,缩短人脸检测时间。

在虚拟装配领域中,提升用户体验和交互精度一直是研究的重点。在利用Azure Kinect人体跟踪技术获取手部信息的基础上,研究利用SVM算法提高手势识别准确率的方法,通过参数寻优进一步优化了参数模型。在Unity3D平台上开发了虚拟装配系统,将优化后的手势识别应用在虚拟装配系统中并实现了主要装配功能,同时加入语音识别进行辅助装配。实验结果表明:通过SVM算法优化后,手势识别更加准确、稳定,提升了虚拟装配系统的用户体验和交互准确性。

文中实现了对delta机械手的手势控制,通过手势各方位移动控制机械手的位置；通过手势倾斜控制动平台圆盘的旋转；通过手势合拢与张开控制机械爪的抓取.

文中介绍了如何运用手势进行3D建模,通过曲度传感器捕获不同手指的曲度来实现在建模中的各种功能,通过编程实现建模的实时显示和生成DXF文件,从而导入现有的三维建模软件.