针对三维海洋环境水下自主航行器(AUV)路径规划问题,传统的路径规划算法在三维空间中搜索时间长,对环境的依赖性强,且环境发生改变时,需要重新规划路径,不满足实时性要求。为了使AUV能够自主学习场景并做出决策,提出一种改进的Dueling DQN算法,更改了传统的网络结构以适应AUV路径规划场景。此外,针对路径规划在三维空间中搜寻目标点困难的问题,在原有的优先经验回放池基础上提出了经验蒸馏回放池,使智能体学习失败经验从而提高模型前期的收敛速度和稳定性。仿真实验结果表明所提出的算法比传统路径规划算法具有更高的实时性,规划路径更短,在收敛速度和稳定性方面都优于标准的DQN算法。

控压钻井是一种复杂的钻井工艺,自动节流管汇上节流阀的控制是实现井底压力精确控制的关键技术。首先,建立控压钻井装置中液动节流阀的动态模型,该节流阀采用比例伺服阀作为液压调节元件,采用控制器控制比例伺服阀的阀芯移动改变液动节流阀液压缸中液压油的流入量,进而实现对液动节流阀阀位的控制。其次,提出一种基于深度强化学习的液动节流阀阀位控制策略,该策略利用DQN(Deep Q-Network)算法,通过液动节流阀和智能体相互交换过程中学习比例伺服阀对液动节流阀阀位的控制。最后,通过仿真和现场试验验证了阀位控制策略的有效性,为成功实施控压钻井提供了保障。