悬臂式掘进机视觉导航与定向掘进控制技术

张旭辉1,2,赵建勋1,杨文娟1,2,张 超1

(1.西安科技大学 机械工程学院,陕西 西安 710054; 2.陕西省矿山机电装备智能监测重点实验室,陕西 西安 710054)

摘 要:煤矿巷道掘进装备位姿测量是国内外目前研究的热点,不同的巷道快速掘进系统均面临定向导航难题。为解决煤矿井下悬臂式掘进机自动定向掘进控制难题,提出一种基于视觉导航的悬臂式掘进机自动定向掘进控制方法,利用单目视觉测量技术,以巷道中激光指向仪的激光点和激光束为特征构建基于门形结构的掘进机机身位姿视觉测量模型,通过空间矩阵变换解算巷道中机身位姿。根据悬臂式掘进机运动特点确定掘进机纠偏控制策略,基于悬臂式掘进机运动学建立掘进机定向掘进运动控制模型,采用backstepping方法,选取合适的Lyapunov函数设计掘进机轨迹跟踪控制器,有效解决掘进机轨迹跟踪控制问题。实验结果表明:悬臂式掘进机机身位姿视觉测量方法可有效实现井下工作环境中悬臂式掘进机机身的位姿测量,得到掘进机机身位置测量误差在±40 mm以内,姿态角角度测量误差在±0.3°以内;轨迹跟踪控制器可实现悬臂式掘进机的自动定向掘进功能,其运动控制精度在±20 mm以内,满足巷道施工的精度要求。该方法中工业相机固定安装于掘进装备机身,且利用激光指向仪点-线特征构建门型三线模型作为位姿测量基准,与相关研究对比,具有不易脱靶、标靶移动少等优点。

关键词:视觉导航;定向掘进控制;悬臂式掘进机;激光点-线特征;轨迹跟踪

煤矿生产装备智能化是煤炭绿色安全高效发展的关键[1-2]。随着我国综采技术和配套设备的快速发展,“采掘失衡”矛盾日益突出,巷道掘进自动化、智能化是目前国内攻关的关键技术[3]。悬臂式掘进机是综掘工作面的重要装备,其智能化技术对目前其他形式的快速掘进装备发展具有代表性,自主定位、智能控制和远程监控等技术发展决定未来掘进生产的发展[4-5]。自动定向掘进是实现掘进工作面自动化的核心技术。

悬臂式掘进机的定向掘进机控制包括掘进机机身位姿测量和掘进机的定向纠偏控制两部分,前者是实现定向纠偏控制的基础。文献[6]利用超宽带技术,结合TW-TOF测距法实现了井下巷道中机身位姿测量,但脉冲信号在井下环境中易受干扰,且测量误差较大。文献[7]提出零速修正的掘进机惯性导航定位方法,利用二次曲线拟合法进行零速修正,得到较高精度的机身位姿,试验结果表明该定位方法可达到厘米级。文献[8]设计了一种基于雷达系统的井下设备定位系统,可利用井下环境生成雷达返回信号,获得井下设备轨迹及位置信息。文献[9]利用机器视觉测量方法,以十字激光器与激光标靶为特征,利用相机采集激光标靶图像,通过建立机身位姿视觉测量模型,实现对悬臂式掘进机机身位姿的检测。文献[10]采用机器视觉测量方法,以激光束为特征,建立了基于两点三线的掘进机位姿解算模型,解算得到巷道中机身位姿。文献[11]利用全站仪测量机身位姿,通过建立掘进机轨迹跟踪的数学模型,结合行走机构液压系统,提出了基于双层模糊控制的掘进机轨迹跟踪的控制方法。全站仪在使用过程中需要考虑移站问题,文献[12]根据激光测量原理研究了全站仪测站移站后的自主标定原理,构建了系统测量误差模型,验证了激光导向系统自主标定的可行性,可实现对掘进机的位姿测量。文献[13]利用悬臂式掘进行走机构运动学确定了机身位姿误差和机身移动速度间的关系,设计了掘进机行走控制系统,仿真验证了系统有效性。目前针对定向掘进控制系统的研究,以视觉、惯导和全站仪等测量方法为主要方式,通过建立掘进机轨迹跟踪控制模型实现对掘进机机身的跟踪控制。煤矿井下高粉尘、低照度工作环境对各测量方法提出了挑战,上述方法掘进机位姿测量的精度和可靠性尚待进一步研究和应用验证。

笔者提出一种基于机器视觉的悬臂式掘进机精确定位和轨迹跟踪控制的定向掘进方法,利用单目视觉测量原理,以井下激光指向仪为特征解决井下特征获取问题,通过建立悬臂式掘进机位姿视觉测量模型计算机身位姿;研究掘进机在井下巷道的纠偏机理,建立定向掘进运动控制模型,设计轨迹跟踪控制器实现对悬臂式掘进机定向掘进的过程控制。

1 悬臂式掘进机定向掘进控制方案

悬臂式掘进机自动定向掘进控制原理如图1所示。系统由悬臂式掘进机、防爆计算机、防爆工业相机、激光指向仪、DSP控制器和传感器构成;软件系统实现图像采集、特征提取、机身位姿解算、机身轨迹跟踪控制和数据存储显示等功能,可完成巷道中机身位姿精确测量以及掘进机轨迹跟踪控制。

图1 悬臂式掘进机自动定向掘进控制总体方案
Fig.1 Overall scheme of automatic directional heading control for boom-type roadheader

系统采用单目视觉测量方法,通过构建井下巷道悬臂式掘进机机身位姿测量模型,求解机身实时位姿并传输到DSP控制器,获得机身当前位姿与期望位姿之间的位姿误差,利用DSP控制器输出控制指令控制掘进机移动,进行轨迹跟踪控制,同时进行掘进机机身及截割头实时位姿显示,为操控人员提供超挖预警报警。各模块原理如下:

(1)机身位姿视觉测量。根据掘进机、摄像机和激光指向仪在巷道中的位置关系构建巷道全局坐标系,固定在机身上的防爆工业相机采集后视巷道图像信息,通过图像处理、激光特征提取以及位姿解算等过程求解机身位姿数据。

(2)数据交互模块。系统工作时需要各模块之间协同工作,其中DSP控制器利用RS485串行通信模块与计算机通信,获取巷道参数和机身位姿数据,利用A/D模块采集流量、压力和电流等模拟量传感器数据,通过各数据库中数据交互,实现各工作模块之间的数据交互。

(3)轨迹跟踪控制。根据悬臂式掘进机轨迹纠偏控制策略构建掘进机定向掘进运动控制模型,比较实时反馈的机身位姿数据和机身移动期望位置得到机身位姿误差,利用DSP控制器D/A模块向掘进机行走机构液压系统发送控制指令,通过控制比例换向阀的开口,控制掘进机左右履带运动速度,使掘进机沿规划路径移动,通过不断调整机身位姿,实现对巷道中掘进机的轨迹跟踪控制。

2 悬臂式掘进机位姿视觉测量方法

2.1 掘进机机身位姿视觉测量方案

2.1.1 测量特征选取

图2(a)为井下高粉尘、低照度和多杂光的工作环境,普通视觉测量特征难以在该环境中准确识别测量特征,严重影响视觉测量的可靠性。图2(b)为巷道定位激光指向仪,具有体积小、结构简单、巷道环境中具有明显对比特征,适用于井下高粉尘的复杂工作环境。本文借助激光指向仪包含巷道坐标系位置信息的特点,以巷道布置的激光指向仪光斑和激光束为特征,为巷道中掘进机定位提供基准信息,建立掘进机位姿视觉测量模型,解算掘进机机身实时位姿。

图2 井下环境中激光指向仪特征图像
Fig.2 Feature image of laser pointer in downhole environment

2.1.2 掘进机位姿视觉测量系统原理

悬臂式掘进机位姿视觉测量系统如图3所示,由防爆计算机、防爆工业相机和两激光指向仪组成。系统进行掘进机位姿测量之前,将防爆工业相机方向向后固定于掘进机机体上,在煤矿地测科确定的激光指向仪(包含巷道设计信息)基础上再平行固定一个激光指向仪,利用特殊设计的辅助装置保证两个激光束沿巷道设计方向平行。利用工业相机采集激光指向仪图像,传输到计算机进行图像预处理、激光点线特征提取,结合已建立的悬臂式掘进机机身位姿解算模型,解算掘进机在巷道坐标系中的位姿,实现悬臂式掘进机的位姿测量。机身位姿测量流程如图4所示。

图3 悬臂式掘进机视觉测量系统结构
Fig.3 Visual measurement system structure of boom-type roadheader

图4 悬臂式掘进机机身位姿测量流程
Fig.4 Flow chart of fuselage pose measurement of boom-type
roadheader

2.2 机身位姿视觉测量模型

根据掘进机、工业相机、激光指向仪和巷道之间的位置关系构建了测量系统全局坐标系(图3),其中Oh Xh Yh Zh为巷道坐标系,其坐标轴方向根据巷道的走向确定;O0X0Y0Z0为掘进机机体坐标系,设其坐标原点与回转台中心重合,X0轴沿掘进机机体中线指向截割头方向,Z0轴垂直机体表面竖直向上,根据右手定则可确定Y0轴方向;Oc Xc Yc Zc为防爆工业相机坐标系;Od Xd Yd Zd为激光测量坐标系,坐标原点Od位于两光斑中心连线的中点,Zd轴与激光束重合,方向相反,Yd轴竖直向上,根据右手定则可确定Xd轴方向。设巷道坐标系与机体坐标系之间的齐次变换矩阵巷道坐标系与激光测量坐标系之间的齐次变换矩阵相机坐标系与激光测量坐标系之间的齐次变换矩阵机体坐标系与相机坐标系之间的齐次变换矩阵根据空间矩阵变换可得:

(1)

由于激光指向仪固定于巷道中,因此激光指向仪在巷道中的位姿变换矩可以利用全站仪测量得到。防爆工业相机则固定于掘进机机身上,可以通过相机外参标定的方式获取机体坐标系与相机坐标系之间的齐次变换矩阵

根据式(1)中各坐标系之间的转换关系,计算得到相机坐标系与激光测量坐标系之间的齐次变换矩阵是计算巷道坐标系与机体坐标系之间的齐次变换矩的关键。

2.3 掘进机机身位姿解算方法

相机成像模型是对摄像机成像的一种几何描述,摄像机的成像模型一般为小孔成像模型[14],该模型可以看作为线性几何模型。激光指向仪包括左右两激光光斑和两条激光束直线,结合两光斑的连线可将激光指向仪的两点三线特征简化为如图5所示的基于门形结构的掘进机机身位姿测量模型[15]

图5 基于门形结构的机身位姿视觉测量原理
Fig.5 Visual measurement schematic diagram of fuselage
posture based on portal structure

将两激光束简化为直线段L1L3,且L1//L3。图中点P1P2为两激光指向仪的光斑中心,P3P4分别为激光指向仪所发出的激光线上的距离激光光斑一定距离的点,L2为过两光斑中心的直线。点q1q2为两激光光斑中心点在图像坐标系上的投影点,l1l2l3L1L2L3在图像坐标系上的投影直线。假设投影直线l1,l2l3的直线方程为

aix+biy+ci=0 (i=1,2,3)

(2)

式中,aibici分别为直线li的直线方程一般式的系数。

根据直线方程可得到投影直线l1l2l3的方向向量vi(-bi,ai,0)。图中相机光心Oc、图像平面中的投影直线l1l2l3和空间直线L1L2L3围成Oc P2P3Oc P1P2Oc P1P4三个平面。设3个平面的法向量分别为N1N2N3。在平面Oc P2P3中,设t1为投影直线l1上的任意一点,则可以得到平面Oc P2P3的法向量N1

N1=Oc t1×V1

(3)

同理可确定平面Oc P1P2和平面Oc P1P4的法向量N2N3。由于L1//L3N3L3,则可得N3L1N1L1。可得空间直线L1L2L3的方向向量V1V2V3存在如下关系:

V3=V1=N1×N3

(4)

V2=V1×N2

(5)

设相机焦距为f,相机光心Oc到两激光光斑中心点P1,P2的距离为k1,k2,即|Oc P1|=k1,|Oc P2|=k2。则点q1q2在相机坐标系下的三维坐标可表示为(xi,yi,f)(i=1,2),q1q2到光心Oc的距离此时,直线L2的方向向量V2还可以表示为V2:

V2=k2P2/M2-k1P1/M1

(6)

此时,若已知两光斑中心距离d,结合式(5)和(6),根据V2//V2,且V2·V2=|V2||V2|cos θ可计算得到k1k2的值。此时光斑中心点P1P2在相机坐标系下的三维空间坐标为根据P1P2在相机坐标系和激光测量坐标系中的三维坐标可得到激光测量坐标系Xd轴在相机坐标系下的方向向量nx:

(7)

设图像中l1l3两投影直线交于消失点q3(x3,y3),则根据消失点特性[16]可知向量Ocq3的单位向量与Zd轴的方向单位向量一致,可得Zd轴的方向向量nz

(8)

通过nxnz叉乘可确定Yd轴的方向向量ny

(9)

可得相机坐标系和激光测量坐标系间的旋转矩

(10)

则可计算得到相机在激光测量坐标系中的偏航角αc、横滚角βc、俯仰角γc

(11)

由于激光测量坐标系原点在两光斑中心位置,则可得相机坐标系和激光测量坐标系间的平移向

(12)

相机在激光测量坐标系下的位置(Xc,Yc,Zc)为

(13)

可得相机坐标系和激光测量坐标系间的其次变换矩

(14)

将式(14)代入式(1)中,根据相机在激光测量坐标系下的位置和姿态角信息,结合通过事先标定得到的掘进机机体坐标系和相机坐标系之间的变换关系,可计算得到掘进机在激光测量坐标系下的位姿。利用全站仪测量激光指向仪在巷道坐标系下的坐标,获取激光测量坐标系和巷道坐标系之间的转换关系,最后便可求得掘进机在巷道坐标系下的偏航角、横滚角、俯仰角和位置信息。

3 悬臂式掘进机定向掘进控制模型

3.1 掘进机纠偏控制策略

巷道掘进施工中,悬臂式掘进机纠偏主要包括整平和对中,其中整平过程通过控制掘进机前后铲板和支撑的升降调整掘进机的角度;对中过程是控制掘进机左右履带运动使掘进机机身位置与期望位置重合,实现对机身位置的调整[17]。通过掘进机对中纠偏过程,实现对掘进机机身偏航角偏差α和位置偏差的纠偏控制。图6为掘进机的对中示意图,掘进机纠偏步骤如下:

图6 悬臂式掘进机纠偏步骤
Fig.6 Rectifying steps of boom-type roadheader

(1)首先比较视觉测量得到的机身位姿数据和期望的机身位姿数据,确定机身偏航角偏差α和中心距偏差d

(2)机身存在中心距为d时,当d>0时,控制掘进机左履带反转,右履带正转,使机身存在一定偏向角,然后控制左右履带同时正转,直至中心距小于限定值;当d<0时,则方向相反。

(3)机身存在偏航角偏差α时,当α>0时,控制掘进机左履带反转,右履带正转;α<0时,控制掘进机左履带正转,右履带反转,直至偏航角小于限定值。

通过上述掘进机纠偏控制步骤可实现巷道中掘进机的定向掘进控制。

3.2 悬臂式掘进机定向掘进运动模型

通过对悬臂式掘进机纠偏分析可知,掘进机是通过左右两侧履带做差速运动实现的运动控制。为建立掘进机机身的运动学模型,假设:① 悬臂式掘进机在二维平面内运动;② 悬臂式掘进机左右两侧履带与地面完全接触;③ 两侧履带中心连线与掘进机前后运动方向垂直[18]。则悬臂式掘进机运动学模型如图7所示。

图7 悬臂式掘进机运动学模型
Fig.7 Kinematics model of boom-type roadheader

图7中坐标系XOZ为巷道二维平面坐标系;k点为参考点,xkyk为该点的坐标;θ为悬臂式掘进机的航向角;坐标系X0O0Z0为以掘进机质心为原点的掘进机二维平面坐标系,设(x0,y0)为掘进机质心在巷道坐标系XOZ中的坐标;vLvR为掘进机运动时其左右履带速度;b为单侧履带的宽度,D为机身宽度。则机身在巷道坐标系XOZ中的位姿可表示为P=[x0,y0,θ]T。根据图中的几何关系可推得悬臂式掘进机运动学模型为

(15)

设机身运动线速度为v,角速度为ω,则左右履带速度和机身之间速度可表示为

(16)

结合式(15),(16)可得掘进机从当前位置移动到k点时的运动学方程为

(17)

其中,为掘进机的位姿矩阵。若设定掘进机当前位姿为PA=(xA,yA,θA),期望位姿为PB=(xB,yB,θB),则掘进机的位姿误差Pe

(18)

其中,xe为掘进机在巷道中的横向误差;ye为掘进机在巷道中的纵向误差;θe为掘进机航向角误差。其位姿误差微分方程描述为

(19)

式中,ωA为当前位姿状态下的机身运动角速度;vA为当前位姿状态下的机身运动线速度;vBωB为期望位姿状态下的机身运动线速度和角速度;偏航角误差θe=θB-θA

根据以上分析,可以将基于悬臂式掘进机运动学模型的轨迹跟踪控制定义为存在任意掘进机位姿误差时,通过寻找合理有界控制输入u=[v,ω]T,在控制律作用下使掘进机运动至期望位姿,即使

4 轨迹跟踪控制器设计

4.1 掘进机定向掘进控制系统

悬臂式掘进机通过左右两侧履带差速运动实现机身的移动,属于典型的非完整移动机器人。对于非完整移动机器人系统需要设计控制输入作用的控制器,使机器人可以以给定的速度沿规划轨迹运动。掘进机定向掘进控制系统具有高度非线性,经典线性控制理论难以直接应用于系统的控制器设计。Back-stepping方法[19]是一种非线性系统的稳定设计理论,针对非线性系统中的参数不确定性,通过逐步修正算法设计控制器,可实现系统的全局调节。因此,论文采用Back-stepping方法,采用根据悬臂式掘进机运动学模型设计轨迹跟踪控制器,悬臂式掘进机定向掘进控制系统结构如图8所示。

图8 悬臂式掘进机定向掘进控制结构框
Fig.8 Block diagram of directional heading control
structure of boom-type roadheader

系统输入掘进机期望位姿Pr=[xr,yr,θr]T和跟踪控制时的期望运动速度,即参考速度qr=[vr,ωr]T;输出为掘进机当前时刻位姿Pc=[xc,yc,θc]T。通过设计系统速度控制器使当前位姿与期望位姿之间的位姿误差Pe确定掘进机的运动控制速度Pc,通过反复调节控制使得掘进机位姿误差Pe趋近于0。

4.2 掘进机轨迹跟踪控制器设计

笔者结合Back-Stepping设计方法,根据Lyapunov函数设计具有全局收敛特性的掘进机轨迹跟踪控制器。分别以Prqr为掘进机期望位姿及速度,则根据式(19)掘进机位姿微分方程有

(20)

引理:对任意xR,并且|x|<∞,则有f(x)=xsin(arctan(x))≥0,当且仅当x=0时,f(x)=0成立[20]。根据上述引理可知,悬臂式掘进机轨迹跟踪控制器设计步骤如下:

第1步:根据掘进机位姿微分方程可知,当xe=0时可选Lyapunov函数为

(21)

对式(21)微分可得

(22)

根据上述引理可知,当θe=a=arctan(vr ye)时可使ye收敛,此时若xe收敛于0,则θe收敛到a,便有ye收敛于0。掘进机轨迹跟踪的控制律输入为vω,可取偏向角误差变量为

(23)

第2步:在Vy基础上选择全局Lyapunov函数V

(24)

对上式微分可得

(25)

则可得悬臂式掘进机轨迹跟踪控制律为

(26)

其中,(xe,ye,θe)T为掘进机的位姿误差;(vr,ωr)为掘进机的参考速度;k1k2为常数。掘进机轨迹跟踪控制律以掘进机位姿误差和参考速度为输入,以掘进机运动的控制速度为输出,通过控制器的反复调节,使掘进机的位姿误差最终趋近于0。

5 测量系统性能评价及实验结果

5.1 机身位姿视觉测量实验

5.1.1 悬臂式掘进机位姿视觉测量实验

搭建了悬臂式掘进机位姿视觉测量实验平台,进行功能验证和测量性能评价,如图9所示。平台由悬臂式掘进机模型、2个激光指向仪、MV-EMV510M防爆工业相机和防爆计算机等组成。

图9 悬臂式掘进机机身位姿测量实验平台
Fig.9 Boom-type roadheader body posture measurement
experimental platform

悬臂式掘进机位姿视觉测量精度测试实验步骤如下:

(1)搭建平台时,将防爆计算机固定于悬臂式掘进机机体上,使相机采集激光指向仪激光图像,在原有激光指向仪旁再平行固定一个激光指向仪,为掘进机机身位姿视觉测量提供测量基准。

(2)通过软触发方式控制防爆摄像机采集激光指向仪光斑和光束图像,并在计算机中进行图像预处理、激光光斑中心定位、激光束直线特征提取以及位姿解算等过程,计算得到掘进机在激光测量坐标系中的位姿。

(3)将悬臂式掘进机移动至不同位置,利用全站仪获得掘进机机身在激光测量坐标系下的位姿实际值,与视觉测量系统测量结果进行对比,获取掘进机位姿视觉测量误差。

设定两激光之间距离为55 cm,根据上述实验步骤进行实验,得到实验结果和误差如表1,图10,11所示。

表1 悬臂式掘进机机身位姿测量部分实验结果
Table 1 Experimental results of boom-type roadheader body posture measurement

项目编号x/mmy/mmz/mm偏航角/(°)横滚角/(°)俯仰角/(°)1-950-60-5.11-0.121.452-200 2 040-605.13-0.27-1.56实际值3-3102 040-60-5.56-0.381.214-3102 150-605.380.10-1.245-3102 260-605.340.281.551-100.72.6-61.3-5.31-0.231.502-203.22 035.7-62.65.39-0.11-1.67测量值3-312.22 038.9-60.9-5.32-0.521.344-312.52 149.1-61.15.610.31-1.415-312.82 259.9-61.25.610.501.38

图10 机身姿态角测量误差
Fig.10 Error of measurement of fuselage attitude Angle

实验结果表明本文所述的悬臂式掘进机位姿视觉测量方法可有效实现机身位姿的获取。图10为测量得到的掘进机姿态角角度误差,其中机身偏航角角度误差小于0.3°,俯仰角角度误差小于0.25°,横滚角角度误差小于0.3°。图11为测量得到掘进机位置误差,xyz轴方向的误差分别为20,25,18 mm。

图11 机身位置测量结果误差
Fig.11 Error of airframe position measurement

5.1.2 悬臂式掘进机可视化截割井下测试

基于笔者提出的机身定位方法研发了悬臂式掘进机可视化截割控制系统,图12为在山西煤矿井下环境中搭建的悬臂式掘进机可视化辅助截割系统试验平台,平台由掘进机位姿视觉测量系统、捷联惯导和防爆计算机等组成。以多传感器实现机身和截割头位姿测量,借助机器人控制方法实现结果过程的可视化导引和超挖预警。

图12 悬臂式掘进机可视化辅助截割系统试验平台
Fig.12 Visual auxiliary cutting system test platform of boom-type
roadheader

该系统在某矿回风掘进巷道进行了悬臂式掘进机可视化辅助截割测试。测试时移动安装在机身上的防爆工业相机来模拟机身的移动,通过人工测量方式获取相机在巷道中的移动数据为真实值,最后将人工测量结果与视觉测量结果比较获取机身位姿测量误差。表2及图13为得到的测量结果及误差,考虑井下环境中机身姿态角角度的真实值测量困难,故仅给出计算得到的掘进机姿态信息。

表2 悬臂式掘进机井下位姿测量部分实验结果
Table 2 Part of experimental results of underground pose measurement of boom-type roadheader

项目次数x/mmy/mmz/mm偏航角/(°)横滚角/(°)俯仰角/(°)1-3501 500-16 200———2-2501 520-16 200———真实值3-1501 520-16 200———4-551 510-16 200———5501 520-16 200———1-326.81 525.1-16 173.2-3.350.63-0.582-258.11 536.0-16 168.32.38-2.35-0.76检测值3-177.51 530.7-16 186.7-2.182.171.694-43.41 518.2-16 228.23.59-5.342.33560.11 527.5-16 218.15.835.233.36

图13 悬臂式掘进机位置测量误差
Fig.13 Measurement error of boom-type roadheader

结果表明,该方法可以在掘进工作面高粉尘、水雾以及杂光的环境下稳定获取激光图像特征,计算出悬臂式掘进机机身位置信息。由于井下巷道地势环境影响视觉标定精度,以及恶劣环境等影响,系统的测量误差与实验室相比有所增大,XYZ轴方向的误差分别为±38,±40,±40 mm。值得注意的是,考虑了视觉测量可能存在的遮挡、丢帧等问题,可视化截割系统中组合了低成本MEMS惯导,多传感器融合保证了悬臂式掘进机机身定位的精度和稳定性。

5.2 掘进机轨迹跟踪控制实验

为了验证定向掘进控制系统的可行性和稳定性,搭建定向掘进控制实验平台,如图14所示,为方便对履带转动速度的控制,采用电机驱动的履带式移动机器人代替悬臂式掘进机进行实验。实验平台由履带式移动机器人、内置DSP控制器、MV-EMV510M防爆工业相机、YHJ-800激光指向仪和计算机组成。

图14 定向掘进控制实验平台
Fig.14 Directional heading control experiment platform

实验时以楼道模拟巷道环境,确定巷道坐标系,首先采用全站仪测量履带机器人和激光测量坐标系在巷道坐标系中的位姿,并对相机进行外参标定。在运动过程中,借助机身位姿视觉测量系统实时测量机器人位姿,并将机身位姿数据反馈至DSP控制器内,根据当前机身位姿误差确定输出控制命令,控制左右履带转动,通过不断调整使机身移动至期望位置。

设定以巷道中线为掘进机定向移动的参考轨迹,利用全站仪测量得到移动机器人在巷道平面坐标系的初始位置为(-0.4,0),偏航角为-5.21°,设移动机器人运动终点为(0,5),偏航角为0°,机身位置误差允许范围在3 cm以内,角度误差允许范围在0.2°以内。根据上述实验步骤进行实验,如图15,16所示为轨迹跟踪控制结果及误差。

图15 机身轨迹跟踪结果
Fig.15 Airframe trajectory tracking results

图15机身轨迹跟踪结果中,蓝色线为设定的机身参考运动轨迹,红色线为机身的实际运动轨迹,机身从起始位置开始运动时存在起始位置偏差,随着运动进行,机身逐渐沿参考轨迹进行运动,通过不断调整机身运动方向,使机身最终运动至期望点。由图16机身轨迹跟踪误差可得,机身位置和偏航角误差最终都收敛,且机身在X方向的位置误差为±15 mm以内,在Y方向的位置误差为±20 mm以内,机身偏向角角度误差在0.15°以内,均满足允许范围。

图16 机身轨迹跟踪误差
Fig.16 Fuselage trajectory tracking error

6 结 论

(1)提出基于图像测量的激光指向仪精确定位方案,由于相机安装于机身且两束激光线构建门型三线特征实现机身位姿测量,与相关研究对比,具有不易脱靶、标靶移动少等优点。

(2)基于单目视觉测量原理建立悬臂式掘进机位姿视觉测量模型,以2个激光指向仪为参考基准,实现掘进机机身的相对位姿测量,具有系统简单经济的优势。实验表明,利用视觉测量方法进行机身位姿测量时,姿态角角度误差在0.3°以内,位置误差在25 mm以内。实际在井下工业试验时,考虑了视觉测量存在的遮挡、丢帧等问题,组合了低成本MEMS惯导,获得了稳定的测量效果。

(3)根据悬臂式掘进机运动特点设计纠偏策略,构建了悬臂式掘进机定向掘进运动控制模型,采用Back-stepping方法实现掘进轨迹的跟踪控制,对实现综掘工作面自动化提供了借鉴。轨迹跟踪控制实验表明,控制器按照视觉测量反馈的信息控制机身沿设定的参考轨迹运动,运动至终点时,掘进机机身偏航角角度误差在0.15°以内,机身位置误差在20 mm以内,可在误差允许范围内实现对移动机器人的轨迹跟踪控制。

参考文献(References):

[1] 毛善君.“高科技煤矿”信息化建设的战略思考及关键技术[J].煤炭学报,2014,39(8):1572-1583.

MAO Shanjun.Strategic thinking and key technologyof informatization construction of high-tech coal mine[J].Coal Science and Technology,2014,39(8):1572-1583.

[2] 王国法,刘峰,孟祥军,等.煤矿智能化(初级阶段)研究与实践[J].煤炭科学技术,2019,47(8):1-36.

WANG Guofa,LIU Feng,MENG Xiangjun,et al.Research and practice on intelligent coal mine construction(primary stage)[J].Coal Science and Technology,2019,47(8):1-36.

[3] 王焱金,张建广,马昭.综掘装备技术研究现状及发展趋势[J].煤炭科学技术,2015,43(11):87-90,21.

WANG Yanjin,ZHANG Jianguang,MA Zhao.Research status and development tendency of mine fully-mechanized heading equipment technology[J].Coal Science and Technology,2015,43(11):87-90,21.

[4] 张旭辉,刘永伟,毛清华,等.煤矿悬臂式掘进机智能控制技术研究及进展[J].重型机械,2018(2):22-27.

ZHANG Xuhui,LIU Yongwei,MAO Qinghua,et al.Research and progress on intelligent control technology of boom-type roadheader in coal mine[J].Heavy Machinery,2018(2):22-27.

[5] 张科学.综掘工作面智能化开采技术研究[J].煤炭科学技术,2017,45(7):106-111.

ZHANG Kexue.Study on intelligent mining technology of fully-mechanized heading face[J].Coal Science and Technology,2017,45(7):106-111.

[6] 符世琛,李一鸣,杨健健,等.基于超宽带技术的掘进机自主定位定向方法研究[J].煤炭学报,2015,40(11):2603-2610.

FU Shichen,LI Yiming,YANG Jianjian,et al.Research on autonomous positioning and orientation method of roadheader based on Ultra Wide-Band technology[J].Journal of China Coal Society,2015,40(11):2603-2610.

[7] 田原.基于零速修正的掘进机惯性导航定位方法[J].工矿自动化,2019,45(8):70-73.

TIAN Yuan.Inertial navigation positioning method of roadheader based on zero-velocity update[J].Industry and Mine Automation,2019,45(8):70-73.

[8] HARGRAVE Chad O,JAMES Craig A,RALSTON Jonathon C.Infrastructure-based localisation of automated coal mining equipment[J].International Journal of Coal Science & Technology,2017,4(3):252-261.

[9] 杜雨馨,刘停,童敏明,等.基于机器视觉的悬臂式掘进机机身位姿检测系统[J].煤炭学报,2016,41(11):2897-2906.

DU Yuxin,LIU Ting,TONG Minming,et al.Pose measurement system of boom-type roadheader based on machine vision[J].Journal of China Coal Society,2016,41(11):2897-2906.

[10] 杨文娟,张旭辉,马宏伟,等.悬臂式掘进机机身及截割头位姿视觉测量系统研究[J].煤炭科学技术,2019,47(6):50-57.

YANG Wenjuan,ZHANG Xuhui,MA Hongwei,et al.Research on position and posture measurement system of body and cutting head for boom-type roadheade based on machine vision[J].Coal Science and Technology,2019,47(6):50-57.

[11] 宋珍珍.煤矿掘进机行走轨迹模糊控制策略的研究[D].焦作:河南理工大学,2011.

SONG Zhenzhen.Research of walking track for mine boring machine based on fuzzy control strategy[D].Jiaozuo:Henan Polytechnic University,2011.

[12] 陈慎金,成龙,王鹏江,等.基于掘进机位姿测量系统的自主标定方法误差分析[J].煤炭学报,2018,43(9):2647-2652.

CHEN Shenjin,CHENG Long,WANG Pengjiang,et al.Error analysis of autonomous calibration strategy based on roadheader attitude measurement system[J].Journal of China Coal Society,2018,43(9):2647-2652.

[13] 谭明.掘进机智能行走控制系统的设计与实现[D].武汉:武汉理工大学,2012.

TAN Ming.Design and implitation of the intelligent walking control system for boring machine[D].Wuhan:Wuhan University of Technology,2012.

[14] BUI M T,DOSKOCIL R,KRIVANEK V.Distance and angle measurement using monocular vision[A].2018 18th International Conference on Mechatronics-Mechatronika (ME)[C].Brno:IEEE,2018:1-6.

[15] 刘昶,朱枫,欧锦军.基于门形三条直线的P3L问题的闭式解[J].沈阳理工大学学报,2009,28(4):11-14,18.

LIU Qi,ZHU Feng,OU Jinjun.Door shaped three lines based P3L problem’s closed-form solution[J].Transactions of Shenyang Ligong University,2009,28(4):11-14,18.

[16] 张峻宁,苏群星,刘鹏远,等.一种基于透视投影的单目3D目标检测网络[J].机器人,2020,42(3):278-288.

ZHANG Junning,SUN Qunxing,LIU Pengyuan,et al.A monocular 3D target detection network based on perspective projection[J].Robot,2020,42(3):278-288.

[17] 张敏骏,蔡岫航,吕馥言,等.受限巷道空间区域栅格化掘进机自主纠偏研究[J].仪器仪表学报,2018,39(3):62-70.

ZHANG Minjun,CAI Xiuhang,LÜ Fuyan.Research on roadheader auto rectification in limited roadway space based on regional grid[J].Chinese Journal of Scientific Instrument,2018,39(3):62-70.

[18] 卞永明,杨濛,刘宇超,等.履带式移动机器人轨迹跟踪控制技术研究[J].中国工程机械学报,2018,16(3):189-193,206.

BIAN Yongming,YANG Meng,LIU Yuchao,et al.Research on trajectory tracking control of a tracked mobile robot[J].Chinese Journal of Construction Machinery,2018,16(3):189-193,206.

[19] CHO Gunrae,LI Jihong,PARK Daegil,et al.Robust trajectory tracking of autonomous underwater vehicles using back-stepping control and time delay estimation[J].Ocean Engineering,2020,201:107-131.

[20] 尉成果,赖欢,王太江.轮式移动机器人轨迹跟踪控制算法的研究[J].机电工程,2012,29(6):730-732,736.

WEI Chengguo,LAI Huan,WANG Taijiang.Research on algorithm of wheeled mobile robot’s trajectory tracking control[J].Journal of Mechanical & Electrical Engineering,2012,29(6):730-732,736.

Vision-based navigation and directional heading control technologies of boom-type roadheader

ZHANG Xuhui1,2,ZHAO Jianxun1,YANG Wenjuan1,2,ZHANG Chao1

(1.School of Mechanical Engineering,Xian University of Science and Technology,Xian 710054,China; 2.Shaanxi Provincial Key Laboratory of Intelligent Monitoring of Mine Mechanical and Electrical Equipment,Xian 710054,China)

Abstract:The posture measurement of coal mine tunneling equipment is currently a hot topic at home and abroad.At present,different tunnel rapid tunneling systems are facing directional navigation problems.In order to solve the problem of automatic directional tunneling control of cantilever rough-riders in coal mines,a method for automatic directional tunneling control of boom-type roadmenders based on visual navigation is proposed,using monocular visual measurement technology to use the laser point and laser beam of the laser pointer in the roadway To construct a feature-based visual measurement model of the boring machine’s posture based on the portal structure,the posture of the fuselage in the roadway is solved by spatial matrix transformation.According to the motion characteristics of the boom-type redheader,the rectification control strategy of the boring machine is determined.Based on the kinematics of the boom-type redheader,the directional tunneling motion control model of the boring machine is established.The backstepping method is used to select a suitable Lyapunov function to design the trajectory tracking controller of the roadheader,which can effectively solve the trajectory tracking control problem of the roadheader.The experimental results show that the boom-type redheader boring machine body position and attitude visual measurement method can effectively achieve the boom-type redheader boring machine body position and attitude measurement in the underground working environment,and the boring machine body position measurement error is within ±40 mm,and the attitude angle measurement The error is within 0.3°;the trajectory tracking controller can realize the automatic directional driving function of the boom-type redheader,and its motion control accuracy is within ±20 mm,which meets the accuracy requirements of roadway construction.In this method,the industrial camera is fixedly installed on the body of the tunneling equipment,and the point-line feature of the laser pointer is utilized to construct the portal three-line model as the reference for posture measurement.Compared with related research,it has the advantages of not easy to miss the target and less target movement.The research results provide theoretical and technical support for the intelligent maneuvering control of coal mine roadway rapid tunneling equipment.

Key words:vision-based navigation;directional heading control;boom-type roadheader;laser point-line feature;trajectory tracking control

中图分类号:TD421.5

文献标志码:A

文章编号:0253-9993(2021)07-2186-11

移动阅读

收稿日期:2020-04-05

修回日期:2020-06-04

责任编辑:郭晓炜

DOI:10.13225/j.cnki.jccs.ZN20.0357

基金项目:国家自然科学基金资助项目(51974228);国家绿色制造系统集成资助项目(工信部节函[2017]327号);陕西省创新能力支撑计划资助项目(2018TD-032)

作者简介:张旭辉(1972—),男,陕西凤翔人,教授,博士生导师。E-mail:zhangxh@xust.edu.cn

引用格式:张旭辉,赵建勋,杨文娟,等.悬臂式掘进机视觉导航与定向掘进控制技术[J].煤炭学报,2021,46(7):2186-2196.

ZHANG Xuhui,ZHAO Jianxun,YANG Wenjuan,et al.Vision-based navigation and directional heading control technologies of boom-type roadheader[J].Journal of China Coal Society,2021,46(7):2186-2196.