矿井轨道机车运输是井下大巷运输的主要方式之一,承担着井下煤炭和物料的运输任务(也有矿井仅用来运送物料)。井下操作环境差和技术保障手段缺乏导致轨道机车运输事故频发,井下机车的无人驾驶不仅可以减人增效,同时由于减少井下人员的数量,从而减少各种矿井事故导致的人员伤亡,具有巨大的经济效益和社会效益[1-2]。因此,作为煤矿智能化的组成部分,矿井机车无人驾驶系统的研发和使用,正受到高度关注。
与技术日趋成熟的地面汽车无人驾驶、铁路无人驾驶不同,在井下环境实施机车无人驾驶存在诸多新的挑战:① 运输大巷人车共用,巷道狭窄,行人道离轨道很近,界内界外区分困难;② 巷道弯道、遮挡多,轨道环境差,光照条件不均匀;③ 井下无法利用卫星定位系统给机车定位;④ 由于巷壁的阻隔、吸收、反射效应,射频信号传输困难;⑤ 区间长度短,运行速度慢,物料装卸与列车编组占比大,运行复杂;⑥ 整个系统必须遵循“故障-安全”的设计原则,在发生故障或意外情况时最大可能地导向安全状态。
同时,相比较于冶金和有色矿山,煤矿所有井下设备均需考虑防爆问题,所有下井设备和系统都要经过防爆审查,取得防爆合格证,这也增加了技术和实现难度。
因此,煤矿井下机车无人驾驶系统的实现,需要独特的结构框架和技术路线。
要实现无人驾驶机车在井下轨道的安全行驶,自动完成煤炭和物料的运输任务,需要对机车进行自动化改造,还需要在轨道大巷和调度中心增添相关设施,以实现系统的各项功能。
(1)列车调度智能化。
列车的自动运行应当在智能调度的基础上进行,由调度系统明确运输任务,排好运行进路,确认前方区间空闲,搬动道岔到位,开放区间信号,列车才能进入运行。列车在运行中,还需将自己的位置、状态信息报告调度系统(或者由调度系统测得列车的位置、状态信息),以便调度系统准备下一进路。这样才能保证整个运输系统高效、安全地运行。
(2)机车路况判别智能化。
通常井下轨道运输大巷是人车共用的,不像地面铁路和城市地铁的路轨区域是封闭的,这就使得机车在听从信号的前提下,运行过程中还必须时时确认前方路轨上没有人员及各种障碍物,以确保安全运行。这需要通过激光雷达、图像识别等机器视觉技术来实现。
(3)机车操控与状态采集自动化。
机车的无人驾驶意味着机车的启停、制动、驻车、鸣笛和灯光的自动化,通过驱动电机的功率、温度等判断机车工作状态和负载状态,根据需要将载荷不同的列车停在指定位置。同时还要精确地测定自己的速度和位置,把这些数据上报给监控中心。这些功能的实现在技术上没有太大困难。
(4)运输监控中心与调度中心的一体化。
为了掌握各机车的运行状况,在必要时进行远程人工干预或调派人员进行现场干预,需要设立监控中心,设置主控工作站和路况、车况显示屏。考虑到运输调度与机车运行的密切相关性,也从节约人员、场地和投资的角度,可以把运输监控中心与运输调度中心一同设在地面机房,实现二者的一体化。
(5)运输大巷移动通信网络的覆盖。
列车在自动运行过程中,必须同调度系统交换运行指令和状态数据;在意外停车需要人工干预时,需要及时上报现场状况;在列车编组或装、卸物料时,由于需要配合其他作业机动运行,往往临时改由人工控制(可以是车上驾驶、现场遥控或远程遥控);为全面掌控系统运行状况,还希望在运输监控中心显示每辆机车的实时状况数据和前方路况画面。这些都依靠机车与监控中心的数据通信。因此,覆盖轨道运输大巷的移动通信网络是系统高效运行的基础。
为了适应井下大巷运输复杂多变的运输状况,机车应当具有灵活可变的运行模式:① 人工驾驶。作为传统的机车运行模式,车上人工驾驶依然保留,以便在必要时能提供基本的运输功能。② 现场遥控。在装卸物料或列车编组过程中,常需要机车配合少量移位,由于机车上没有司机,这可以由放料人员或编组人员通过现场目视,运用便携的无线遥控器操纵机车低速移动。③ 远程遥控。操作人员在调度中心的遥控操作台上,观看安装在机车和巷壁上的摄像头通过网络传上来的现场图像,远距离操纵机车装卸料及运行。这种模式技术门槛略低,可以实现机车上现场“无人”,改善驾驶人员的工作环境和劳动强度,具有一定的实用意义。④ 自主运行。这是真正意义上的无人驾驶,机车通过移动通信网络接受调度中心发来的行车指令,运用机器视觉判断前方轨道安全状况,自主行车,完成两地之间的运输任务。但受技术手段的限制,难以在装卸料(通过卸煤坑卸煤除外)和列车编组等需要同其他作业密切配合的场合应用。
图1 井下机车驾驶模式分类
Fig.1 Driving mode classification of underground locomotive
井下电机车的4种驾驶模式设置如图1所示,人工驾驶与无人驾驶模式之间的切换由设在机车上的转换开关实现,以保证人控优先等原则。3种无人驾驶模式之间的切换则经主控工作站授权,由操作台或遥控器的开关、智能机车的响应来决定。
国外由于其煤矿采掘的特点,主要集中于浅层煤矿开展无人驾驶车辆的研究与工程化[3-5],例如2004年瑞典山特维克集团开始井下远程遥控运输卡车研发,2016年沃尔沃集团进行无人运输卡车的煤矿测试等。现阶段我国煤矿中投入试验运行的无人驾驶模式主要是地面远程遥控,例如淮北矿业集团桃园煤矿、新集能源新集二矿、山东能源亭南煤矿等。在这种模式下,机车上安装多个摄像头获得机器视频信息,经无线接入网和固定基础网将视频流数据上传地面调度室,远程操作人员根据上传的视频信息进行遥控驾驶操作。
自主无人驾驶模式将实现完全由机器根据井下现场的状况、作业任务要求、机车位置/状态、控制联锁条件等进行综合决策,实时自动驾驶控制,在一般情况下驾驶过程无需人工干预,是井下机车无人驾驶发展的高级阶段。自主无人驾驶模式需要较为强大的计算能力支撑机器视觉信息处理,是人工智能与煤矿运输的深度结合应用,相关理论、技术尚处于不断的发展过程中。
井下机车无人驾驶系统的整体架构如图2所示。系统由自控机车、轨旁设备、监控中心和通信网络几部分组成。
(1)自控机车装有机车控制器,能够控制机车进退方向和运行速度,实现制动和驻车,还能实现灯光、鸣笛、升降导电弓等设施控制;通过安装在车身的各种传感器检测驱动电机的电流、温度,机车的速度、位置。自控机车还装有路况分析器,通过分析车载摄像头采集的路况图像向机车控制器发出鸣笛、减速、制动等行车指令,保障安全行车。此外,自控机车还装有无线移动终端,通过网络接收监控中心行车指令,上报状态信息,同时传送机车的路况图像到监控中心供遥控驾驶用。在人工驾驶模式下,机车控制器接收机车操作台行车指令;在遥控驾驶模式下,接收网络下发的行车指令;在自主运行模式下,综合网络和路况分析器的行车指令。
(2)轨旁设备包括运输调度系统的井下现场分站及其管理的转辙机、信号机;通信系统的网关、无线基站;检测机车位置的计轴器、信标应答器等传感器。
图2 井下机车无人驾驶系统架构
Fig.2 General system structure of driverless system for underground locomotive
(3)监控中心实施运输调度和行车监控,包括负责运输调度的调度服务器和调度工作站、监控机车运行状况的主控工作站、保存机车路况图像和行车数据的流媒体服务器、远程遥控驾驶机车的遥控操作台。
(4)通信网络由监控中心的局域网、运输大巷的通信网主干层和连通机车移动终端的无线接入层组成,建立从监控中心到轨旁设备、自控机车的数据通道,承担传送各种指令、状态信息和图像数据的任务。
系统大部分设备可以设计成为本质安全型,少量设备只能是隔爆兼本安型(主要是电源箱),矿用电机车仍保持原有防爆型式。所有下井设备和系统都要经过防爆审查,取得相关证件。
井下机车无人驾驶是一套较为复杂的智能化系统,需要运用多种近年发展的新技术,现对几项关键技术略作探讨。
煤矿井下轨道运输调度的智能化能够有效地提高运输效率、减少运输事故,国内相关研究与实践起始于20世纪80年代末期,在当时基于传统机电技术的“信号、集中、闭塞”系统在井下防爆环境长距离控制难以稳定运行的背景下,合肥工业大学与淮南矿务局潘集一矿合作,用通信线路将地面调度室的主控计算机和分散在运输大巷各处的井下现场分站联系起来,实现对轨旁各信号设备的集散控制[6],在此基础上建立模型、设计算法,实现运输任务编排、轨道区间闭锁和列车进路开放的自动化和智能化[7]。依托这套系统,工程人员只要规划好各运输任务的行驶路线,给出沿线各测控设备状态,完成系统配置;运行时调度员给各机车分配好运输任务,系统就能根据路轨区间占用情况,适时搬动道岔、开放信号,调度列车完成运输任务。近年,中国矿业大学等高校和科研单位也进行过相关系统的研究与实践[8-10]。这些系统在国内大中型煤矿得到较大程度的推广,这也使得列车行驶无人化有了较好的基础。
煤矿井下无人驾驶系统应当在运输调度智能化的基础上实现,这样不仅可以更大程度地减少人工介入,提高井下运输生产的稳定性、安全性,而且无人驾驶系统与智能调度系统的资源共享、协同工作,还可以消除信息孤岛,增强系统功能,降低技术难度,减少建维成本。
2个系统都需要覆盖所有轨道运输大巷的数据通信网络。运输调度系统主要是轨旁测控设备的有线固定接入方式,传送的是操控指令和状态信息,数据量不大;无人驾驶系统主要是机车的无线移动接入方式,传送内容以视频图像为主,数据量较大。二者完全可以共用同一沿运输大巷布设的主干网络,这将大大减少系统投资和维护成本。
常规运输调度系统是通过信号机向司机发出行车指令,无人驾驶机车如果通过辨识信号机颜色来识别行车指令势必增加系统复杂度和出错概率,因而更希望行车指令通过通信网络直接发送给机车(遥控模式时还要发给遥控操作台)。另外调度系统在给出行车指令时如能同时给出进路长度、载荷性质等辅助信息,也将有助于自动驾驶的安全、平稳。这些都要求运输调度系统开放数据接口并送出相关信息。
由于技术手段限制,常规运输调度系统是通过计轴器或者无线收/发信装置等车位传感器来检测列车是否进入区间,为信号开闭和道岔控制提供联锁条件,但无法掌握列车在区间内的具体位置[11]。无人驾驶机车向调度系统报告自身当前准确位置,将有助于提高调度效率。
综上所述,运输调度的智能化是机车驾驶无人化的基础,两套系统资源共享、信息互通会带来很大的经济和技术优势。随着技术的发展和成熟,集二者为一体的井下轨道运输智能系统将是必然趋势。
井下机车在无人驾驶过程中,需要随时掌握自身位置,精度要达到亚米级,以便在弯道前减速、鸣笛,在进路终点准确停车,并提供位置信息给监控中心。
由于井下大巷环境的封闭性,无法使用GPS、北斗等开放空间的精确定位技术,只能借鉴室内定位方法。主流定位技术可以分为两大类,一类是借助位置的某种稳定特征与已知信息比对来判断,如图像、地磁、射频指纹等,这类方法前期采集工作量大,精度不够稳定,不适合在机车上应用;另一类是通过测量目标与已知固定参考点的距离或角度,推算出目标的相对位置,这类方法技术手段多,结果确定,其中测量某种媒介(如声、光、无线电波等)在目标与参考点之间传输时间从而得到传输距离的方法相对易于实现,得到广泛应用。这类方法需要在运行场所布置一定数量的固定参考点(定位信标),井下机车运行范围确定,布置较为方便。同时,由于机车是在运输大巷的轨道上行驶的,只需对其在轨道线上的一维空间进行定位,就能确定机车位置,这也降低了实现难度。可以在进路起点信号灯处安装定位信标,机车在驶近时标定自身位置(称为对标),然后借助车轮计数器测得行驶距离,获得任意时刻机车在进路中的精确位置。
室内定位和测距可以采用多种技术,所适用的环境和范围有很大区别。表1列出了主要的室内定位技术的一些适用性差异[12-16]。考虑到井下机车无人驾驶系统的作业特点,从检测精度、通信距离、部署的难易程度、应用成本等多方面考虑,UWB(Ultra Wide Band,超宽带)无线定位技术具有较大竞争力。随着近年来井下移动目标各类监测监控系统的建设发展,UWB无线精确定位技术已逐步获得广泛的应用。
表1 主要的室内定位(测距)技术比较
Table 1 Comparison of main indoor positioning technologies
技术精度/m成本传输距离/m抗干扰连续定位功耗稳定性部署难易程度蓝牙(BLE)1低100较弱是较低一般,频段易受干扰一般,高密度定位信标部署UWB0.1~0.3高250强是低较好较难RFID1~5低5弱否极低较好,但有距离限制较难,标签体积小,通信能力弱红外5高15弱否高一般,易受灯光干扰较难超声波1高10强是高较好,但有距离限制较难,需要高密度部署定位信标、多径效应、衰减明显LED1低20较强是高较好,但有距离限制一般,利用灯具作为定位信标部署ZigBee3低75弱是低较差,易受环境干扰一般WiFi3低50较强是高较差,共用AP定位,信号不稳定;不同设备信号强度不统一容易,共享WiFi AP激光0.1高300强是较高较好,但受限于视野范围较难
UWB无线通信技术是20世纪90年代发展起来的,最早主要应用于无线数据通信领域,由美国国防部高级研究计划署(DARPA)于1989年定义,当时规定超宽带信号为-20 dB相对带宽大于25%,或-20 dB绝对带宽大于500 MHz的无线电信号。2002年,美国联邦通信委员会(FCC)批准超宽带技术进入民用领域,并对超宽带进行了重新定义,规定无论是无载波、单载波或多载波形式,也不限具体的调制方式,只要-10 dB相对带宽大于20%或-10 dB绝对带宽大于500 MHz的无线电信号均可称为超宽带信号[17]。
早期的UWB超宽带技术主要是在数据通信领域得到了广泛应用。2012年爱尔兰的DecaWave公司推出了一款可用于室内高精度测距、定位的UWB信号收发芯片DW1000,在尺寸、价格、功耗、功能等方面都取得了很大的优势,并且符合IEEE 802.15.4—2011标准,获得了大规模的推广应用,极大地促进了室内无线定位技术的发展[18-19]。
以DW1000为例,通过UWB芯片测量记录定位信标与目标标签之间无线信号精确的传输时长,计算信标与目标之间的距离,获取目标的位置[20-22]。
基于DW1000的UWB井下无线精确定位系统,依据参数设置的不同,经过多次测距完成一次定位所需的时间周期大约在5~30 ms。
在定位区域内如果存在多个目标,需要采用分时技术。多目标的分时定位协议涉及目标标签与定位信标之间的时间同步问题。
自控机车在运行过程中需要上传高清路况图像供遥控驾驶和监控、保存,需要上报机车状况并接收行车指令,这些数据经由车载终端通过设在大巷的无线基站接入大巷光纤骨干网连通监控中心,机车运行时需要在相邻无线AP(Access Point,接入点,即通信基站)之间切换;轨旁设备的测控信息和关键路段的监控图像也要接入大巷光纤骨干网。实时遥控驾驶对图像的质量和时延提出了较高要求,所以构建高质量井下宽带无线移动通信网络是井下机车无人驾驶系统实施的技术关键之一[23]。
考虑到安全性、实时性,支持煤矿井下机车无人驾驶系统的通信网络需要满足以下技术指标:
(1)考虑一台自控机车传送一路高清视频图像(行车指令和机车状态数据量很小,可以忽略不计),机车移动终端数据带宽≥20 Mbps;
(2)单台无线AP附近最多有3台机车运行,则AP要容许3台以上终端同时接入,接入能力≥60 Mbps;
(3)在最高车速≤5 m/s的条件下,机车终端要能在相邻AP之间平滑切换,切换时间≤ 200 ms;
(4)系统支持的机车数量≥10台,考虑关键路段、装卸载站的视频图像接入,主干网带宽≥1 000 Mbps;
(5)移动端流数据上行(至地面调度室)及控制指令下行的通信时延≤500 ms,网络丢包率≤1%。
现阶段,井下无线宽带移动通信大多采用WLAN架构,其新一代高速无线局域网标准是802.11 n,该标准使用了MIMO(Multiple-Input Multiple-Output,多输入多输出)和OFDM(Orthogonal Frequency Division Multiplexing,正交频分复用)技术,最大理论速率可达600 Mbps,相比传统的802.11a/b/g标准通信速率大大提升。此外,该标准可以工作在2.4 GHz频段或者5.2 GHz频段,兼容802.11 a/b/g标准[24-25]。
图2中的井下机车无人驾驶数据通信网络是WLAN架构,由核心骨干层及无线接入层组成。核心骨干层是千兆光纤环网,能够实现500 ms内的业务快速恢复和收敛,为各项业务提供全面的端到端的服务质量保证。轨旁无线接入层包括轻量级无线网络接入点(瘦AP)和无线LAN控制器(WLC),具有部署灵活、管理方便的特点,轨旁AP通过主干交换机接入光纤环网,为机车等移动终端提供百兆宽带接入服务。在机车的头部和尾部分别布置移动终端,使得机车在任何位置能同时接收到至少两个无线AP的信号,增强对轨旁AP故障及信号衰落的容错能力。 在系统布置中,还需根据现场工程勘测、频点规划、特殊区域(弯道、岔道)的布点方案等进行AP优化部署,轨旁AP天线宜采用定向天线分集部署。
第五代移动通信(5th generation wireless systems)是目前最先进的蜂窝移动通信技术,可以提供超大容量、超可靠、超低时延的各类信息传输的统一通信平台。
采用5G移动通信的井下机车无人驾驶系统能够匹配超万兆网络的地面集中式远程云计算平台,或者基于边缘计算(Mobile Edge Computing,MEC)架构的大容量分布式计算平台,这类高能计算平台的加入使系统的运算能力得到极大提升,响应也更为快捷,这将大幅优化机车无人驾驶系统的性能和可靠性:
(1)采用远程遥控驾驶模式时,监控中心的操作人员获得井下画面、发出控制命令的实时性大幅提高,远程遥控更为敏捷;
(2)采用自主运行模式时,以极低延时将井下机车路况视频信息流及其他传感数据流实时上传地面调度中心,运用高能计算平台进行大数据支持下的高强度智能计算,实现机器视觉和决策控制,提升机车无人驾驶的可靠性与适应性;
(3)为井下移动MEC系统架构提供移动端的无线通信服务,将计算存储能力与业务服务能力向网络边缘迁移,建立井下机车无人驾驶的分布式深度计算环境与协同调度机制[26]。
在无人驾驶的自主运行模式下,路况分析器承担着路况的视觉感知作用,运用机器视觉将摄像机拍摄到的前方轨道路况画面进行实时解析,获取障碍物目标的有无和距离信息,判断其对行车的影响,传递给机车控制器完成鸣笛、减速、制动等操作。采用机器视觉进行路况识别时,对于安全路况的判定准则不是“发现符合已知的危险状况即停车”,而是“发现不符合已知的安全状况即停车”,这样可以最大程度地保证行车安全。
路况分析的一般过程为:① 对路况图像进行预处理,包括图像去抖和图像增强;② 进行车轨线识别;③ 根据车轨线,对路况场景进行区域划分,将其分为警戒区、预警区和安全区;④ 在警戒区和预警区中进行障碍物识别,这里的障碍物包括行人和一切影响行车安全的物件、材料;⑤ 对识别出的障碍物进行距离测算;⑥ 将路况识别的结果,即障碍物类型、所处区域及距离参数发给机车控制器。
区域类型的划分如图3所示,a处于安全区域内,行车通过无影响;b处于预警区域内,需鸣笛示警;c处于警戒区域,应立即停车。
图3 井下轨道区域划分示意
Fig.3 Machine vision task of underground locomotive
路况分析算法复杂,运算量大,是人工智能的典型应用领域,相关算法正在快速发展;其作为车载嵌入式应用,计算平台也受到关注。
传统的轨道检测主要分为基于轨道模型的方式和基于图像特征的方式。
基于轨道模型的检测方法[27-28],原理是将轨道检测问题转换为求解轨道模型参数问题,根据局部范围内的轨道形态采用分段直线、抛物线、双曲线以及样条曲线等描述模型来实现对轨道的拟合,其关键在于选取合适的轨道模型以获取准确的轨道描述。主流的求解模型参数的方法有Hough变换、RANSAC算法和最小二乘法等。该类方法往往不能适应多种路况场景,且轨道的形状变化多样,难以用直线模型进行拟合,算法缺乏任意轨道形状的鲁棒性和灵活性;若采用抛物线、样条曲线等进行检测则算法过于复杂,计算量较大。
基于图像特征的轨道检测技术[29-30],原理是利用边缘、纹理、颜色、几何形状和灰度值等特征信息,与轨道周边环境区分开来,从而提取出轨道区域并获取轨道在图像中的具体位置信息。由于过度依赖图像底层特征,若轨道表面光照变化较为明显,或轨道被积水、矿物等物体掩盖的情况下,则不能有效去除周围环境因素等的干扰,为后续工作带来了较大的挑战从而影响到轨道的最终检测效果。
基于深度学习的轨道检测算法首先构建神经网络模型,然后运用标记样本对模型进行训练,从海量数据中自动提取轨道特征从而获得较高的准确率和效率,一些学者进行了有益的探索。韩江洪等提出了适用于井下轨道检测的深度学习空间卷积神经网络[31],实现了轨道像素级别的实例分割,进一步满足了轨道检测在高分辨率下的实时应用。LI等提出一种结合多尺度信息的条件生成对抗网络轨道线检测算法[32],解决了传统图像处理算法在井下轨道检测的准确性低与细腻度差的问题。该类方法不需要手工设计和组合复杂特征,仅通过训练数据自动获取目标的高级语义信息,能够适应恶劣环境下的轨道场景,是井下轨道检测技术未来发展趋势。
目标检测,即准确迅速拾取场景视频图片中的多个目标位置(坐标)及其类别,是广为研究的图像分类任务的升级。井下目标检测主要以典型的行人检测展开。
自20 世纪 90 年代中期至21世纪初期,研究人员使用“图像获取—特征提取—模式分类”这一经典模式识别框架进行行人检测,同时致力于寻找更为有效的检测方法[33-34]。
表2总结归纳了主流目标检测网络,即深层目标检测卷积神经网络。其中两阶段网络是指检测步骤分为区域生成和对生成的候选区域进行分类和回归这两步;单阶段网络则是指直接生成候选区域并对候选区域进行分类回归操作;混合网络是指兼有两者的特质。
现阶段的井下目标检测工作主要是以行人为代表的深度学习目标检测网络改进、自行采集与标注数据集的训练与验证[47-51]。
表2 深度学习目标检测网络比较
Table 2 Comparison of deep learning based target detection networks
名称(年份)方式主干网络结构特点与贡献数据集性能指标评价RCNN(2013)[35]两阶段依托分类网络ALex-Net滑动窗口生成2K候选区域,构造SVM分类器ILSVRC训练分多步、时间内存消耗大SPP(2013)[36]两阶段依托分类网络ALex-Net提出空间金字塔变换思想PASCAL VOC训练分多步、不能端到端训练Fast-RCNN(2015)[37]两阶段依托分类网络ALex-Net提出ROI-Pooling,使用softmax代替SVMILSVRC 20XX,PAS-CAL VOC效果提升明显,但候选区域生成耗时太多Faster-RCNN(2015)[38]两阶段依托分类网络VGG16-16首次提出候选区域建议网络RPN,首次提出anchor机制,PASCAL VOCanchor思想被许多之后的网络采用R-FCN(2016)[39]两阶段依托ResNet-101网络Conv之前的网络修改提出位置敏感ROI(稀疏的候选区域)池化PASCAL VOC采用了全卷积网络、改善了两阶段网络的速度Yolov1(2016)[40]单阶段依托GoogleNet增强anchor机制PASCAL VOC速度提升显著,泛化能力弱SSD(2016)[41]单阶段依托VGG16网络为基础进行修改提出多尺度特征映射、Hard Negative Mining技术,使用了2种数据增强VOC和COCO数据集增强了对小目标的检测能力Yolov2(2017)[42]单阶段提出网络结构Dark-Net-19在网络每层输入都增添了Batch Normalization层,采用了K-means聚类估计的方法估计了anchor的大小比例VOC和COCO数据集速度提升显著FPN(2017)[43]混合ResNet自下而上的卷积神经网络,自上而下过程和特征与特征之间的侧边连接。COCO trainval35k提高了对物体的检测性能尤其是小物体的检测RetinaNet(2017)[44]单阶段ResNet一个主网络加上两个子网络所构成,主网络用于对特征进行卷积,两个自网络分别用于进行分类与位置的回归。COCO trainval35k利用Focal Loss解决了目标检测中类别不平衡的问题Yolov3(2018)[45]单阶段darknet-53网络结构主网络采用残差连接机制,并利用特征金字塔连接不同尺寸的特征图,最后采用bounding box改进了anchorCOCO trainval35k快速和高效兼顾RefineDet(2018)[46]混合在SSD网络的基础上进行了修改,主干网络依然是VGG网络采用了transfer connection block(TCB)模块对特征进行了传递VOC和COCO数据集速度和SSD相近,精度明显更高
经典的基于机器视觉的距离测量方法主要分两种:基于双目的距离测量和基于单目的距离测量。
包括井下场景在内的大多数基于计算机视觉的深度估计方法都是依靠双目视觉实现的。利用两台摄像头模拟人的双眼,通过二者图像的差异去计算图像的深度信息;一般过程为先对双目摄像头进行标定得到内/外参数矩阵,其次进行畸变立体校正,目的是为了对左右图像进行重投影,使它们精准地落在同一平面。然后对校正后的左右图像进行匹配计算得到视差图(图4)。最后利用视差图、摄像机内/外参数与深度信息之间的函数关系计算得到目标场景深度数据[52]。
图4 井下行人目标检测与轨道识别
Fig.4 Pedestrian detection and track recognition in underground mine
单目视觉的目标测距,常用的是离线定标法,先将相机进行标定以获取相机的内外参数,再通过坐标系转换和几何变换求解目标实际距离。由于图像中不包含目标的深度信息,一般利用一些先验知识对目标进行一定约束,然后根据目标在图像中的位置或尺寸进行距离估计[53]。
单目测距精度通常要低于双目测距,利用轨道本身是两根确定距离的平行线,并且轨道地平起伏不会太大这样的先验知识,能大大提高单目视觉对轨道上障碍物的距离测定精度,满足机车自主运行的需要。
近年一些学者运用卷积神经网络开展基于深度学习的距离估计研究,取得了较好的效果[54-55]。
上述的深度计算模型需要高额的存储空间、计算资源消耗,例如用152层ReNet对分辨率为224×224的图片推理时会产生6千万的参数,需要20 G次的浮点操作。因此在井下无人驾驶机车实现计算机代替“人眼”的轨道判别、障碍物识别等功能,需要有一个功能强大的嵌入式智能信息平台。该平台处理能力和响应速度远超传统的嵌入式控制器。
典型的嵌入式人工智能平台具有CPU+GPU SoC 的结构特点,例如NVIDIA Jetson TX2 SoC 计算卡[56]集成了1枚64位四核ARMv8@2.0 GHz 的A57 微处理器、1枚双核超标量ARMv8@2.0 GHz 的Denver 微处理器和1枚嵌入式的Pascal 架构GPU。
许多学者开始研究深度学习网络的压缩和加速,主要分为两大类:一类是针对卷积神经网络的矩阵运算提出一些硬件实现方法,设计专用的硬件加速器,在降低计算消耗的基础上加速卷积神经网络的训练和推理[57-60];另一类是根据网络本身参数和表征的冗余性对网络及其中的参数进行裁剪、量化[61-64]、低秩分解[65]或者是使用知识蒸馏[66]来减小网络的内存占用和运算量。
作为一种相较于雷达与激光更为廉价且信息量获取丰富的解决方法,基于深度学习的视觉处理系统,在以下诸多方面已经逐步具备产业化条件。① 井下场景照明条件的改善,场景数据集的海量采集与标注;② 目标检测、语义分割、目标跟踪、深度估计、域自适应等推理模型日新月异,正朝着精度与速度平衡点方向发展;③ 新型硬件加速器的诞生,深度学习网络的优化与轻量化,使得嵌入式平台上运行深度学习运算模型正快速变为现实。
(1)井下机车无人驾驶是煤矿智能化的重要组成部分,可以有效减少井下作业人员,降低运输事故频度。
(2)无人驾驶系统需要覆盖整个运输大巷的宽带移动数据通信网络的支持,需要与智能调度系统相互配合,通过机车操控自动化、路况判别智能化来实现。系统应能支持现场遥控、远程遥控和自主运行等多种驾驶模式,才能适应煤矿复杂多变运输任务的各种作业场景。
(3)围绕无人驾驶系统的关键技术展开探讨:UWB测距能够满足机车运行亚米级定位的需求;采用802.11 n标准的WLAN接入网与千兆光纤骨干网结合,能符合运输大巷的宽带移动数据通信网络在带宽、时延、站点切换时间等方面主要指标;运用深度学习神经网络进行井下轨道与障碍物检测,实现机器视觉支持下的机车自主运行,随着算法的逐步完善、算力的快速提升和数据规模的拓展,正走向实用。
(4)随着5G时代的到来,云计算或边缘计算架构的应用和机器视觉技术的发展,机车无人驾驶系统即将在我国大中煤矿推广应用,推动煤矿开采的无人化进程。
[1] 王建斌,韩江洪,魏振春,等.井下无人驾驶机车运行过程控制的建模与验证[J].合肥工业大学学报(自然科学版),2018,41(6):773-779.
WANG Jianbin,HAN Jianghong,WEI Zhenchun,et al.Modeling and verification of running process control for unmanned mine locomotive[J].Journal of Hefei University of Technology (Natural Science),2018,41(6):773-779.
[2] 魏臻,张晓旭,陆阳,等.井下巷道机车无线接入通信策略[J].计算机应用,2016,36(4):909-913.
WEI Zhen,ZHANG Xiaoxu,LU Yang,et al.Locomotive wireless access communication strategy of underground linear roadway[J].Journal of Computer Applications,2016,36(4):909-913.
[3] NATARAJA N,PRASAD P,JOSEPH S,et al.Design of Driverless Train using Li-Fi Communication[A].2019 4th International Conference on Recent Trends on Electronics,Information,Communication & Technology (RTEICT)[C].Bangalore,2019:556-562.
[4] HUH S,LEE U,SHIM H,et al.Development of an unmanned coal mining robot and a tele-operation system[A].2011 11th International Conference on Control,Automation and Systems[C].Gyeonggi-do,2011:31-35.
[5] KUMAR S S,JABANNAVAR S S,SHASHANK K R,et al.Localization and tracking of unmanned vehicles for underground mines[A].2017 Second International Conference on Electrical,Computer and Communication Technologies (ICECCT)[C].Coimbatore,2017:1-4.
[6] 商永泰.矿井信集闭[M].北京:煤炭工业出版社,1993.
[7] 陆阳,郭智奇,韩江洪,等.矿井机车运输监控系统调度联锁过程的Petri网建模[J].煤炭学报,2007,32(11):1216-1223.
LU Yang,GUO Zhiqi,HAN Jianghong,et al.Dispatching and inter locking modeling of locomotive transportation control system in mine based on Petri net[J].Journal of China Coal Society,2007,32(11):1216-1223.
[8] 王保德.煤矿井下运输智能调度指挥系统[J].工况自动化,2014,40(7):87-89.
WANG Baode.Intelligent dispatching and command system of underground transport[J].Industry and Mine Automation,2014,40(7):87-89.
[9] 荀家宝.矿井轨道运输智能监控与优化调度系统研究[D].徐州:中国矿业大学,2017.
XUN Jiabao.Research on intelligent monitoring and optimal dispatching system of mine track transportation[D].Xuzhou:China University of Mining & Technology,2017.
[10] 王云鹏,付衍斌.基于精确定位的井下运输信集闭系统的研究[J].电子技术,2013,36(2):14-16.
WANG Yunpeng,FU Yanbin.Research on the signal centralization interlocking system in undermine transportation based on precise positioning[J].Electronic Technology,2013,36(2):14-16.
[11] GB 50388—2016.煤矿井下机车车辆运输信号设计规范[S].
[12] 刘琪,冯毅,邱佳慧.无线定位原理与技术[M].北京:人民邮电出版社,2017.
[13] 刘江龙.基于机器学习的射频指纹定位方法研究[D].成都:电子科技大学,2015.
LIU Jianglong.Reseach on rf fingerprinting localization based on machine learing[D].Chengdu:University of Electronic Science and Technology of China,2015.
[14] YASSIN Ali,NASSER Youssef,AWAD Mariette,et al.Recent advances in indoor localization:A survey on theoretical approaches and applications[J].IEEE Communication Surveys & Tutorials,2017,19(2):1327-1346.
[15] ZAFARI F,GKELIAS A,LEUNG K.A survey of indoor localization systems and technologies[J].IEEE Communication Surveys & Tutorials,2019,21(3):2568-2599.
[16] TIAN X,WU X,LI H,et al.RF fingerprints prediction for cellular network positioning:A subspace identication approach[J].IEEE Transactions on Monile Computing,2020,19(2):450-465.
[17] 赵亮.超宽带拓展距离通信技术研究[D].郑州:解放军信息工程大学,2011.
ZHAO Liang.Reseach on the UWB range extension communication technology[D].Zhengzhou:Information Engineering University,2011.
[18] DecaWave Ltd.DW1000 Datasheet,Version 2.10[R].2011.
[19] IEEE 802.15.4—2011.IEEE standard for local and metropolitan area networks-Part 15.4:low-rate wireless personal area networks (LR-WPANs)[S].
[20] TIEMANN Janis,WIETFELD Christian.Scalability,real-Time capabilities,and energy effificiency in ultra-wideband localization[J].IEEE Transactions on Industrial Informatics,2019,15(12):6313-6321.
[21] ALARIFIFI Abdulrahman,AL-SALMAN AbdulMalik,ALSALEH Mansour,et al.Ultra wideband indoor positioning technologies:Analysis and recent advances[J].Sensors,2016,707:1-36.
[22] 方文浩.基于UWB的煤矿井下高精度定位技术研究[D].合肥:合肥工业大学,2018.
FANG Wenhao.Research on high-precision localization technology in underground coal mine based on utral wideband[D].Hefei:Hefei University of Technology,2018.
[23] DOHARE Y S,MAITY T,DAS P,et al.Wireless communication and environment monitoring in underground coal mines-review[J].IETE Technical Review,2015,32(2):140-150.
[24] 辛静.基于IEEE802.11n的城市轨道交通车地通信研究[D].兰州:兰州交通大学,2014.
XIN Jing.FANG Wenhao.Research on train-ground communication in urban rail transit based on IEEE802.11n[D].Lanzhou:Lanzhou Jiaotong University,2014.
[25] 王岩.基于IEEE_802.11n的无线视频传输优化技术研究[D].北京:北京邮电大学,2012.
WANG Yan.Research on wireless transmission of video based on IEEE 802.11n[D].Beijing:Beijing University of Posts and Telecommunications,2012.
[26] 齐彦丽,周一青,刘玲,等.融合移动边缘计算的未来5G移动通信网络[J].计算机研究与发展,2018,55(3):478-486.
QI Yanli,ZHOU Yiqing,LIU Ling,et al.MEC coordinated future 5G mobile wireless networks[J].Journal of Computer Research and Development,2018,55(3):478-486.
[27] 彭飞,陈维荣,冒波波,等.基于Canny边缘检测和聚合接续法的路轨边缘提取方法[J].铁道学报,2012,34(2):52-57.
PENG Fei,CHEN Weirong,MAO Bobo,et al.Rail-framework abstraction based on canny edge detection and poly-connection[J].Journal of the China Railway Society,2012,34(2):52-57.
[28] QUACH C H,TRAN V L,NGUYEN D H,et al.Real-time lane marker detection using template matching with RGB-D camera[A].2018 2nd International Conference on Recent Advances in Signal Processing,Telecommunications & Computing (SigTelCom),IEEE[C].Ho Chi Minh,2018,152-157.
[29] 董昱,郭碧.基于Hu不变矩特征的铁路轨道识别检测算法[J].铁道学报,2018,40(10):64-70.
DONG Yu,GUO Bi.Railway track detection algorithm based on hu invariant moment feature[J].Journal of the China Railway Society,2018,40(10):64-70.
[30] BENTE T F,SZEGHALMY S,FAZEKAS A.Detection of lanes and traffic signs painted on road using on-board camera[A].IEEE International Conference on Future Iot Technologies,IEEE[C].Heves,2018.
[31] 韩江洪,乔晓敏,卫星,等.基于空间卷积神经网络的井下轨道检测方法[J].电子测量与仪器学报,2018,32(12):34-43.
HAN Jianghong,QIAO Xiaomin,WEI Xing,et al.Downhole track detection method based on spatial convolutional neural network[J].Journal of Electronic Measurement and Instrumentation,2018,32(12):34-43.
[32] LI J,WEI X,YANG G,et al.Downhole Track Detection via Multiscale Conditional Generative Adversarial Nets[J].arXiv preprint arXiv:1904.08177,2019.
[33] TRIBAK H,MOUGHYT S,ZAZ Y,et al.Remote QR code recognition based on HOG and SVM classifiers[A].International Conference on Informatics and Computing (ICIC).IEEE[C].Mataram,2016:137-141.
[34] HONG G S,KIM B G,HWANG Y S,et al.Fast multi-feature pedestrian detection algorithm based on histogram of oriented gradient using discrete wavelet transform[J].Multimedia Tools and Applications,2015,75(23):1-17.
[35] GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[A].Proceedings of the IEEE conference on computer vision and pattern recognition[C].Washington DC,2014:580-587.
[36] HE K,ZHANG X,REN S,et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern analysis and Machine Intelligence,2015,37(9):1904-1916.
[37] GIRSHICK R.Fast r-cnn[A].Proceedings of the IEEE international conference on computer vision[C].Santiago,2015:1440-1448.
[38] REN S,HE K,GIRSHICK R,et al.Faster r-cnn:Towards real-time object detection with region proposal networks[A].Advances in neural information processing systems[C].Montreal,2015:91-99.
[39] DAI J,LI Y,HE K,et al.R-fcn:Object detection via region-based fully convolutional networks[A].Advances in neural information processing systems[C].Barcelona,2016:379-387.
[40] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:Unified,real-time object detection[A].Proceedings of the IEEE conference on computer vision and pattern recognition[C].Las Vegas,2016:779-788.
[41] LIU W,ANGUELOV D,ERHAN D,et al.Ssd:Single shot multibox detector[A].European conference on computer vision[C].Amsterdam 2016:21-37.
[42] REDMON J,FARHADI A.YOLO9000:better,faster,stronger[A].Proceedings of the IEEE conference on computer vision and pattern recognition[C].Honolulu,2017:7263-7271.
[43] LIN T Y,DOLLR P,GIRSHICK R,et al.Feature pyramid networks for object detection[A].Proceedings of the IEEE conference on computer vision and pattern recognition[C].Honolulu,2017:2117-2125.
[44] LIN T Y,GOYAL P,GIRSHICK R,et al.Focal loss for dense object detection[A].Proceedings of the IEEE international conference on computer vision[C].Honolulu,2017:2980-2988.
[45] REDMON J,FARHADI A.Yolov3:An incremental improvement[J].arXiv Preprint arXiv:1804.02767,2018.
[46] ZHANG S,WEN L,BIAN X,et al.Single-shot refinement neural network for object detection[A].Proceedings of the IEEE conference on computer vision and pattern recognition[C].Salt Lake City,2018:4203-4212.
[47] 王琳,卫晨,李伟山.结合金字塔池化模块的YOLOv2的井下行人检测[J].计算机工程与应用,2019,55(3):133-139.
WANG Lin,WEI Chen,LI Weishan.Pedestrian detection based on YOLOv2 with pyramid pooling module in underground coal mine[J].Computer Engineering and Applications,2019,55(3):133-139.
[48] 李伟山,卫晨,王琳.改进的Faster RCNN煤矿井下行人检测算法[J].计算机工程与应用,2019,55(4):200-207.
LI Weishan,WEI Chen,WANG Lin.Improved faster RCNN approach for pedestrian detection in underground coal mine[J].Computer Engineering and Applications,2019,55(4):200-207.
[49] 谢昭莉,王壬,张德全.基于图像识别的井下机车轨道检测方法[J].计算机工程,2012,38(14):147-149.
XIE Zhaoli,WANG Ren,ZHANG Dequan.Track detection method of underground locomotive based on image recognition[J].Computer Engineering,2012,38(14):147-149.
[50] 李晓明,郎文辉,马忠磊,等.基于图像处理的井下机车行人检测技术[J].煤矿机械,2017,38(4):167-170.
LI Xiaoming,LANG Wenhui,MA Zhonglei,et al.Pedestrian detection technology for mine locomotive based on image processing[J].Coal Mine Machinery,2017,38(4):167-170.
[51] 王前选,梁习锋,刘应龙,等.铁路钢轨视觉识别检测方法[J].中南大学学报(自然科学版),2014,45(7):2496-2502.
WANG Qianxuan,LIANG Xifeng,LIU Yinglong,et al.Railway rail identification detection method using machine vision[J].Journal of Central South University (Science and Technology),2014,45(7):2496-2502.
[52] 安果维,王耀南,周显恩,等.基于显著性检测的双目测距系统[J].智能系统学报,2018,13(6):913-920.
AN Guowei,WANG Yaonan,ZHOU Xianen,et al.Binocular distance measurement system based on saliency detection[J].CAAI Transactions on Intelligent Systems,2018,13(6):913-920.
[53] LIU F,SHEN C,LIN G.Deep convolutional neural fields for depth estimation from a single image[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].Boston,2015:5162-5170.
[54] LI B,SHEN C,DAI Y,et al.Depth and surface normal estimation from monocular images using regression on deep features and hierarchical CRFs[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].Boston,2015:1119-1127.
[55] WANG P,SHEN X,LIN Z,et al.Towards unified depth and semantic prediction from a single image[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].Boston,2015:2800-2809.
[56] AMERT T,OTTERNESS N,YANG M,et.al.GPU scheduling on the nvidia tx2:hidden details revealed[A].2017 IEEE Real-Time Systems Symposium (RTSS),IEEE[C].Psris,2017:104-115.
[57] CHEN T,DU Zidong,SUN Ninghui,et al.A Small-footprint high-Throughput accelerator for ubiquitous machine-learning[J].Acm Sigplan Notices,2014.49(4):269-283.
[58] CHEN Y,LUO T,LIU S,et al.DaDianNao:A Machine-Learning Supercomputer[A].2014 47th Annual IEEE/Acm International Symposium on Microarchitecture[C].Cambridge,2014,609-622.
[59] QIU,J,WANG J,YAO S,et al.Going Deeper with Embedded FPGA Platform for Convolutional Neural Network[A].Proceedings of the 2016 Acm/Sigda International Symposium on Field-Programmable Gate Arrays[C].New York,2016,26-35.
[60] CHEN Y,KRISHNA T,JOEL S.et al.Eyeriss:An energy-efficient reconfigurable accelerator for deep convolutional neural networks[J].IEEE Journal of Solid-State Circuits,2017,52(1):127-138.
[61] LUO J,ZHANG H,ZHOU H,et al.ThiNet:Pruning CNN Filters for a Thinner Net[J].IEEE transactions on pattern analysis and machine intelligence,2019,41(10):2525-2538.
[62] ZHANG Dongqing,YANG Jianlong,YE Dongqiangzi,et al.LQ-Nets:Learned Quantization for Highly Accurate and Compact Deep Neural Networks[A].Proceedings:Lecture Notes in Computer Science (LNCS 11212)[C],2018:373-390.
[63] COURBARIAUX M,BENGIO Y,DAVID J.Binary Connect:Training Deep Neural Networks with binary weights during propagations[A].Neural Information Processing Systems[C].Montreal,2015:3123-3131.
[64] MOHAMMAD Rastegari,VICENTE Ordonez,JOSEPH Redmon,et al.XNOR-Net:ImageNet Classification Using Binary Convolutional Neural Networks[A].European Conference on Computer Vision[C].Amsterdam,2016:525-542.
[65] LIU Z,WU B,LUO W,et al.Bi-Real net:Enhancing the performance of 1-Bit CNNs with improved representational capability and Advanced Training Algorithm[A].European Conference on Computer Vision[C].Munich,2018:722-737.
[66] WANG P,HU Q,FANG Z,et al.DeepSearch:A fast image search framework for mobile devices[J].Acm Transactions on Multimedia Computing Communications and Applications,2018,14(1):22-28.