近年来随着高精地图产业的高速发展,路沿检测在海量数据中的重要性逐渐凸显,准确的路沿自动化检测是路网拓扑及安全驾驶路径生成等工作的基础。道路一般分为结构化与非结构化两种,高速路和城市道路是典型的结构化道路;非结构化道路一般缺乏人工标志,本文所涉及的矿山道路就可以归为此类。矿区的道路表面凹凸而且道路边界模糊等特性导致路沿提取难度增加。与城市道路路沿检测相关的研究有很多,基于LiDAR(Light Detection and Ranging)的路沿检测根据其所识别的特征可以分为障碍物检测和路面提取两种方法。基于障碍物检测的方案非常适用于具有护栏等固定标识的结构化道路[1],而基于车道线提取的方案[2]则不适用于矿山这种不具备人工绘制车道线的情况。文献[3]提出了一种基于3D激光数据的路沿检测方法,通过体素栅格化的方式分离出地面,然后根据3种空间属性筛选路沿候选点:高度、梯度和法线。最后通过一个概率模型检测这些候选点并通过随机采样一致性(Random Sample Consensus,RANSAC)移除误检点。YANG等[4]使用滑动窗口来检测道路边界,其中滑动窗口的长度对算法的性能有着决定性影响。在文献[5]中,毫米波雷达(Millimetre Wave Radars,MMWR)被用于路沿检测,并考虑了公路和越野路的差异。文献[6]使用自主状态观测器进行路沿检测,并成功应用于2007 DARPA城市挑战赛。
相邻帧间的路沿检测常常会存在接续性差的问题,解决这个问题的常见方法如RANSAC以及基于路径跟踪和前车检测的卡尔曼滤波[7]。然而以上方法对于路宽频繁变化并且道路边界不规则、坡度变化频繁的矿山环境来说并不适用,于是笔者借助占用栅格思想对路沿检测结果进行更新。在过去几十年间2D版本的即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)应用广泛[8-9],随着近年来LiDAR和低成本深度相机(RedGreenBlue-Depth,RGB-D)的普及使得实时3D重建成为可能。然而大量的点云数据需要消耗很大的计算和内存资源。内存问题的解决方案多通过使用滚动重建[10]或八叉树[11-12]来实现。笔者通过基于八叉树的路沿图构建方法实现了对帧间路沿的平滑及全局路沿图构建。与传统的卡尔曼跟踪的方案相比,对于矿山这种路宽多变的环境适应性更强,并可以在单侧无路沿的非结构化道路等情况下也表现良好。
图1 3D LiDAR、组合导航模块装配
Fig.1 3D LiDAR,integrated navigation module assembly
1 系统概览
本文的实验数据采集车为应用在真实矿山中的宽体自卸车(图1),两侧装有velodyne 16线LiDAR,车上还装有组合导航模块用以提供路沿图构建所需的全局定位信息。图2展示了路沿检测与建图的代码架构,包含:第1步，地面提取，将一定范围内的点云栅格化,并根据相邻单元格之间的高度差及单个栅格内部的高度变化来筛选路面候选栅格;第2步，矿山环境下的多特征(环压缩率和高度等特征)路沿检测;第3步，基于占用网格(八叉树)的多帧数据融合建图,用以消除不平坦地面上误检带来的干扰,且达到了与传统路沿跟踪方法相同的路沿平滑效果。
图2 系统结构
Fig.2 System structure
2 非结构化路沿检测方法
路沿检测与路沿建图的详细步骤将在下文进行详述。针对矿区地形笔者采用了栅格化的方法增加了检测地面的粒度并最大化的降低了路面凹凸带来的干扰。然后根据矿山可行驶区域边界过渡平缓的特性采取了环压缩为主的检测方案,最后通过包含概率信息的八叉树结构进行路沿跟踪,并最终拼接成图。
2.1 地面分割
点云栅格化可以有效降低点云维度并且便于数据管理,栅格的大小取决于点云密度。笔者将点云划分成扇形区域,并根据激光雷达的环信息划分每个扇形,如图3所示，图中bi为每个栅格的测量范围，Si为坡度差，pi为每条扫描线上的点。LiDAR数据被放置于i行j列的虚拟环状网格中,每个栅格只包含一条扫描线。栅格中的每个单元ci,j需要计算并存储如下信息:① 每个点距离放射中心的半径;② 单元内z(单点高度信息)的最大值和最小值。根据每个单元格ci,j内部的高度差Tidiff以及与相邻单元格的高度差Thdiff来筛选地面候选单元格。如果某个单元格被地面候选格包围,则将该单元格也标记为地面候选格。图4为矿区地面分割效果,其中彩色区域为地面。
图3 栅格示意[13]
Fig.3 Grid diagram[13]
图4 地面分割点云图
Fig.4 Ground segmentation point cloud map
2.2 路沿检测
在地面提取的基础上进行路沿候选点的检测,检测依据分别为:环压缩率、高度差以及局部水平距离波动差。
2.2.1 候选点提取
环压缩方法基于多线LiDAR邻近环的压缩率来实现。因为LiDAR光束的压缩与障碍物的坡度成比例关系,可以通过检查压缩率是否落在某一区间来判断路沿是否存在[14]。LiDAR光束照射在水平面上的半径可表示为
ri=hcot θi
(1)
其中，ri为第i环的半径;θi为相应的照射角;h为传感器高度。环间距计算如下:
Δri=ri+1-ri=h(cot θi+1-cot θi)
(2)
其中，Δri为环i与环i+1之间的距离。当第i环照射到障碍物时,该环的压缩率会落在如下区间:
Ιi=[αΔri,βΔri)
(3)
其中，α和β决定了压缩率区间的范围。单纯的环压缩特征检测会引入不平整路面上具有相似属性的物体带来的干扰,为了加强检测精度,进一步引入了垂直与水平两个方向上的特征。在激光雷达的射线方向上,地面与非地面点之间一定存在高度突变,所以将剔除高度差小于阈值Tdz的点。在车辆行驶方向上来看,相邻环之间检测到的路沿点不应该具有很大的水平距离差,所以我们会剔除水平距离大于阈值Tdh的点。
2.2.2 双侧路沿划分
多数文献中的左右侧路沿划分大都根据传感器坐标系下的水平轴正负来确定,但是该方法存在一定缺陷,即在车辆驶入弯道时可能会失效。本文采用的方法是根据路沿点的分布来对双侧路沿进行划分,在每一帧的路沿检测结果中都可以获得左前/右前/左后/右后方路沿检测结果消失的极限位置llf,lrf , llb,lrb(图5),已知极限位置后即获得车辆前侧的左右路沿点分割线位置,以及车辆后方的左右路沿点分割线位置。
图5 左右侧路沿划分示意
Fig.5 Diagram of left and right road edge division
对于仅包含单侧路沿的非结构化区域,可根据左右检测到的路沿比例来对检测结果进行修正。路沿实时检测的最终结果将通过RANSAC二次函数拟合的方式呈现。
3 路沿图构建
机器人领域的大部分建图方案中,检测环境往往会受到不确定性的干扰:例如检测中遭遇的动态障碍物,传感器之间(激光雷达与组合惯导)的标定参数存在误差等。本文旨在从这个带有干扰的采集环境中创建接近真值的地图,大量的不确定性观测会被融合到基于占据网格的状态估计中,即使用相同尺寸的小立方体离散化待建图区域,使用OctoMap[15]进行路沿点实时更新。
3.1 有限深度八叉树
路沿图构建的主结构是通过有限深度八叉树来实现的(图6)。笔者为根节点分配一个3D网格用来构建这样的数据结构,所有根节点都是3D序列组成的,这样的结构可以扩展到非常广阔的3D空间而且不需要占用大量内存,根节点之间的相互独立为数据的并行处理提供了方便,其中每一个内部节点包含占用数据(空闲/占据/未知)。
图6 八叉树存储空闲(灰白)和占用(黑)[15]
Fig.6 Octree stores idle(gray) and occupied(black)[15]
3.2 数据融合
在获取到单帧的路沿点后,点被投射到占用栅格中进行融合:
(4)
该更新方程取决于当前观测值zt,先验概率P(n|z1:t-1)。P(n|zt)表示观测到zt时栅格n被占用的概率。式(4)可被重写为
L(n|z1:t)=L(n|z1:t-1)+L(n|zt)
(5)
(6)
算法通过统计hit和miss来进行概率更新,达到阈值时认为该单元格被占用,反之为空闲。从式(5)可以看出需要尽可能多的观测才能改变一个体素的状态,所以转而使用式(7)进行占据状态更新:
L(n|z1:t)=max(min(L(n|z1:t-1)+
L(n|zt),lmax),lmin)
(7)
其中,lmin和lmax为log-odds值的下限和上限。使用如上夹逼更新策略有两个好处:模型可以适应快速更新的环境,而且可以通过剪枝来压缩临近栅格,使得需要保留的体素得到相应的削减。
4 试验结果及分析
试验采用的数据来自于内蒙古宝利煤矿中无人宽体自卸车采集的数据,数据采集车平均时速8.11 km/h。数据采集场景包含边界模糊的类结构化道路以及非结构化区域等,如图7所示。数据包含双Velodyne LiDAR Puck(左右排布)每一帧的原始数据以及DAISCH IFS 2000在WGS84坐标系下通过UTM投影得到的3D位置信息。双LiDAR到惯导模块的标定依据手眼标定原理完成。由于数据不存在真值,笔者使用手工标注的方式标注了每一帧数据中的路沿点(共计1 000余帧)。使用Intel Core i7-7700HQ 2.80 GHz 4核笔记本电脑,基于Ubuntu 18.04.1进行算法测试。算法参数设置见表1。地面分割的高度差阈值应视路面的平整程度而定,所选参数应尽量使得所分割地面可以包含作业路面的最大坑洼。为了证明算法的有效性,以下方法将被用来作以比较:WANG等[16]基于多特征松阈值进行候选点选取,并采用双交叉限幅卡尔曼滤波器进行路沿跟踪。
图7 矿区实际路况
Fig.7 Actual road conditions in the mining area
表1 重要参数初始化
Table 1 Important parameter initialization
参数初始化取值/mTidiff0.8Thdiff0.2β1.2Tdz0.5Tdh5.0
图8 路沿实时检测效果
Fig.8 Roadside real-time detection effect
测试区域包含类结构化道路(图7(a),(b))以及非结构化区域(图7(c))。矿山的道路边界多为低矮挡墙,或单侧有高大山体(图7(a)),且路面与挡墙间多为平滑圆角过渡;非结构化区域是指只有单侧高挡墙的剥离区或排土区。在矿区中由于车辆载重过大以及道路本身的抗压性等因素会导致路面极度的凹凸,故笔者在尝试将城市道路中常见的基于高度/坡度等特征加上滑动窗口的方法应用到矿区之后发现效果不佳,参数适应性较差。采用本文及对比算法的检测结果如图8所示,其中图8左3图分别对应图7的3类场景,展示的是本文算法的检测效果,图8右3图为WANG等[16]算法检测的结果。由图9可见,本文的算法可以检测直道和弯道,且RANSAC二次函数拟合效果尚佳。图10为路沿建图时产生的3D占用栅格效果,从图10(c)可见在不使用OctoMap进行路沿跟踪的情况下,单帧的检测噪点会直接体现在最后的路沿图中,但采用占用栅格思想拼接的路沿图(图10(b))则很好的去除了误检测点,且拼接后的路沿图较为平滑。与传统的基于卡尔曼滤波的路沿平滑方案相比,本文提出的基于概率更新的方案更适用于路宽多变的矿山环境,因为基于卡尔曼滤波的路沿跟踪存在假设路宽不变的局限。使用本文方法最终拼接的路沿图如图11所示。
图9 直道和弯道路沿拟合效果
Fig.9 Straight road and curved road edge fitting effect
图10 3D占用栅格
Fig.10 3D Occupied Raster
图11 全局坐标系下的路沿点云图
Fig.11 Point cloud diagram of roadside in global coordinate system
在路沿检测算法的定量评估中,笔者将距离阈值设置为5 cm。通过IoU(Intersection over Union)对算法进行定量评估。IoU也称为Jaccard指数,适用于对象检测和跟踪之类任务的最受欢迎的评估指标。为了使用IoU去评估路沿检测,需要:① 路沿真值;② 路沿预测值。用这两项的交集除以这两项的并集可以得出最终比率n为
(8)
其中，PT为检测正检数量;PF为虚检数量;NF为误检数量,评估结果见表2。
表2 Jaccard指数对比
Table 2 Jaccard index comparison
方法Jaccard指数本文方法0.859WANG等[16]0.705
实验结果表明在道路边界不明显且不规则的情况下,本文提出的方法依然具有较高的检测精度(85.9%)与可靠性,且实时检测速度达66 Hz。
5 结 语
提出了一种基于LiDAR的矿区路沿检测和建图方案。通过多种特征提取算法在单帧点云上粗略得到路沿点,然后使用OctoMap进行路沿跟踪,并最终完成了部分矿山区域的路沿图构建,并已应用于高精度地图的自动拓扑环节。实车采集的试验结果表明本算法不仅可以检测类结构化道路,而且对非结构化区域的边界检测效果也较好。获取的全局路沿地图可以作为路网拓扑的原始训练点导入相应的机器学习模型,进而可以完成路网构建。但是基于传统方法的路沿检测与路沿图构建方法需要很多先验统计知识进行参数的确定,算法普适性还有待进一步通过大量的数据进行考察。未来笔者会在算法以及策略部分进行进一步的优化,以期实现在更少参数限制下的高速矿山路沿检测办法,并进一步优化在特殊场景下的检测及建图。
[1] KIRCHNER A，HEINRICH T.Modelbased detection of road boundaries with a laser scanner[A].Proc.IEEE Conf.Intell.Vehicles[C].1998:93-98.
[2] LINDNER P,RICHTER E,WANIELIK G,et al.Multi-channel lidar processing for lane detection and estimation[J].Proc.IEEE Conf.Intell.Transp,2009.
[3] ZHAO G,YUAN J.Curb detection and tracking using 3D-LIDAR scanner[J].IEEE International Conference on Image Processing (ICIP),2012:437-440.
[4] YANG B,FANG L,LI J.Semi-automated extraction and delineation of 3D roads of street scene from mobile laser scanning point clouds[J].ISPRS J.Photogramm.Remote Sens.,2013,79:80-93.
[5] NIKOLOVA A Hero.Segmentation of a road from a vehiclemounted radar and accuracy of the estimation[A].Proceedings of the 2000 IEEE Intelligent Vehicles Symposium (IV)[C].IEEE,2000:284-289.
[6] PETERSON K,ZIGLAR J,RYBSKI P E.Fast feature detection and stochastic parameter estimation of road shape using multiple LIDAR[A].Proc.Int.Conf.on Intelligent Robots and Systems[C].2008:612-619.
[7] CHOI H C,PARK J M,CHOI W S,et al.Vision-based fusion of robust lane tracking and forward vehicle detection in a real driving environment[J].Int.J.Automotive Technology,2012,13(4):653-669.
[8] BURGARD G W,GRISETTI C Stachniss.Improving grid-based slam with rao-blackwellized particle filters by adaptive proposals and selective resampling[J].Robotics and Automation,2005:2432-2437.
[9] BURGARD G W,GRISETTI C Stachniss.Improved techniques for grid mapping with rao-blackwellized particle filters[J].IEEE Transactions on Robotics in Robotics,2007,3(1):34-46.
[10] WHELAN T,KAESS M,FALLON M F,et al.Kintinuous:Spatially extended kinectfusion[A].RSS Workshop on RGB-D:Advanced Reasoning with Depth Cameras[C].Sydney,Australia,2012.
[11] H ORNUNG Armin，WURM Kai M，BENNEWITZ Maren，et al.Octomap:An efficient probabilistic 3D mapping frameworf based on octrees[J].Autonomous Robots,2013,34(3):189-206.
[12] FRANK Steinbrucker,CHRISTINA Kerl.Large-scale multi-resolution surface reconstruction from rgb-d sequences[J].The IEEE International Conference on Computer Vision (ICCV),2013:3264-3271.
[13] 孙朋朋,赵祥模,徐志刚,等.基于3D激光雷达城市道路边界鲁棒检测算法[J].浙江大学学报(工学版),2018,52(3):504-514.
SUN Pengpeng,ZHAO Xiangmo,XU Zhigang,et al.Urban curb robust detection algorithm based on 3D-LIDAR[J].Journal of ZheJiang University (Engineering Science),2018,52(3):504-514.
[14] HATA A Y,WOLF D F.Road marking detection using LIDAR reflective intensity data and its application to vehicle localization[A].International Conference on Intelligent Transportation Systems[C].2014:584-589.
[15] ARMIN Hornung,KAI M Wurm,MAREN Bennewitz,et al.OctoMap:An efficient probabilistic 3D mapping framework based on octrees[J].Autonomous Robots,2013,34(3):189-206.
[16] WANG G J,WU J,HE R,et al.A point cloud-based robust road curb detection and tracking method[J].IEEE Access,2019,7:24611-24625.
