摘要：道路质量检测是智能交通系统的重要组成部分，而井盖异常下沉是影响道路质量的常见因素之一。智能手机配备了不同的传感器，在许多研究中被应用于道路检测。本文提出了一种基于智能手机的道路井盖检测与分类方法。使用智能手机可以收集道路井盖图像数据，并使用手机内置加速度计记录车辆轧过井盖时的加速度数据。对于井盖的图像检测，我们使用了 ResNet 深度学习网络来训练检测模型，检测精度最高可以达到 80.79%。在车辆经过不同下沉程度的井盖会产生不同加速度数值的基础上，提出了一种基于机器学习的道路井盖下沉程度的分类方法，该方法可以将检测到的道路井盖的下沉程度自动地划分为不同的等级：良好、一般以及较差，最高分类精度可达 86%。结果表明，该方法在不同的道路条件下均能有效检测并分类道路井盖。
关键词：智能手机;井盖检测;深度学习;机器学习;道路安全
道路的质量检测对于智能交通系统非常重要，例如自动驾驶系统[1]、驾驶辅助系统等。而良好的道路质量对于保证驾驶舒适性[2]也同样的至关重要。如何实时、快速、准确地检测道路质量成为了急需解决的问题。由于自然腐蚀和缺乏及时的维护，城市道路经常会遭到损坏，产生各类病害。这些道路病害降低了道路质量以及行车舒适性，危害了行车安全。
井盖是城市道路的重要设施之一，完好的井盖对于道路安全非常重要。井盖的异常下沉是城市道路的常见病，它降低了道路行驶的舒适性，严重时甚至会影响车辆和行人的安全。通过对道路井盖下沉的检测，可以快速有效地识别影响道路安全行车的不利因素，为道路养护提供指导和建议。一般情况下，井盖病害的检测主要依靠专业设备和检测车辆，如激光雷达[3-8]、航空影像[9]等。然而，使用这些检测方法成本昂贵，检测周期长，无法快速有效地发现井盖病害。因此，如何快速、有效、廉价地检测井盖病害已成为迫切需要解决的问题。
如今，智能手机配置了各类传感器，如摄像头、加速度计、GNSS 等。在目前的许多研究中，智能手机被用来检测路面粗糙度和道路病害[10-13]。基于智能手机的检测技术由于其自身的优点，逐渐成为一种新兴的路面异常检测辅助技术。大多数道路井盖检测仅仅通过井盖的外观来评估其状况[9][14];然而，还没有使用智能手机来分类井盖下沉程度并判断道路井盖状况的例子。智能手机一方面可以采集井盖图像数据，用于井盖检测;另一方面，当车辆经过下沉的井盖时，会产生相应的加速度信号，这些信号可用于对井盖下沉程度进行分类。
基于此，本文提出基于智能手机的井盖检测方法，使用车载智能手机采集道路井盖图像数据以及车辆轧过井盖时的加速度数据;通过深度学习的方法训练模型有效地识别道路井盖;再利用机器学习分类算法对道路井盖下沉程度进行分类。实验结果表明，本文方法在不同的道路条件下均能有效检测道路井盖并分类井盖下沉程度。
1 方法概述
1.1 方法总流程概述
图 1 是方法总流程图，主要包括两个方面。首先，智能手机安装在车辆上，用于获取图像数据。对图像数据集进行预处理和标注后，利用深度学习算法训练道路井盖检测模型，自动识别图像中的道路井盖。
第二，当图像中的井盖被识别后，对被识别的井盖的下沉程度做出分类。智能手机在采集图像数据的同时采集计加速度数据。通过机器学习算法对采集到的加速度数据进行预处理和训练，建立模型对道路井盖下沉程度进行自动分类。将道路井盖的下沉程度分为良好、一般和较差三个等级。
通过以上两部分，可以对道路井盖的状况进行综合评价。
1.2 道路井盖图像检测
1.2.1 图像数据采集与处理
在本实验中，智能手机安装方法如图 2 所示，它们被安装在汽车的仪表板上。
在图像数据完成后，将进行挑选，去除过渡模糊、失焦等影响模型构建的数据。完成数据集的构建后，将其分为两类:―有井盖‖ 的道路图像数据和―无井盖‖的道路图像数据。然后将所有图像数据按照 7:3 的比例随机分为训练集和测试集，投入到模型的建立中，并验证模型精度。
1.2.2 图像识别模型选择
卷积神经网络[15](Convolutional Neural Networks, CNN)是一种具有卷积计算和深度结构的前馈神经网络，它作为深度学习的代表算法，长期以来一直是图像识别领域的核心算法之一，在学习数据足够时具有稳定的性能。随着数值计算设备的更新与发展，研究者们开发了许多优秀的、复杂的卷积神经网络算法，例如 AlexNet、Inception v3 和VGG。
一般来说，提高网络性能最简单的方法是增加网络的宽度或深度，网络深度越深，网络性能越好。然而，AlexNet、Inception v3 等神经网络都存在一个难以解决的问题，即随着网络深度的增加，网络梯度容易扩散或爆炸。2015 年由微软的人工智能团队开发的 ResNet[16](残差神经网络)很好地解决了这个问题。ResNet 网络可以在通用深度神经网络模型的基础上，对特定领域的少量数据进行量化，对通用模型的全网络层进行微调，得到适合特定领域的深度神经网络模型。 ResNet 将网络设计为 H(x) = F(x) + x，很好地解决了梯度容易扩散或爆炸的问题。
如图 3 所示，ResNet 网络将目标转换为学习一个残差函数 F(x) = H(x) - x，只要 F(x) = 0，就可以构造恒等映射，使得残差拟合更加简单。一般来说，ResNet 网络使得前馈或反馈传播算法运行更平稳，结构更简单，增加网络的宽度或深度不易产生负面影响。 ResNet 网络使用残差块建立大规模卷积神经网络，其规模是 AlexNet 的 20 倍、VGG-16 的 8 倍。由于拥有足够深、规模足够大的网络结构，ResNet 更容易优化，并且能够通过增加相当的深度来提高准确率。在 2015 年ILSVRC 图像分类和物体识别算法比赛中， ResNet 战胜众多优秀的卷积神经网络算法成为最后的优胜者，取得了最高的识别精度。
因此，在深度学习模型的选择上，本文将选择 ResNet50 网络作为深度学习网络训练图像检测模型。ResNet50 网络由 5 个卷积块组成，如图 4 所示。它有 49 个卷积层和 1 个全连接(FC)层。其中，一些超参数设置如下：学习率设置为 0.001，batch size 设置为 256。
1.3 道路井盖下沉程度分类
1.3.1 道路井盖下沉程度等级
根据《公路技术状况评定标准》JTG 5210-2018[17]，沥青道路的沉陷或坑槽应为路面的局部下沉，轻度的损伤应为深度在 10~25mm 的下沉，重度损伤应为深度大于25mm 的下沉。由于道路井盖相较于沥青路面更为脆弱，发生损伤或者异常下沉后可能产生的影响也更为恶劣，因此本文结合《公路技术状况评定标准》与实际实验经验，将道路井盖下沉度分为良好、一般和较差三大类。―良好‖井盖下沉深度一般小于 5mm，―平均‖井盖下沉深度约为 5mm ~ 15mm，―较差‖ 井盖下沉深度约为 15mm 以上。表 1 给出了道路井盖下沉程度的分类。
分类道路井盖的下沉程度的基本考虑如下。首先，智能手机的加速计传感器记录了车辆轧过道路上的井盖时的一些相当高的瞬时加速度峰值。第二，当车辆通过道路井盖时，车辆的前后轮依次轧过道路井盖。因此，加速度图上至少会出现两个峰值。车辆的颠簸反映在加速度的波动上，加速度的波动幅度与车辆所经过的井盖下沉的深度密切相关。道路井盖下沉越深，那么车辆通过井盖时记录的加速度波动越大，车辆颠簸越大[18-19]。
图5为车辆通过不同下沉程度的道路井盖时的加速度变化。可以看出，“良好”井盖的加速度波动最小，“一般”井盖的加速度波动大于“良好”井盖的加速度波动，而 “较差”井盖的加速度在三者中波动最大。良好 一般 较差图 5 ResNet50 网络结构 Fig.5 The acceleration of Different Manhole Covers 每次车辆经过井盖时，都会出现两个瞬时峰值。因此，可以证实通过加速度的波动来分类井盖的下沉程度是可行的。在数据采集完成后，我们对被车辆碾压过的道路井盖的下沉深度进行测量，并根据下沉深度进行类别记录，为后续工作做好数据准备。
1.3.2 道路井盖下沉等级分类模型选择
在数据预处理和特征提取之前，我们需要选择一个合适的机器学习分类模型对道路井盖下沉程度进行分类。本文重点研究利用机器学习方法对加速度数据进行分类，进而对井盖下沉程度进行分类。根据 Manuel Ricardo Carlos 等人实验[20]所得到的结果，我们将使用改进后的支持向量机(Support Vector Machine, SVM)模型。我们将此实验中的建模方法进行相应的改进，添加更多本实验所需的特征(如下小节所示)，使之更合适地应用于本文中的实验。
1.3.3 数据预处理和特征提取
通过安装在车辆里的智能手机采集车辆轧过井盖时加速度计传感器记录的三轴加速度数据。数据收集完成后，我们需要对数据进行处理，投入模型的训练。
因为要求每个人将自己的智能手机精确地放置在相同的位置和倾角是非常严苛的，所以有必要执行预处理步骤来消除负面影响。我们将三个时间序列 ACCx、ACCy和ACCz合成为一个单独的时间序列ACCm，表示加速度的大小[12];ACCx、ACCy、ACCz 分别为 X、Y、Z 轴方向上的加速度;ACCm 表示合成的加速度大小。
2 实验结果与分析
2.1 实验数据采集
实验中使用的车辆是一辆沃尔沃轿车，使用的智能手机是三星 S8、华为 P30pro 以及华为 MATE20。在实验中，将传感器的采集频率设置为 100Hz，智能手机摄像头以每秒 1 次的速率进行图像数据采集。
2.1.1 图像数据集
不同的道路可能有着高矮不一的建筑以及不同的植被覆盖情况。这些建筑以及植被在不同的太阳光照条件下会产生不一样的阴影，这些阴影会影响智能手机采集的图像数据的质量。为了使数据多样化，使实验更接近实际情况，我们采集了不同道路上的图像数据，如林荫道，开放道路和建筑物旁边的主干道。
同样的，不同的天气条件对图像数据的采集有着不同的影响。例如，晴天时，由于阳光较为充足，路面上的阴影会较为明显，使的图像数据中道路井盖难以被识别;当天气为阴天时，车内光线不足容易影响图像数据的清晰度;此外，雨后出现的路面积水会产生例如浑浊、反光、淹没路面等问题。因此，为了丰富数据库，保证图像数据的质量，我们分别在晴天、阴天以及雨后的不同天气条件下采集图像数据。
我们驾驶车辆在深圳大学粤海校区进行数据采集，路段主要为沥青路面。实验中总共采集了 11,853 张道路图像，其中 8291 张是有井盖的道路图像，3562 张是无井盖的普通道路图像。详情见表 3。
2.1.2 加速度数据集
我们使用智能手机收集了 1000 个车辆轧过井盖时的加速度变化数据，车辆轧过的井盖种类包括“良好”、“一般”和“较差” 三类。采集到的加速度变化数据如表4所示。
2.2 图像识别与下沉程度分类结果
2.2.1 图像识别结果
将采集到的井盖图像数据集与普通道路数据集以 7：3 的比例分为训练集与测试集后，我们在装载 Ubuntu 操作系统的主机上进行了模型训练。该主机具有 Intel(R) Xeon(R) CPU E5-2690 v4 @ 2.60 GHz、 NVIDIA Corporation GP102 和 12GB RAM 内存。
图像识别精度如图 9 所示。ResNet50 模型能够较好的识别出图像中的道路井盖，精度约为 80.97%。
2.2.2 道路井盖下沉程度分类结果
我们在深圳大学粤海校区驾驶汽车共收集了 1000 个加速度数据。在使用机器学习算法建立分类模型之前，我们对数据进行预处理，包括计算合成加速度、特征提取以及标签标注。所有数据随机分为训练集和测试集，比例为 8:2。之后，我们将数据进行预处理，提取需要的特征值，并投入到经过改进后的支持向量机模型中。
表 5 为道路井盖下沉度分类的结果。从以上结果可以看出，分类结果较为良好，总体精度可以达到 86%。使用支持向量机可以较好的分类出不同下沉程度的道路井盖。
2.3 分析
2.3.1 图像识别结果分析
从图像识别结果可以看出，使用深度学习的方法利用ResNet50网络建立检测模型，可以良好的识别出图像中的井盖。但同时，还存在一部分被错误识别或者无法识别的图像数据。通过对这些错误数据的原始图像数据进行人工辨别，发现这些图像数据存在一些影响模型识别的因素。
图 10 为部分错误识别或者无法识别的图像数据。从中可以看出，识别失败的主要原因有以下几点：第一是当晴天时，车辆的挡风玻璃上会出现大量的倒影，影响图像数据的质量。第二，当阴天时，光线不充足，道路井盖与道路颜色相近，对比度较低，井盖的图像特征较模糊。第三，由于因长时间的使用以及缺少维护，某些道路井盖表面花纹逐渐消失(满布锈迹)，容易导致无法识别。第四，道路井盖可能会被涂上道路标识，加大图像识别的难度。
2.3.2 井盖下沉程度分类结果分析
如表 5 所示，使用支持向量机分类出不同下沉程度的道路井盖，最高精度可以达到 86%。“良好”井盖和“一般”井盖都能很好的被正确分类。但同时，相较于其他两个种类，“较差”类型井盖的分类 Recall 为 70.0%，F-Measure 为 77.8%，分类的效果一般，其中有 30.0%被错误分类为“一般”的类型。主要原因可能如下。首先，在收集的数据集中，“较差”的井盖数据相对较少，导致训练样本较少。二是缺少规范统一的道路井盖的下沉程度划分标准，实验中的下沉程度分类存在一定的主观因素。
3 结论与展望
本文提出了一种基于智能手机的道路井盖检测与分类方法。首先利用智能手机摄像头采集的道路井盖图像数据，采用深度学习的方法，利用 ResNet50 网络建立图像识别模型对道路井盖进行检测。我们采集了 11853 张不同天气条件下的道路图像和 1195 张车辆在道路井盖盖上行驶时的加速度图像，以评估该方法的性能。结果表明，该方法在不同天气条件下均能有效检测井盖，准确率达 80.97%;然后，采集车辆轧过道路井盖时的加速度值变化，使用机器学习的方法，利用支持向量机对道路井盖下沉程度进行分类。对不同类型的道路井盖下沉进行分类，准确率达 86%。结果表明，该方法可以较好的分类道路井盖下沉程度。——论文作者：赵文剑1,2,3 郭文浩3 周宝定1,2,3,* 张德津 3,4
参考文献
[1] Arnold E , Al-Jarrah O Y , Dianati M , et al. A Survey on 3D Object Detection Methods for Autonomous Driving Applications[J]. IEEE Transactions on Intelligent Transportation Systems, 2019:1-14
[2] Yuchuan Du,Chenglong Liu,Yishun Li. Velocity Control Strategies to Improve Automated Vehicle Driving Comfort[J]. IEEE Intelligent Transportation Systems Magazine, 2018, 10(1): 8-18
[3] 高文明. 多源遥感数据在道路勘测中的应用[J]. 测绘通报, 2018(3): 117-121
[4] Yu Y , Guan H , Ji Z . Automated Detection of Urban Road Manhole Covers Using Mobile Laser Scanning Data[J]. Intelligent Transportation Systems IEEE Transactions on, 2015, 16(6):3258-3269
[5] 吴学群,宁津生,杨芳. 车载激光扫描数据分类支持下的路面数据提取[J]. 测绘通报, 2018(2): 107-110+135
[6] 王新林,马斌. 智能道路检测系统[J]. 测绘地理信息, 2013, 38(2): 74-75+78
[7] Timofte R , Gool L J V . Multi-view manhole detection, recognition, and 3D localisation[C]// IEEE International Conference on Computer Vision Workshops, ICCV 2011 Workshops, Barcelona, Spain, November 6-13, 2011. IEEE, 2011
[8] Yu Y , Li J , Guan H , et al. Automated Detection of Road Manhole and Sewer Well Covers From Mobile LiDAR Point Clouds[J]. IEEE Geoscience & Remote Sensing Letters, 2014, 11(9):1549-1553
[9] Jérôme, Pasquet, Thibault, et al. Detection of Manhole Covers in High-Resolution Aerial Images of Urban Areas by Combining Two Methods[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016
[10] Kaiyue Zang,Jie Shen,Haosheng Huang, et al. Assessing and Mapping of Road Surface Roughness based on GPS and Accelerometer Sensors on Bicycle-Mounted Smartphones[J]. Sensors, 2018, 18(3)
