一种多无人机协同的高速公路智能巡检系统[发明专利]

(12)发明专利申请

(10)申请公布号 CN 1053988 A (43)申请公布日 2016.03.09

(21)申请号 2015100397.0(22)申请日 2015.12.07

(71)申请人北京航空航天大学

地址100191 北京市海淀区学院路37号(72)发明人余贵珍 王章宇 王云鹏 丁川

马亚龙(74)专利代理机构北京永创新实专利事务所

11121

代理人周长琪(51)Int.Cl.

G08G 1/01(2006.01)G05D 1/10(2006.01)

权利要求书2页 说明书6页 附图2页

()发明名称

一种多无人机协同的高速公路智能巡检系统(57)摘要

本发明公开一种多无人机协同的高速公路智能巡检系统，以多旋翼无人机为载体，同时结合航拍技术实现对高速公路全方位、零死角巡检，得到高速公路车速、车流量、道路占有率等多个交通状况参数信息，对高速公路违规车辆以及路况进行实时监测。同时采用GPS定位与图像处理相融合导航技术，将感兴趣区域展现在航拍中心。采用机器视觉应用控制理论实现无人机自主飞行，无需人员操作，实现远距离飞行。采用多旋翼无人机协调巡检，通过地面建立中转站，实现无人机全路段巡检。此外采用颜色识别，实现无人机精准降落，采用无线供电，方便便捷，利用太阳能电池板，能源绿色环保。采用无人机中转站保护装置最大程度保护无人机及无线充电等装置。 C N 1 0 5 3 8 9 9 8 8 A CN 1053988 A

权 利 要 求 书

1/2页

1.一种多无人机协同的高速公路智能巡检系统，其特征在于：包括地面控制站、地面中转站以及无人机；

所述地面中转站为n个，n＞1，沿需巡检道路设置，在第1到第n-1个中转站中放置一个无人机；地面中转站用来为无人机提供着陆平台；且可实现对无人机的充电，以及与无人机间的无线通信；地面中转站内具有颜色识别区域，作为无人机提供着陆点标识，利用无人机上安装的摄像头模块对颜色识别区域的颜色进行识别，实现无人机在地面中转站的精准降落；地面中转站还具有地面中转站保护装置，用来当各个无人机的GPS信号、IMU信号等状态参数正常后，通过无线通信将自身状态信息发送给地面中转站，此时由地面中转站启动无人机；

所述无人机上安装有控制箱、摄像头模块；其中，控制箱内载有微处理器、AHRS模块、GPS模块、超声波避障模块、图传模块、电源管理模块与电机驱动模块；微处理器连接电机驱动模块、AHRS模块、GPS模块、超声波避障模块；微处理器用来实现对无人机的控制计算，实现各模块的信息融合；电机驱动模块用来实现对多旋翼无人机螺旋桨电机的驱动，同时通过接收微处理器的指令实现无人机螺旋桨电机不同的转速控制，从而实现对无人机运动的控制；AHRS模块用来获取无人机的角速度、加速度与磁数据信息，能够为飞行器提供航向，横滚和侧翻信息；GPS模块用来实现对无人机的精准定位；超声波避障模块用来在无人机飞行过程中，遇到障碍物时能自主避障；摄像头模块用来在无人机高速公路巡检的过程中，实时获取地面道路信息；图传模块用来将摄像头模块获取的地面道路信息传输给地面控制站；

地面控制站与无人机间采用无线通信，对各个无人机航线信息规划；同时将各个无人机的航线信息分别发送至各个无人机上的微处理器；无人机利用得到的航线信息作为飞行的目标轨迹，各个无人机根据目标轨迹进行自主巡航；地面控制站还对无人机传输回来的道路信息进行实时处理，以及对地面中转站发送无人机着陆指令，由地面中转站控制无人机着陆。

2.如权利要求1所述一种多无人机协同的高速公路智能巡检系统，其特征在于：相邻地面中转站之间的距离S为：

S＝min{Vlim*t/2,V0*t}其中，Vlim为高速公路的车速范围的下限值；V0为无人机的速度；t为无人机单次巡航时间为t。

3.如权利要求1所述一种多无人机协同的高速公路智能巡检系统，其特征在于：颜色识别区域内安装有力传感器，用来实现无人机是否精准降落在地面中转站的识别。

4.如权利要求1所述一种多无人机协同的高速公路智能巡检系统，其特征在于：各无人机的自身定位采用GPS定位与图像处理相结合的方法：具体为：

无人机中微处理器获取GPS模块定位得到无人机的实际位置，结合预先规划的无人机航线信息，可以得到无人机与高速公路中心线之间横向偏移量e1；同时利用无人机搭载的摄像头模块通过图像处理技术感知高速公路道路的中心线，此时以摄像头模块采集得到的图像中心作为无人机的实际位置，从而结合无人机的实际位置，通过图像处理得到的无人机实际位置与道路中线的横向偏移量e2；

微控制器应用PID控制算法对无人机的俯仰与偏航进行闭环控制，保证无人机精准

2

CN 1053988 A

权 利 要 求 书

2/2页

的控制在道路中心，拍摄得到稳定完整的道路信息；对无人机偏航控制的偏航控制器设计为：

Yaw＝center_yaw+3×[Kp×(e/2)+Kd×e]/4+last_yaw/4式中：Yaw为偏航控制器的输出量，center_yaw为偏航控制器的输出中值量，last_yaw为偏航控制器上次的输出量，初始值为0，Kp为比例系数，Kd为微分系数，Kp、Kd的值由具体实验标定得到；e为上述GPS定位与图像处理相结合得到的无人机实际位置与目标轨迹的偏差值，e的计算公式如下：

其中，ethre1为偏差第一阈值，ethre2为偏差第二阈值，且Kp，Kd和e之间存在正相关；得到偏差值e后，将此值输入到偏航控制器中，偏航控制器根据计算结果控制无人机运动。

5.如权利要求4所述一种多无人机协同的高速公路智能巡检系统，其特征在于：利用图像处理得到高速公路道路的中心线的过程如下：

a、将摄像头拍摄得到的图像从RGB颜色空间转换到HSV颜色空间；其中H通道表示色彩信息，该参数用角度来度量；S通道表示饱和度，指颜色的纯度与最大纯度之比；V通道表示色彩的明亮程度；

b、提取H通道图像，通过颜色阈值区间分割道路区域，提取道路区域二值图像；c、对道路区域二值图像进行形态学膨胀、腐蚀运算，获得连续、完整的道路连通区域；d、检测步骤c中提取的道路连通区域的外围轮廓，从而确定道路区域边缘，从而得到高速公路的道路中心线。

6.如权利要求1所述一种多无人机协同的高速公路智能巡检系统，其特征在于：当第m-1个中转站中的无人机距离第m个中转站的距离L3

CN 1053988 A

说 明 书

一种多无人机协同的高速公路智能巡检系统

1/6页

技术领域

本发明涉及高速公路巡检技术领域，适用于高速公路路况以及违规车辆的检测，具体涉及一种多旋翼无人机协同的高速公路智能巡检系统。

[0001]

背景技术

近年来，高速公路建设取得了快速发展，但与此同时高速公路每年会发生一系列

交通安全事故问题。除了道路质量问题、车辆安全问题以外，还存在有车辆超速、车辆非法变道等许多人为因素。

[0003] 现有的高速公路巡检多为利用巡逻车辆进行巡检或采用定点摄像头进行数据采集。采用巡逻车辆巡检需要的人力物力成本高，同时受巡检视野的影响，只能巡检到巡逻车辆周围的交通状况，存在采集盲区，此外还可能会加大交通堵塞；利用摄像头进行定点数据采集只能检测到安装摄像头处的道路状况，此外只能采集到单一的车速信息，得到的交通状况参数较少，不能全面掌握交通状况。[0004] 多旋翼无人机由于其体积小、结构简单、易于控制等优点在越来越多的领域得到广泛应用。现有的无人机大部分受到电池电量的，只能短时间工作，续航时间都比较短,另一方面现有的无人机大多采用传统的拆卸电池充电方式，充电过程繁琐。此外，大部分无人机均采用无线遥控的方式控制飞行，无人机要控制在操控员的视野范围内，飞行范围受到，不能实现自主飞行。

[0002]

发明内容

为解决以上问题，本发明提供了一种多无人机协同的高速公路智能巡检系统，存在无需人员操作、长时间、全方位的智能高速公路监测等优点。[0006] 本发明多无人机协同的高速公路智能巡检系统，包括地面控制站、地面中转站以及无人机。

[0007] 所述地面中转站为n个，n＞1，沿需巡检道路设置，在第1到第n-1个中转站中放置一个无人机。地面中转站用来为无人机提供着陆平台；且可实现对无人机的充电，以及与无人机间的无线通信。地面中转站内具有颜色识别区域，作为无人机提供着陆点标识，利用无人机上安装的摄像头模块对颜色识别区域的颜色进行识别，实现无人机在地面中转站的精准降落。地面中转站还具有地面中转站保护装置，用来当各个无人机的GPS信号、IMU信号等状态参数正常后，通过无线通信将自身状态信息发送给地面中转站， 此时由地面中转站启动无人机。

[0008] 所述无人机上安装有控制箱、摄像头模块。其中，控制箱内载有微处理器、AHRS模块、GPS模块、超声波避障模块、图传模块、电源管理模块与电机驱动模块。微处理器连接电机驱动模块、AHRS模块、GPS模块、超声波避障模块。微处理器用来实现对无人机的控制计算，实现各模块的信息融合。电机驱动模块用来实现对多旋翼无人机螺旋桨电机的驱动，同时通过接收微处理器的指令实现无人机螺旋桨电机不同的转速控制，从而实现对无人机运

[0005]

4

CN 1053988 A

说 明 书

2/6页

动的控制。AHRS模块用来获取无人机的角速度、加速度与磁数据信息，能够为飞行器提供航向，横滚和侧翻信息。GPS模块用来实现对无人机的精准定位；超声波避障模块用来在无人机飞行过程中，遇到障碍物时能自主避障。摄像头模块用来在无人机高速公路巡检的过程中，实时获取地面道路信息；图传模块用来将摄像头模块获取的地面道路信息传输给地面控制站。

[0009] 地面控制站与无人机间采用无线通信，对各个无人机航线信息规划。同时将各个无人机的航线信息分别发送至各个无人机上的微处理器。无人机利用得到的航线信息作为飞行的目标轨迹，各个无人机根据目标轨迹进行自主巡航。地面控制站还对无人机传输回来的道路信息进行实时处理，以及对地面中转站发送无人机着陆指令，由地面中转站控制无人机着陆。

[0010] 本发明的优点在于：[0011] (1)本发明巡检系统，以多旋翼无人机为载体，同时结合航拍技术实现对高速公路全方位、零死角的巡检，得到高速公路车速、车流量、道路占有率等多个交通状况参数信息，对高速公路违规车辆以及路况进行实时监测。[0012] (2)本发明巡检系统，采用GPS定位与图像处理相融合导航技术，极大的将感兴趣区域展现在航拍中心，GPS定位可确定巡检道路，解决交叉路口等道路分支区域导航，利用图像处理识别道路的中心得到更为精准的实际飞行路线。[0013] (3)本发明巡检系统，采用机器视觉应用控制理论实现无人机自主飞行，无需人员操作，解决无人机需在操作员视野范围从而其飞行区域问题。[0014] (4)本发明巡检系统，采用多旋翼无人机协调巡检，通过在地面建立中转站，实现无人机持续巡检，解决目前无人机巡航时间短的问题。[0015] (5)本发明巡检系统，采用高清数字摄像头与高清图传实时将采集信息传输回地面站，上位机实时处理回传图像，出现交通问题时第一时间发出预警，并得到问题区域信息。

[0016] (6)本发明巡检系统，在无人机降落阶段采用颜色识别标识，无人机通过GPS导航到中转站附近应用颜色识别，检测到特定区域颜色实现精准降落。[0017] (7)本发明巡检系统，在地面中转站处装有无线充电装置，实现无线供电，同时装有太阳能电池板，实现能源可再生。此外，地面中转站设有自动开启与关闭保护装置，在无人机执行任务或停靠在中转站内的时候，地面中转站均处于关闭状态，极大的保护了无人机以及中转站内无线供电装置等。附图说明

图1为本发明一种多无人机协同的高速公路智能巡检系统结构示意图；

[0019] 图2为本发明一种多无人机协同的高速公路智能巡检系统地面中转站结构示意图；

[0020] 图3为本发明一种多无人机协同的高速公路智能巡检系统多旋翼无人机的结构示意图；

[0018]

图4为应用本发明一种系统多无人机协同的高速公路智能巡检系统多旋翼无人

机对高速公路进行巡检方法流程图。

[0021]

5

CN 1053988 A[0022] [0023] [0024] [0025] [0026] [0027]

说 明 书

3/6页

图中：

1-地面控制站 2-地面中转站 3-无人机

201-无人机着陆平台 202-地面中转站保护装置 203-太阳能电池板204-颜色识别区域 205-无线充电发射装置 206-地面中转站控制器207-无线通信模块A 301-控制箱 302-增稳云台

303-摄像头模块 304-无线供电接收装置 305-无线通信模块B

具体实施方式

[0028] 下面结合附图对本发明作进一步详细说明。

[0029] 本发明提供了一种多无人机3协同的高速公路智能巡检系统，包括地面控制站1、地面中转站2以及无人机3，如图1所示。

[0030] 所述地面中转站2包括无人机着陆平台201、地面中转站保护装置202、太阳能电池板203、颜色识别区域204、无线充电发射装置205、地面中转站控制器206以及无线通信模块A207，如图2所示。其中，无人机着陆平台201用于无人机3的停放；地面中转站保护装置202，为两片可自动翻转的叶片，通过地面中转站控制器206控制；在无人机3停放与飞行时，通过控制地面中转站保护装置202中叶片闭合，实现对无人机3与无人机着陆平台201的保护；在无人机3准备起飞时，通过控制地面中转站保护装置202中叶片打开，为无人机3提供起飞空间。无线充电发射装置205设置在颜色识别区域204内，用来给无人机3提供无线充电。太阳能电池板203用来为地面中转站2中的无线充电发射装置205、地面中转站控制器206、地面中转站保护装置202的供电，可全天接受太阳光照。颜色识别区域204为无人机着陆平台201上的颜色标记区域，作为无人机3提供着陆点标识，当无人机3靠近地面中转站2时，利用无人机3上安装的摄像头模块对颜色识别区域204的颜色进行识别，从而实 现无人机3在无人机着陆平台201上的精准降落；同时，在颜色识别区域204内安装有力传感器，用来实现无人机3是否停靠在地面中转站2的识别。上述地面中转站控制器206作为地面中转站2的控制部分除用来对地面中转站保护装置202进行控制外，还用来对无线充电发射装置205的开启和关闭进行控制。所述的无线通信模块A207，可以用来实现无人机3与地面中转站2之间、无人机3与地面控制站1之间的通信，无人机3通过向地面控制站1传输无人机3的GPS信号，地面控制站1根据接收到的无人机3GPS信号以及之前设定好的地面中转站2位置信号从而，可计算得到无人机3距地面中转站2的距离信息。

[0031] 所述无人机3为自主飞行多旋翼无人机3，无人机3主体上安装有控制箱301、增稳云台302、摄像头模块303、无线供电接收装置304与无线通信模块B305，如图3所示。其中，控制箱301内载有微处理器、AHRS模块、GPS模块、超声波避障模块、图传模块、电源管理模块与电机驱动模块。微处理器连接电机驱动模块、AHRS模块、GPS模块、超声波避障模块、无线通信模块B305与增稳云台302。增稳云台302连接有摄像头模块303与图传模块。微处理器用来实现对无人机3的控制计算，实现各模块的信息融合。电机驱动模块用来实现对多旋翼无人机3螺旋桨电机的驱动，同时通过接收微处理器的指令实现无人机3螺旋桨电机不同的转速控制，从而实现对无人机3运动的控制。AHRS模块包含了三轴加速度计、三轴陀螺仪与三轴电子罗盘等辅助运动传感器，用来获取无人机3的角速度、加速度与磁

6

CN 1053988 A

说 明 书

4/6页

数据等信息，能够为飞行器提供航向，横滚和侧翻信息，从而为多旋翼无人机3提供准确可靠的姿态与航行信息。GPS模块用来实现对无人机3的精准定位，从而保证无人机3循着预先设定好的高速公路飞行。超声波避障模块用来在旋翼无人机3自主飞行过程中，遇到障碍物时能自主避障，从而保证无人机3的正常飞行。摄像头模块303用来在无人机3高速公路巡检的过程中，实时获取地面道路信息。增稳云台302用来保证摄像头模块303在飞行过程中的稳定，从而保证飞行的过程中拍摄得到的地面道路信息是稳定的。图传模块用来将摄像头模块303获取的地面道路信息传输给地面控制站1，从而可以实现地面控制站1对地面道路信息的分析计算。无线通信模块B305用来实现无人机3与无人机3地面中转站2、无人机3地面控制站1之间的无线通信。无线供电接收装置304用来与地面中转站2的无线充电发射装置205配合，共同实现无人机3的无线充电。[0032] 地面控制站1用来规划各个无人机3的航线信息，以及对无人机3传输回来的道路信息进行实时处理，得到各个无人机3所巡检道路上的车速、车流量、道路占有量等交通状态参数，同时可根据传输回来的图像信息判断是否有超载等相关违规行为，当出现相关问题时及时采取相关处理措施。

[0033] 应用上述系统对高速公路进行巡检，通过下述步骤完成：[0034] 步骤1：在需巡检的高速公路上划分地面中转站；

[0035] 令需巡检的高速公路一端为巡检起始端另一端为巡检结束端，则在起始端至结束端的高度公路路侧依次安装n个地面中转站，n＞1，n根据高速公路长度确定；其中，第1个与第n个地面中转站分别设置在高度公路起始端与结束端路侧。同时在第1到第n-1个中转站中放置一个无人机。地面中转站之间的距离需要根据多旋翼无人机电池续航时间以及飞行的速度进行划分，需保证第m-1个中转站中的无人机可在第m-1与第m个中转站间持续飞行；m＝2、3、……、n。上述相邻地面中转站间的距离S通过下述计算得到：令高速公路的车速范围为Vlim～Vmax，单位为:km/h；无人机的速度为V0，单位为：km/h；无人机单次巡航时间为t，单位为：h。由于无人机飞行方向与车辆行驶方向一致，因此保证全路段的交通状态信息全被采集，需使第m-1个地面中转站的无人机达到第m个中转站时，第m-2个中转站的所有车辆均已超过本次无人机的位置(第m个中转站处)，则有：[0036] 2S<＝Vlim*t (1)

[0037] 同时无人机的飞行距离为S1＝V0*t，故相邻地面中转站之间的距离为：[0038] S＝min{Vlim*t/2,V0*t} (2)[0039] 例如：巡检高速公路长度为100km；高速公路车速范围为60km/h～120km/h；单次巡航时间为0.5h；则通过上式得到相邻中转站间距应小于15km，因为选用无人机的速度为20km/h；此时得到相邻中转站间距为10km。由此则在巡检的高速公路上需要设置11个地面中转站，相邻两中转站之间距离为10km，并分别编号为1～11。[0040] 步骤2：各个无人机航线信息规划；[0041] 在地面控制站输入要巡航的坐标信息，巡航的坐标选为高速公路的道路中心线，由地面控制站中上位机对各个无人机航线信息规划，即第m-1个地面中转站中的无人机飞行至第m个地面中转站的航线信息规划；同时通过无线通信模块B将各个无人机的航线信息分别发送至各个无人机上的微处理器。无人机利用得到的航线信息作为飞行的目标轨迹。

7

CN 1053988 A[0042]

说 明 书

5/6页

步骤3：无人机起飞控制；[0043] 当各个无人机的GPS信号、IMU信号等状态参数正常后，通过无人机的无线通信模块A将自身状态信息发送给地面中转站，此时地面中转站控制器控制各个地面中转站保护装置打开，启动无人机；待无人机起飞后，由地面中转站控制器控制各个地面中转站保护装置关闭。

[0044] 步骤4：无人机自主巡航控制；

[0045] 各个无人机根据由上位机划分目标轨迹进行自主巡航。同时为了进一步加强实际飞行轨迹的精度，各无人机的自身定位采用GPS定位与图像处理相结合的方法：具体为：[0046] 无人机中微处理器获取GPS模块定位得到无人机的实际位置，结合预先规划的无人机航 线信息，可以得到无人机与高速公路中心线之间横向偏移量e1；同时为了进一步提高无人机飞行精度，利用无人机搭载的摄像头模块通过图像处理技术感知高速公路道路的中心线，此时以摄像头模块采集得到的图像中心作为无人机的实际位置，从而结合无人机的实际位置，通过图像处理得到的无人机实际位置与道路中线的横向偏移量e2。[0047] 上述利用图像处理得到高速公路道路的中心线的过程如下：[0048] a、将摄像头拍摄得到的图像从RGB颜色空间转换到HSV颜色空间。其中H通道表示色彩信息，该参数用角度来度量；S通道表示饱和度，指颜色的纯度与最大纯度之比；V通道表示色彩的明亮程度。[0049] b、提取H通道图像，通过颜色阈值区间分割道路区域，提取道路区域二值图像。[0050] c、对道路区域二值图像进行形态学膨胀、腐蚀运算，获得连续、完整的道路连通区域。

[0051] d、检测步骤c中提取的道路连通区域的外围轮廓，从而确定道路区域边缘，从而得到高速公路的道路中心线。

[0052] 在上述图像处理的基础上微控制器应用PID控制算法对无人机的俯仰与偏航进行闭环控制，保证无人机精准的控制在道路中心，拍摄得到稳定完整的道路信息。对无人机偏航控制的偏航控制器设计为：

[0053] Yaw＝center_yaw+3×[Kp×(e/2)+Kd×e]/4+last_yaw/4 (3)[00] 式中：Yaw为偏航控制器的输出量，center_yaw为偏航控制器的输出中值量，last_yaw为偏航控制器上次的输出量，初始值为0，Kp为比例系数，Kd为微分系数，Kp、Kd的值由具体实验标定得到，标定过程为：首先，使Kd为0，逐渐加大Kp，当无人机飞行快出现震荡时，此时取临界Kp为比例系数，然后逐渐加大Kd,当无人机能平滑飞过弯道时取此时Kd为微分系数。e为上述GPS定位与图像处理相结合得到的无人机实际位置与目标轨迹的偏差值，e的计算公式如下：

[0055]

[0056]

其中，ethre1为偏差第一阈值，ethre2为偏差第二阈值，且Kp，Kd和e之间存在正相关。得到偏差值e后，将此值输入到偏航控制器中，偏航控制器根据计算结果控制无人机运动。

8

CN 1053988 A[0057]

说 明 书

6/6页

步骤5：道路信息的反馈与处理；

[0058] 各个无人机通过高清图传模块将拍摄到的道路信息由无线通信模块，实时传输回地面控制站的上位机。上位机对传输回来的道路信息进行实时处理，得到各个无人机所巡检道路上 的车速、车流量、道路占有量等交通状态参数，同时可根据传输回来的图像信息判断是否有超载等相关违规行为，当出现相关问题时及时采取相关处理措施。[0059] 步骤6：一次巡检后，无人机停靠控制；

[0060] 当第m-1个中转站中的无人机距离第m个中转站的距离L9

CN 1053988 A

说 明 书 附 图

1/2页

图1

图2

图3

10

CN 1053988 A

说 明 书 附 图

2/2页

图4

11