Ⅰ. 서 론

1. 개요

도로(포장)의 효율적인 관리는 시민의 이동성 지원과 안전을 위해 필수적인 공공서비스이며, 시설물의 증 가 및 기후변화와 지속적인 사용으로 인한 노후화로 관리비용이 급격히 증가하고 시설물관리 요구수준은 지 속적으로 높아지고 있다.

우리나라의 도로 총 연장은 110,714km이며, 중앙정부에서 관리하는 고속국도, 일반국도의 총 연장은 약 17%, 지방지자체의 관리연장은 약 83%에 해당하나(MOLIT, 2019) 고속국도와 국도와 달리 지자체가 관리하 는 도로는 충분한 재정투자가 현실적으로 어려워 효율적인 유지관리가 이루어지지 않고 있는 실정이다. 효 율적인 유지관리 방안의 필요성이 지속적으로 제기되고 포장관리시스템(Pavement Management System), 교량 관리시스템(Bridge Management System) 등과 같은 각 시설물별 유지관리시스템을 포함하는 자산관리시스템 에 대한 중요도가 높아지고 있다. 이와 같이 효율적 관리를 위해서는 도로 노면상의 상태를 파악하는 기술개 발이 가장 우선적인 선행 연구이다.

현재의 도로관리시스템은 상태 모니터링을 위한 차량 가액만 5억에서 15억에 달하고 후처리 후 수동검사 에 의존하기 때문에 비용이 많이 들어 지자체가 관리하는 도로에 적용이 어려움이 있다. 또한, 도심지 및 지 방도에 대한 포장의 상태 모니터링, DB구축, 예산 확보 근거 등에 대한 구체적인 방법론 및 시스템 구축에 대한 노력이 절대적으로 부족한 현실이다. 이와 같은 문제점을 해결하기 위해 기존 MMS(Mobile Mapping System)장비를 활용한 도로 노면의 크랙을 인식하는 연구를 진행하였지만, 노면상태 조사시에 하나의 차로만 가능하고 버스전용차로는 조사가 불가능하다는 문제점이 있었다.

따라서 본 연구에서는 대전광역시 주요 간선도로 가운데 유성대로를 대상으로 드론을 통해 취득한 노면 영상데이터를 기반으로 물체탐지알고리즘(Object Detection algorithm) 가운데 성능 및 속도가 뛰어난 Tiny-YOLO-V2(You Only Look Once)와 Faster-RCNN(Region with Convolutional Neural Networks)을 활용하여 아스팔트 도로노면의 균열을 인식, 균열유형을 구분하고 실험 결과차이를 비교하고자 한다.

2. 선행연구 고찰

국내·외에서 드론, MMS장비, 스마트폰, 블랙박스 카메라 등을 통해 취득한 영상 이미지를 이용하여 딥러 닝 기반으로 도로상태를 판정을 하는 연구는 활발하게 이루어지고 있다.

Kim et al.(2013)은 스테레오 카메라 기반으로 위험도로구간의 실시간 확인 등 모든 구간에 대한 노면정보 를 취득하는 시스템을 개발하고자 노면정보 검지시스템을 개발하였다. 이 연구에서 도로를 주행하는 차량에 탑재하여 취득한 영상정보를 편광계수, 밝기, 주파수성분 등에 대하여 K-Means Clustering 기법을 이용하였고 4개의 노면상태(마름, 젖음, 적설, 결빙)에 대한 검지 인식적정성 여부를 판단하였다. 인식성공률이 젖은 노 면 95%, 적설 노면 85% 이상으로 확인되었으며 결빙된 노면은 30%으로 인식성공률이 상대적으로 저조하게 나타났다.

Song et al.(2012)은 MMS를 이용하여 획득된 LiDAR 데이터를 이용하여 도로 상에 존재하는 다양한 형태 의 차폐물들을 효과적으로 제거하기 위하여 RTF(Recursive Terrain Fragmentation) 필터 알고리즘을 적용하였 는데, 기존의 항공 LiDAR 데이터 처리에 사용되던 다양한 Adaptive 필터 중 지형의 형태에 따라 정확도가 크게 저하되지 않으며, 상대적으로 정교한 분류 결과의 도출이 가능하다는 장점을 가지고 있다. 이와 같은 RTF 필터의 특징은 MMS을 통해 획득된 LiDAR 데이터에 보다 효과적으로 적용 가능하고, 이를 통해 지면 과 비지면을 분리하여 다양한 형태의 도로 장애물을 제거함으로서 그 성능을 정량적이고 객관적인 정확도 평가를 수행하였다. 육안 판독에 기반한 정성적인 평가에서도 도로 내에 존재하는 자동차, 가로수, 중앙분리 대 등 대부분의 차폐물이 효과적으로 제거된 결과가 도출되었다.

Choi et al.(2018)은 MMS장비를 이용하여 취득한 영상정보를 딥러닝 기법을 기반으로 아스팔트 도로포장 의 균열상태를 판정하는 성과를 발표하였다. 균열인식을 위한 알고리즘은 CNN(Convolution Neural Network) 망과 YOLO(You Only Look Once)을 활용하였고 균열을 기반으로 하는 등급분류기준을 제안하여 해당 이미 지의 도포포장상태등급을 5단계로 구분하였다(<Fig. 1> 참조).

Maeda et al.(2018)은 주행하는 차량에 부착한 스마트폰을 통해 이미지를 취득하고 도로의 균열 유형별로 인식하여 구분하고자 하였다. CNN 기반으로 분석을 수행하였으며, 평균 75% 이상의 높은 검출율을 보이는 것으로 나타났다(<Fig. 2> 참조).

Choung et al.(2018)은 고정밀 3차원 지형 모델 구축, 시설물 관리를 위해 MMS LiDAR 자료를 이용하여 도 로 중앙선을 매핑하는 반자동화 방법을 개발하였다. 촬영을 통해 얻어진 이미지를 보간법을 통해 강도 영상 을 제작하고 edge detection 기술을 이미지의 수많은 세그먼트를 추출하여 세그먼트를 도로 길이에 적용하여 수동으로 선택하였다. 추출된 도로 중앙선의 정확도 검증 결과, 0.065m의 정확도를 보여주었다.

Zhang et al.(2017)은 도로노면 균열인식의 정확도를 얻기 위해 CNN 알고리즘을 기반으로 하는 Crack Net 을 개발하였다. 총 2000장의 도로노면 3D스캐닝이미지를 사용하여 픽셀단위의 정확도를 보장하고 5개의 레 이어 층으로 구성되며 일반이미지의 깊이를 360개 층으로 쌓아 병렬로 연결을 시켰으며 Convolution 연산은 일어나지 않고 결과를 뽑아내었다. 분석결과, 다른 모델에 비해 평균 15%의 정확도 상승을 보여주었다.

Gopalakrishnan et al.(2019)는 드론을 활용한 민간, 공공의 인프라 시설물의 검사 및 모니터링을 진행하였으 며, 이미지를 획득하고 획득한 이미지를 학습시키기 위해 DNN(Deep Neural Network)알고리즘을 활용하여 균 열 손상탐지를 진행하였다. 하지만 정형화된 드론 데이터 이미지가 없기 때문에 그동안 학습되었던 Pre-Train 모델을 활용하여 정확도에 있어 최대 90% 빠르고 쉽게 결과를 도출해 내었다.

Dadrasjavan et al.(2019)는 드론을 활용하여 도로 노면 상태를 확인하며 균열을 탐지하기 위해 연구를 진행 하였다. 획득한 영상을 이용해 도로 포장에 균열이 있는 사진에 대해 Ortho-image를 생성하고 ROI(Region Of Interest)를 산정한 다음에 이미지 처리와 SVM(Support Vector Machine) 방법을 통해 균열이 탐지하였다. 촬영 결과, 도로의 균열에 대해 81%의 정확도를 감지하였다.

선행연구들을 고찰한 결과, 대부분 MMS장비, 스마트폰, 블랙박스 카메라를 이용한 이미지를 취득하는 방 식이며 이러한 연구는 주행 중인 차량에서 영상을 취득하기 때문에 정사영상을 이용하여 분석결과를 도출해 내는 연구결과보다 상대적으로 낮은 성능을 보여주고 있다. 또한, 딥러닝의 CNN알고리즘을 기반으로 이미 지 분석을 통해 수행하였고 특징 기반의 인식 기술과 특정 규칙을 활용한 영상처리 기술이 주를 이루고 있 어 균열유형 분류 없이 균열을 인식하는 연구만 한정되어있다.

이에 본 연구에서는 기존 연구의 단점을 개선하기 위해 도로 노면의 영상을 취득시 차선변경, 도로상황 등을 고려하지 않고 촬영이 가능한 드론을 활용하여 정사영상 이미지를 취득하였고, Tiny-YOLO-V2와 Faster-RCNN을 활용하여 아스팔트 도로노면의 균열을 인식, 균열유형을 구분하고 실험 결과차이를 비교하여 높은 성능을 보여줄 수 있는 딥러닝 기반의 균열인식 알고리즘을 제안하고자 한다.

Ⅱ. 드론 영상데이터를 활용한 인공지능 기반 도로균열 탐지

1. 드론 영상데이터를 활용한 모니터링

도로모니터링을 위하여 대전광역시에 주요 간선도로인 유성대로를 대상으로 아스팔트 도로 포장구간의 영상을 취득하였다. 이 구간은 화물차량에 대한 비중이 높아 도로의 파손상태가 육안으로도 심한 구간이며, 드론을 이용한 촬영이 용이한 직선 800m 구간으로 선정하였다. 드론의 높이는 20m 상공을 유지하며 촬영하 였으며 왕복6차로를 동시에 촬영하여 영상데이터를 수집하였다(<Fig. 3> 참조).

2. 인공지능기반 도로균열 탐지

1) 데이터 라벨링

대상구간에서 수집된 영상데이터를 380장의 이미지로 분리하였고, 총 3가지의 균열유형별로 그룹화를 진 행하였다. Object Detection 인공신경망을 학습시키기 위해서 Training Set을 Pascal-VOC 방법으로 진행하였다. Pascal-VOC가 라벨링 되는 방법은 가지고 있는 이미지위에 사각형 모양의 좌표를 알려주고 (Top left(x,y) Bottom right(x,y)) 좌표의 위치와 해당하는 좌표의 균열유형별로 저장하는 방식이다(<Fig. 4> 참조).

도로의 균열 유형은 ^⌜도로 포장 유지보수 실무편람_⌟을 참고하여 육안으로 조사 했을 시 분류가 가능한 균열 유형을 선정하였고 <Table 1>의 균열유형종류를 탐지하는 것을 목적으로 라벨링을 진행하였다.

분류한 결과, 교통하중에 의해 가장 많이 발생하는 AC 균열 유형부터 기존 포장 보수 불량으로 인해 발생 되는 RC 균열 유형까지 다양한 균열유형별로 데이터를 확보할 수 있었으며, 확보한 균열유형별 샘플을 이용 하여 Tiny-YOLO-V2와 Faster-RCNN 기반 도로균열을 탐지하였다.

2) 인공지능기반 Tiny-YOLO-V2와 Faster-RCNN 모델 설계

수집된 영상데이터를 기반으로 도로노면의 파손상태를 탐지하기 위해 객체 인식 방식인 Tiny-YOLO-V2와 Faster-RCNN 기법을 활용하였다.

Tiny-YOLO-V2는 1Stage-Detection으로 학습이 시작되면 CNN을 통과하고 FC(Fully connected)까지 도달한 다. 다음 레이어 층에서는 이미지를 S*S 그리드로 나누고 미리 정의된 형태로 지정된 Anchor Boxes의 개수 를 예측한다. Anchor Boxes는 K-평균 알고리즘에 의한 데이터로부터 생성되며 데이터 세트의 객체 크기와 형태에 대한 사전 정보를 확보하고 각각의 Anchor Boxes는 각기 다른 크기와 형태의 객체를 탐지하도록 설 계되어 있다. 이 알고리즘은 Anchor Boxes와 유사한 크기의 개체를 탐지하지만 최종 예측은 Anchor Boxes의 위치나 크기와는 차이가 있다. 그 후에 non max suppression을 통하여 최종 Box를 산출하고 Soft-max를 통해 박스의 종류를 예측해 낸다. Tiny-YOLO-V2로 학습되는 데이터의 Batch size는 20으로 설정하였고 총 200,000 번을 반복 학습하였다. Learning Rate는 0.001, 활성화 함수로는 Lrelu, 손실 함수는 ADAM(Adaptive Moment Estimation)으로 진행하였으며 이미지 사이즈를 1024*1024로 정하고 학습을 진행하였다(<Fig. 5> 참조)

Faster-RCNN은 RCNN계열 중 RPN(Region Proposal Network가 포함된 알고리즘)으로 2Stage-Detection 알고 리즘이라고 하며 이미지가 들어오면 우선 CNN으로 학습을 하여 Feature Map을 만들어낸다. 생성된 Feature Map을 RPN으로 학습하여 Region Proposal을 만들어낸다. 만들어진 Region Proposal에 대하여 Classification과 Bounding-box regression을 진행한다. 그와 동시에 Region Proposal을 Feature map에 투영시켜 ROI를 설정하고 그것에 대한 분류와 Bounding-box regression을 실시하여 최종 결과물을 산출해 내는 알고리즘이다.

Faster-RCNN로 학습되는 데이터의 Batch Size는 5로 설정하였고 총 70,000번을 반복 학습하였다. 최적화 알고리즘은 ADAM을 사용했으며 Learning Rate는 0.0001로 설정하였다. Anchor Boxes의 크기는 사진의 크기 와 라벨링의 크기를 고려해 4, 8, 16과 Anchor 의 비율은 0.5, 1, 2 로 설정했다.

Faster-RCNN의 Pascal-VOC를 학습한 기존의 Weight를 Pre-Train 시켰으며 GPU와 Ubunto 16.4 환경에서 학 습을 진행하였다(<Fig. 6> 참조).

3) 정확도 산출방법

정확도 산출을 위한 mAP(mean Average Precision)방법을 사용하였으며, 라벨링된 박스와 모델이 예측한 박 스의 크기와 위치의 IOU(Intersection Of Union)가 50%이상인 것을 True로 나머지는 False로 설정하였다. 각 균형유형별로 정확도와 재현율 곡선을 활용하여 AP(Average Precision)을 산출하고, 산출된 AP들의 평균인 mAP를 산출하였다.

Ⅲ. 실험결과 비교

<Table 2>에는 대전광역시 주요 간선도로인 유성대로를 대상으로 드론을 통해 취득한 노면영상데이터를 기반으로 물체탐지알고리즘(Object Detection algorithm)중 Tiny-YOLO-V2와 Faster-RCNN을 활용하여 아스팔트 도로노면의 균열을 인식, 균열유형을 구분하고 실험 결과차이를 비교하였다.

분석결과, Faster-RCNN의 mAP는 71%이고 Tiny-YOLO-V2의 mAP는 33%로 측정되었으며, 이는 1stage Detection인 YOLO계열 알고리즘보다 2Stage Detection인 Faster-RCNN계열의 알고리즘이 도로노면의 균열을 확인하고 분리하는데 더 좋은 성능을 보인다는 것을 확인하였다.

균열 유형 중 가장 형태가 뚜렷하고 많이 발생하는 AC 균열이 두 알고리즘 모두 가장 높은 정확도를 보 였으며, 데이터의 샘플이 적은 RC 균열에서는 성능이 가장 높게 향상되었다. 드론영상을 이용하여 알고리즘 의 개선으로 도심지 도로구간의 균열상태를 확인할 수 있는 가능성을 확인하였다(<Fig. 7> 참조).

Ⅳ. 결 론

본 연구에서는 물체탐지알고리즘(Object Detection algorithm)중 Tiny-YOLO-V2와 Faster-RCNN모델을 기반 으로 드론으로 촬영된 도로노면의 균열을 인식, 균열유형을 구분하고 실험 결과차이를 비교하였다.

우선 드론 촬영을 실시하여 영상데이터를 취득하였고 수집된 영상데이터를 총 3개의 균열유형별로 그룹 화를 진행하여 Tiny-YOLO-V2와 Faster-RCNN 성능차이를 비교하였다.

Faster-RCNN의 mAP는 71%이고 Tiny-YOLO-V2의 mAP는 33%로 측정되었으며, 이는 1stage Detection인 YOLO계열 알고리즘보다 2Stage Detection인 Faster-RCNN계열의 알고리즘이 도로노면의 균열을 확인하고 분 리하는데 더 좋은 성능을 보인다는 것을 확인하였다. 드론을 이용한 수집방법은 차선변경, 도로상황을 고려 하지 않고 데이터를 취득할 수 있다는 점에서 기존 연구 방법론보다 효율적인 데이터 취득 방안이며, 기존 특징 기반의 균열인식 기술보다는 2Stage Detection인 Faster-RCNN계열의 알고리즘을 통한 다양한 도로노면 의 균열유형을 확인하여 적용성을 확인할 수 있었다.

향후, 균열유형 분류 및 인식을 기반으로 도로 포장상태등급의 자동화에 대한 연구가 필요하며 딥러닝 알 고리즘의 인식률 개선이 이루어진다면 정확도를 높여 지자체가 저렴한 비용으로 도로포장의 파손상태를 파 악할 수 있을 것으로 기대된다. 나아가 드론과 인공지능형 균열검지시스템을 이용한 도로자산관리체계(IAM) 구축방안 마련을 통해 효율적이고 경제적인 도로 유지관리 의사결정 지원시스템 구축 및 운영 환경을 조성 할 수 있을 것이라 판단된다.