Journal Search Engine

Volume/Issue :

Year(s) : to

Search :

Title :

Author :

Keyword :

Abstract :

Figure :

Table :

Reference :

Search Advanced Search

Adode Reader(link)

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer

The Journal of The Korea Institute of Intelligent Transport Systems Vol.20 No.4 pp.95-105
DOI : https://doi.org/10.12815/kits.2021.20.4.95

Detection Algorithm of Road Surface Damage Using Adversarial Learning

Seungbo Shim^*

^*Korea Institute of Civil Engineering and Building Technology

^† Corresponding author : Seungbo Shim, seungboshim@kict.re.kr

Received 13 June 2021 │ Revised 28 June 2021 │ Accepted 1 July 2021

Abstract

Road surface damage detection is essential for a comfortable driving environment and the prevention of safety accidents. Road management institutes are using automated technology-based inspection equipment and systems. As one of these automation technologies, a sensor to detect road surface damage plays an important role. For this purpose, several studies on sensors using deep learning have been conducted in recent years. Road images and label images are needed to develop such deep learning algorithms. On the other hand, considerable time and labor will be needed to secure label images. In this paper, the adversarial learning method, one of the semi-supervised learning techniques, was proposed to solve this problem. For its implementation, a lightweight deep neural network model was trained using 5,327 road images and 1,327 label images. After experimenting with 400 road images, a model with a mean intersection over a union of 80.54% and an F1 score of 77.85% was developed. Through this, a technology that can improve recognition performance by adding only road images was developed to learning without label images and is expected to be used as a technology for road surface management in the future.

Key Words : Road surface damage , Deep learning , Semantic segmentation , Adversarial learning , Image processing

적대적 학습을 이용한 도로 노면 파손 탐지 알고리즘

심 승 보^*

^*주저자 및 교신저자 : 한국건설기술연구원 인프라안전연구본부 전임연구원

초록

도로 노면 파손 탐지는 쾌적한 주행 환경과 안전사고의 예방을 위해 필요하다. 도로 관리 기관은 자동화 기술 기반의 검사 장비와 시스템을 활용하고 있다. 이러한 자동화 기술 중에서 도 도로 노면의 파손을 탐지하는 기술은 중요한 역할을 수행한다. 최근 들어 딥러닝을 이용한 기술에 대한 연구가 활발하게 진행 중이다. 이러한 딥러닝 기술 개발을 위해서는 도로 영상과 라벨 영상이 필요하다. 하지만 라벨 영상을 확보하기 위해서는 많은 시간과 노동력이 요구된 다. 본 논문에서는 이러한 문제를 해결하기 위하여 준지도 학습 기법 중 하나인 적대적 학습 방법을 제안했다. 이를 구현하기 위해서 5,327장의 도로 영상과 1,327장의 라벨 영상을 사용하 여 경량화 심층 신경망 모델을 학습했다. 그리고 이를 400장의 도로 영상으로 실험한 결과 80.54%의 mean intersection over union과 77.85%의 F1 score를 갖는 모델을 개발하였다. 결과적 으로 라벨 영상 없이 도로 영상만을 학습에 추가하여 인식 성능을 향상시킬 수 있는 기술을 개발하였고, 향후 도로 노면 관리를 위한 기술로 활용되길 기대한다.

키워드 : 도로 노면 파손 , 딥러닝 , 의미론적 분할 , 적대적 학습 , 영상 처리

This article has been cited by 0 article in crossref

Cited-By

Funding:

Ⅰ. 서 론

1. 도로 노면 파손 탐지를 위한 딥러닝 기술 동향

도로 노면 관리의 목적은 포장의 품질 향상과 안전 사고예방이다(Fan, 2018). 도로 노면 포장에 여러 종류 의 파손이 발생하게 되면 우천시 물이 파손된 틈을 통해 포장 면을 투과한다(Bang et al., 2019). 이는 포장면 하부의 다짐된 토양에 스며들어 지반 침하와 같은 악영향을 미치게 된다. 이와 같은 현상이 지속될 경우 포 장 품질의 저하가 야기되고 주행 차량의 조향 제어에도 영향을 미쳐 안전사고의 원인이 된다(Madli et al., 2015). 이를 방지하기 위해 최근 들어서 여러 자동화 장비를 통해 주행과 동시에 도로 노면 품질 관리가 가 능한 기술이 개발되었다. 그 중에서도 차량에 laser scanner를 설치하여 도로 노면 파손을 탐지하는 장치와 laser detection and ranging을 이용한 도로 노면 상태를 측정하는 기술이 가장 대표적이다(Guan et al., 2014;Lauent et al., 2012). 최근에는 도로 노면 상태를 탐지하는 센서 기술로 딥러닝 기반의 영상처리 기술에 대한 연구가 활발히 진행되고 있고 높은 탐지 성능을 보여주고 있다(Jenkins et al., 2018;Shi et al., 2016). 이는 convolutional neural network (CNN) 기반의 연산 방식을 여러 층의 신경망에 적용하여 도로 노면 파손 영역을 탐지하는 알고리즘이다. 이 알고리즘은 특히 화소단위로 균열을 탐지할 수 있어 정확한 도로 노면 관리가 가 능한 탐지 기술로 활용되고 있다.

딥러닝의 등장 이후 도로 노면 파손 탐지 알고리즘은 심층 신경망의 구조를 개선하여 탐지 성능을 높이는 방향으로 연구가 진행되어왔다. 심층 신경망은 인식 성능을 향상시키기 위해서 CNN 연산의 조합을 개선하 면서 발전해왔다. 또한 GPU의 메모리 집적용량 기술의 발전으로 신경망의 수는 깊어질 수 있어 인식 성능은 점점 향상되었다. 하지만 신경망이 깊어질수록 가중치의 값이 더 이상 변하지 않게 되는 vanishing gradient 문제에 직면하게 된다. 이를 개선하고자 residual network (He et al., 2016)와 dense network (Huang et al., 2017) 등이 개발되었다. 네트워크 블록에서 입력과 출력을 연결하여 깊어진 신경망 속에서도 가중치가 업데이트 되도록 새로운 신경망이 제안되었다. 이 같은 연구 동향은 도로 노면 파손을 탐지하는 분야에도 적용되었다. 우선 Feng et al.(2018)은 residual network를 사용하여 균열을 탐지하는 classification network를 제안하였다. 다 음으로 Bang et el.(2018)도 residual network를 사용하였고 transfer learning을 적용하여 화소단위로 균열 영역 을 분할하는 기술을 개발하였다. Mei et al.(2020)은 densely connected deep neural network와 이웃 화소의 connectivity를 고려하여 새로운 손실함수를 적용한 균열 탐지 알고리즘을 제안하였다. 이와 같이 다양한 구 조를 가진 심층 신경망을 통해 탐지 성능을 개선하고자 하는 다수의 연구가 현재까지 지속적으로 진행되 었다.

2. 준지도 학습 기반의 도로 노면 파손 탐지

준지도 학습의 목적은 학습 데이터의 효율성을 높이는 것에 있다. 카메라로 촬영된 영상을 이용한 도로 노면 파손 탐지 기술은 딥러닝 기술의 등장과 함께 다수의 연구가 진행되었다. 특히 segmentation은 화소단위 로 균열의 영역을 결정하는 기법으로 가장 많은 연구가 진행되었다고 볼 수 있다. 하지만 이와 같은 딥러닝 의 단점은 다수의 학습 데이터가 필요하다는 점이다(Singla et al., 2019). 학습을 위해 필요한 데이터를 확보 하는 것은 많은 비용과 시간이 요구되는 작업이다. 이를 극복하기 위해서 필요한 것이 적은 수의 데이터로도 효율적인 학습이 가능한 준지도 학습이다(Quali et al., 2020). 준지도 학습은 소량의 라벨 데이터와 라벨이 없 는 입력 데이터를 이용하여 학습하는 방식이다. 지도학습은 입력 데이터와 동일한 수의 라벨 데이터를 가져 야하지만, 준지도 학습은 적은 수의 라벨 데이터만 있어도 그 성능이 더욱 향상되기 때문에 효율적인 데이터 의 활용이 가능하다.

도로 노면 파손을 딥러닝 알고리즘으로 탐지하기 위해서는 학습 데이터가 필요하다. 하지만 자율 주행 분야에서 사용하는 학습 데이터와 달리 도로 노면 파손은 데이터의 확보가 쉽지 않다. 자율 주행 분야에서 탐지하는 대상은 차량과 보행자 신호등과 같은 객체로 정상 도로 상황에서 얻을 수 있는 것들이다. 이에 반 해 도로 노면 파손은 일반적인 노면에서 나타나는 객체가 아니다. 장기간 사용으로 파생된 파손과 노후화로 인해 발생하는 현상으로 데이터 수집이 다른 객체에 비해 쉽지 않다. 파손 영상 데이터의 확보가 쉽지 않은 것처럼 라벨 데이터 또한 확보가 어렵다. 딥러닝 학습을 위해서는 라벨 데이터의 확보가 중요하지만, 충분한 수의 라벨 데이터를 확보하기 위해서는 많은 비용과 시간이 필요하다. 특히 도로 노면의 경우 그 길이와 면 적을 고려하였을 때 라벨 데이터를 확보하기 위해서는 무수히 많은 시간과 비용이 소요된다. 이러한 문제점 을 보완하기 위해서 본 논문에서는 소량의 라벨 데이터를 이용하여 인식 성능을 향상시키는 방법을 개발하 였다.

본 연구에서는 도로 노면 파손 탐지를 위해 새로운 기법을 개발하였고, 이는 2가지의 contributions를 갖는 다. 첫째, 라벨 데이터 수의 부족을 해결하기 위해서 학습 데이터의 효율성을 높일 수 있는 준지도 학습을 적용하였고, 그 중에서 적대적 학습을 사용하였다. 그 이유는 Shim et al.(2020)에서 적대적 학습을 콘크리트 균열 탐지 알고리즘에 적용했을 때 인식 성능이 향상되었기 때문이다. 도로 노면 파손도 콘크리트 손상과 유 사하기 때문에 적대적 학습을 적용할 경우 인식 성능이 향상될 것으로 기대한다. 이러한 이유로 본 논문에서 는 적대적 학습을 통해 라벨 데이터의 수가 부족하더라도 인식 성능을 높일 수 있는 방법을 제안하였다. 둘 째는 경량화 심층 신경망 모델을 활용하여 작은 연산량의 한계에도 불구하고 높은 탐지 성능을 갖도록 하였 다. 결과적으로 본 연구에서는 소량의 라벨 데이터를 활용하여 도로 노면 파손을 정확히 탐지할 수 있는 경 량화 심층 신경망 모델을 만드는 방법을 제안하였다.

3. Related Researches

심층 신경망이 가지는 구조를 개선하여 인식 성능을 높이는 연구가 지속적으로 진행되어 왔다. Fan et al.(2020)은 U-HDN이라는 새로운 신경망을 제안하면서 multi-scale feature를 추출하여 auto-encoder 신경망과 융합을 하였다. 그들은 U-Net 구조에 multi-dilation module와 hierarchical feature learning module을 적용하여 인 식 성능을 향상시켰다. Zhang et al.(2019)은 time-step을 고려한 영상 처리 방법을 제안하였다. Recurrent neural network 기법을 적용하여 CrackNet-R을 제안하였고, 기존의 CNN 기법을 적용한 CrackNet과 비교하여 F-measure 를 5%정도 향상시켰다. Zou et al.(2018)은 심층 신경망의 계층적 구조로부터 multi-scale feature를 생성하여 인식 성능을 향상시키는데 활용하였다. 그리고 이 feature를 하나로 통합하여 인식 정확도를 0.87의 F-measure 까지 높였다.

최근에는 준지도 학습 분야도 generative adversarial network (GAN)의 기술이 적용되어 탐지 성능이 향상되 었다 (Goodfellow et al., 2014). Zhang et al. (2021)은 교통 흐름을 예측하는데 적대적 학습 기법을 적용하였다. 또한, Hung et al.(2018)은 적대적 학습 기법을 적용하여 semantic segmentation을 할 수 있는 준지도 학습을 구 현하였다. 그는 판별자 신경망에 real training과 fake training을 동시에 적용하여 경쟁적 학습 구조를 통해 탐 지 성능을 높이는 방법을 제안하였다. 이와 유사하게 Li et al.(2020)은 도로 균열을 탐지하고자 적대적 학습 을 적용하였다. 그들은 FC-DenseNet을 segmentation 신경망으로 활용하였고, 판별자 신경망에 또한 Dense connectivity를 적용하여 confidence map 생성에 활용하였다. 또한 Shim et al.(2020)은 hierarchical structure로부 터 multiscale feature를 생성하여 이를 적대적 학습과 연계하는 방식을 제안하였다. 그 결과 균열탐지 정확도 가 88.936%의 mean intersection over union인 심층 신경망 구조를 개발하였다.

현재까지 딥러닝을 적용하여 성능을 높이기 위한 다양한 방법이 제안되었다. 그 핵심으로는 심층 신경망 의 구조를 개선하는 방법과 GAN을 통한 준지도 학습 방법이 되겠다. 이러한 방법들은 도로 노면 파손을 탐 지하는 분야에도 적용될 수 있다. 특히 GAN을 활용한 준지도 학습은 도로 노면 영상에서 파손된 영역을 나 타내는 라벨 데이터가 부족하더라도 높은 탐지 성능을 낼 수 있는 방법이다. 이러한 점들을 고려하여 본 논 문에서는 도로 노면 파손을 탐지하기 위해 적대적 학습을 적용한 알고리즘을 제안하였다. 또한 이를 가벼운 구조로 이루어진 연산량이 작은 심층 신경망에 적용했다. 결과적으로 학습을 위해 필요한 라벨 데이터의 부 족에 대한 문제를 해결하며 작은 연산량에도 불구하고 높은 성능을 갖는 도로 노면 파손 탐지 알고리즘을 개발하였다.

Ⅱ. 도로 노면 파손 탐지를 위한 적대적 학습 기법

1. 적대적 학습 기법

본 논문에서는 도로 노면 파손의 탐지 성능을 높이기 위해서 <Fig. 1>과 같이 적대적 학습 기법을 사용하 였다. 우선적으로 입력으로 사용되는 도로 노면 파손 영상은 512×512의 크기를 갖는다. 이 영상에서 도로 노 면 파손 영역을 탐지하기 위해서 본 논문에서는 분할 신경망(segmentation network, S_Road)을 사용한다. 다음으 로 판별자 신경망(discriminator network, D_Road)을 사용한다. 이는 라벨 영상의 참과 거짓을 구분하는 역할과 동 시에 준지도 학습을 위한 새로운 라벨 영상을 생성한다. 적대적 학습은 준지도 학습의 한 종류이기 때문에 학습을 위해서는 두 종류의 데이터 세트가 있어야 한다. 하나는 입력 영상과 라벨 영상이 쌍으로 이뤄진 labeled dataset이고 다른 하나는 라벨 영상 없이 입력 영상만 있는 unlabeled dataset이다. 본 논문에서는 labeled dataset은 1,327을 사용하였고, unlabeled dataset은 4,000여 장을 사용하였다.

<Fig. 1>

Structure of adversarial learning

이 데이터세트를 활용하여 3종류의 학습을 수행한다. 첫째는 D_Road의 지도 학습이고, 둘째는 S_Road의 지도 학습이며 셋째는 S_Road의 준지도 학습이다. 먼저 D_Road를 학습하기 위해서는 one-hot image와 예측 영상 (Prediction image)을 사용한다. one-hot image는 label dataset으로부터 온 영상이고, 예측 영상은 unlabeled dataset의 입력 영상을 S_Road에 통과시켜 얻은 결과 영상이다. 이 one-hot image와 예측 영상을 D_Road에 입력으로 사용하고 얻는 결과를 각각 진짜 라벨 영상과 가짜 라벨 영상으로 인식하도록 학습을 수행한다. 이와 같은 방식으로 학습을 수행하는 것이 real learning이다. 하지만 이와 같은 방식으로는 새로운 라벨 영상을 만들 수 없으므로 fake learning을 추가한다. 이번에는 앞서 구한 예측 영상을 D_Road의 입력으로 사용하였을 때, 그 결 과를 진짜 라벨 영상으로 인식하도록 학습한다. 결과적으로 상호 경쟁적으로 가중치가 업데이트되도록 학습 구조를 만든다. 둘째는 S_Road의 지도 학습이다. 이는 labeled dataset에서 얻은 입력 영상과 라벨 영상을 사용하 는 학습이다. 입력 영상을 S_Road로 입력하여 사용하고 예측 영상을 얻는다. 그리고 라벨 영상을 예측 영상과 동일하게 되도록 S_Road의 가중치를 업데이트되도록 한다. 끝으로 준지도 학습이다. unlabeled dataset의 입력 영 상으로부터 얻은 예측 영상을 다시 D_Road의 입력으로 사용하여 confidence image를 얻는다. 그리고 이 confidence image를 진짜 라벨 영상으로 간주하여 S_Road를 학습한다. 이를 통해서 4,000여 장의 unlabeled dataset 를 S_Road의 가중치 업데이트에 사용한다.

본 논문에서 제안하는 D_Road는 <Fig. 2>와 같이 Encoder 형태로 구성되어 있다. D_Road는 Shim et al.(2020)에서 사용하는 판별자 신경망과 동일한 구조를 가진다. 따라서 CNN과 Leaky ReLU 연산의 조합과 dense connectivity로 구성되어 있다. 하지만 차이점은 CNN과 Leaky ReLU의 조합이다. Shim et al.(2020)에서는 CNN 과 Leaky ReLU 연산 조합의 수는 8개이고 본 논문에서는 10개이다. 그 결과 본 논문에서 사용한 D_Road의 filter 수는 최종적으로 [64, 64, 128, 128, 256, 256, 512, 512, 1024, 1024]이다.

<Fig. 2>

Structure of Discriminator network(D_Road)

2. 학습 조건 및 손실함수

도로 노면 파손 영역을 탐지하기 위하여 적대적 학습에서 사용한 최적화 함수는 ADAM이다(Kingma and Ba, 2014). ADAM의 매개 변수로는 learning rate는 0.001, beta-1은 0.9, beta-2는 0.999로 설정하였다. batch size 는 2로 설정하였고, 총 iteration의 수는 50,000회로 하였다. 학습에 사용한 데이터는 labeled dataset에서 1,327 장의 도로 노면 파손 영상과 라벨 영상을 사용하였고, unlabeled dataset에서 4,000장의 도로 노면 파손 영상을 사용하였다. 그리고 테스트 데이터는 labeled dataset에 있는 400장의 도로 노면 파손 영상을 사용한다. 그리고 학습이 진행되는 동안 테스트 데이터에서 인식 성능이 가장 높은 모델을 선택하여 저장한다. 학습에 사용한 하드웨어의 사양은 Intel Xeon 6226R 2.9 GHz, 320GB의 메모리, 그리고 NVIDIA Quadro 8000이다. 소프트웨 어는 Ubuntu 18.04의 운영체제와 Pytorch를 딥러닝 프레임워크로 사용하였다.

적대적 학습의 손실함수는 두 개의 심층 신경망에 대한 동시 학습을 목적으로 한다. 이들은 판별자 신경 망의 손실함수와 분할 신경망의 손실함수의 합으로 구성된다. 최종 손실함수의 값은 L_All이고 각각의 손실 함수의 값은 L_D , L_Seg로 표시되며 그 식은 Eq. (1)과 같다.

L_{A l l} = L_{D} + L_{S e g}

Eq. (1)

판별자 신경망을 학습하기 위해 사용한 손실함수는 Eq. (2)와 같다. X는 도로 노면 파손 영상을 가리키고, Y는 라벨 영상을 나타낸다. S_Road (∙)는 분할 신경망의 결과로 예측 영상을 나타내고 D_Road (∙)는 판별 자 신경망의 결과로 confidence image를 말한다. y는 가중치 균형을 위한 값으로 예측 영상을 입력으로 하였 을 때는 0이 되고, 라벨 영상을 입력으로 하였을 때는 1이 된다. 끝으로 i는 영상 내에서 화소의 위치를 뜻 하고 N은 전체 화소의 수를 의미한다.

L_{D} = - \sum_{i}^{N} [(1 - y_{i}) log (1 - D_{R o a d} {(S_{R o a d} (X))}_{i}) + y_{i} log (D_{R o a d} {(Y)}_{i})]

Eq. (2)

분할 신경망의 손실함수는 Eq. (3)과 같다. 이는 총 세 가지의 세부 손실함수 합으로 구성되어 있다. 첫 번 째 손실함수인 L_CE는 지도 학습을 수행할 때 사용하는 Cross-Entropy (CE) 함수로 Eq. (4)와 같다. 다음으로 L_Adv은 판별자 신경망의 손실함수로 예측 영상을 입력하고 식은 Eq. (5)와 같다. 끝으로 L_Semi는 준지도 학 습을 수행할 때 사용하는 손실함수로 그 식은 Eq. (6)와 같다. 이 식에서 T _semi는 0.2로 설정하였고, I는 identity matrix로 0 또는 1로 구성된다. 그리고 $\hat{Y}$ 는 분할 신경망에 의해 균열로 판단된 화소로 0 또는 1로 구 성된다.

L_{S e g} = L_{C E} + L_{A d υ} + L_{S e m i}

Eq. (3)

L_{C E} = - \sum_{i}^{N} Y_{i} log (S_{R o a d} {(X)}_{i})

Eq. (4)

L_{A d υ} = - \sum_{i}^{N} log (D_{R o a d} {(S_{R o a d} (X))}_{i})

Eq. (5)

L_{S e m i} = \sum_{i}^{N} I (D_{R o a d} {(S_{R o a d} (X))}_{i} > T_{s e m i}) {\hat{Y}}_{i} log (S_{R o a d} {(X)}_{i})

Eq. (6)

Ⅲ. 실험 결과 및 분석

1. 인식 성능 평가 지표

도로 노면 파손 상태를 탐지하는 심층 신경망의 성능을 비교하기 위해서 본 논문에서는 2가지의 지표를 사용한다. 그것은 우선 중첩 평균 정확도를 나타내는 mean intersection over union (m-IoU)이다. 또한 precision (Pr)과 recall (Re)의 조화 평균인 F1 score (F1)다. 이들은 각각 Eqs. (7), Eqs. (8)과 같다. Eq. (7)에 있는 n_ij는 class j에 속해 있을 것으로 예측된 class i의 모든 화소 수를 나타낸다. 아울러 n_cl는 class의 개수를 가리키 고, t_i는 class i에 속해 있는 모든 화소 수를 지칭한다.

m-IoU : (1 / n_{d}) \sum_{i} n_{i i} / (t_{i} + \sum_{j} n_{j i} - n_{i i})

Eq. (7)

F1 : \frac{2 \times Pr \times R e}{Pr + R e}

Eq. (8)

2. 도로 노면 인식 성능 비교 방식

본 논문에서는 적대적 학습을 적용하여 도로 노면파손을 탐지하는 것을 제안하였다. 이를 적용하였을 때, 도로 노면 파손 영역의 탐지 성능을 비교하고자한다. 본 논문에서는 경량화 심층 신경망으로 ERFNet (Romera et al., 2017)을 사용하였다. 이 모델은 최근에 공개 된 것들로 가볍고 효율적인 분할 신경망이다. 이 와 같은 심층 신경망 모델에 본 논문에서 제안하는 기법을 적용하여 성능 향상 정도를 측정하고자 한다.

본 논문에서 제안하는 방식을 검증하기 위해서 우선 baseline은 ERFNet 모델을 지도학습을 통해서 얻은 도로 노면 파손 인식 성능으로 설정하였다. 성능 향상을 위해 검증하기 위한 실험은 도로 노면 파손 영역을 탐지하기 위해서 적대적 학습을 적용하는 것이다. 이 실험에서 입력 영상은 512×512이고 라벨 영상 또한 512×512가 된다. 이를 통해서 준지도 학습이 인식 성능 향상에 미치는 정도를 파악한다.

3. 실험 결과 비교

본 논문의 목적은 적대적 학습이 도로 노면 파손 탐지 성능에 미치는 영향 정도를 측정하는 것이다. 이를 위해서 경량화 심층 신경망을 모델을 사용하였다. 이 모델에 본 논문에서 제안하는 방식을 적용하였을 때, 성능 변화량을 측정하였고 그 결과는 <Table 1>과 같다. 우선 경량화 심층 신경망 모델을 지도 학습하였을 때 78.43%의 m-IoU와 74.85%의 F1을 기록하였고 이를 baseline을 설정하였다. 본 논문에서는 이 정확도를 높 이기 위해서 적대적 학습을 적용하였다. 그 결과로 80.54%의 m-IoU와 77.85%의 F1을 기록하였다. 이는 baseline과 비교했을 때, 2.11%의 m-IoU와 3.00%의 F1이 향상되었다. 이를 통해 적대적 학습이 인식 성능을 향상시키는데 효과적인 것으로 드러났다.

<Table 1>

Performance results

4. 결과 영상

본 연구에서는 지도학습으로만 도로 노면 파손을 탐지하는 방식과 달리 적대적 학습을 적용하여 인식 성 능을 향상시키는 방법을 제안하였다. 이를 통해서 파손된 도로 노면을 더 정확하게 탐지할 수 있게 되었고, 그 결과는 <Table 2>와 같다. 경량화 심층 신경망 모델을 대상으로 지도학습을 통한 탐지 결과와 본 논문에 서 제안한 방식을 적용한 탐지 결과를 비교하였다. <Table 2>의 (a) 열은 도로 노면 영상이고, (b) 열은 라벨 영상이다. (c) 열은 심층 신경망 모델이 지도학습을 통해서 도로 노면 파손을 탐지한 결과 영상이고, (d) 열은 본 논문에서 제안한 방식을 적용하여 파손 영역을 탐지한 결과 영상이다. 비교 방법에 대해 자세히 살펴보면 (a) 열의 도로 노면 영상이 심층 신경망 모델에 입력으로 들어갔을 때 그 결과는 (c) 열과 (d) 열의 영상들과 같다. 이 영상에서 흰색은 파손으로 인식된 영역이고 검은색은 정상으로 인식된 영역이다. (b) 열의 영상들은 사람이 도로 노면 파손 영상을 보고 파손된 영역으로 표시한 라벨 영상으로 ground truth와 같은 의미를 갖는 다. 따라서 심층 신경망의 결과가 라벨 영상과 동일하다면 정확도는 100%가 되고, 다를수록 정확도는 낮아 지게 된다. 이러한 점을 고려했을 때, 첫 번째 행은 가로 균열의 탐지에 있어서 본 논문에서 제안하는 방식 이 더 정확히 탐지하는 것을 보여준다. 두 번째 행과 세 번째 행은 거북등 균열에 대한 탐지 결과 비교로 이 또한 적대적 학습이 더욱 정확히 탐지하는 것으로 나타났다. 끝으로 네 번째 행은 도로 노면에 생긴 그림자 에 대한 인식 결과를 보여준다. 이를 통해 지도 학습 결과와 비교하였을 때 적대적 학습이 오인식이 적은 것 으로 드러났다.

<Table 2>

Result images (a) Road images (b) Label image (c) Supervised learning (d) Adversarial learning

Ⅳ. Conclusion

도로 노면의 품질 관리는 주행 차량의 안전 사고 예방을 위해 중요한 역할을 수행한다. 도로 노면에 파손 이 발생하게 되면 품질이 저하되고 이는 주행 차량에 영향을 미쳐 교통사고의 요인이 된다. 뿐만 아니라 우 천시 도로 노면 파손 지점으로 빗물이 침투하여 포장면 아래의 다짐된 지반에도 악영향을 미친다. 이러한 점 을 사전에 예방하기 위해서는 철저한 도로 노면 관리가 필요하며 도로 노면 파손에 대한 정확한 탐지 또한 요구된다. 현재까지 다수의 탐지 장비와 센서 기술이 개발되고 있으나 최근에는 딥러닝을 이용한 영상 기술 을 활용한 도로 노면 파손 탐지 기술에 대한 연구가 많이 진행되고 있다. 본 논문이 기존의 연구와 차별성을 갖는 부분은 정확한 도로 노면 파손 탐지를 위해 소수의 라벨 영상으로도 인식 성능을 높일 수 있는 적대적 학습을 적용하였다는 점이다. 우선 라벨 영상이 없는 도로 노면 영상만을 학습에 추가하여 인식 성능을 높이 는 학습 구조를 제안하였고, 이를 경량화 심층 신경망 모델에 적용하였다. 그리고 그 인식 성능을 지도학습 을 통한 도로 노면 파손 인식 성능과 비교하였다. 그 결과 m-IoU와 F1의 평균이 각각 2.11%와 3.00%만큼 향 상되었다. 이는 첫째, 도로 노면 파손 탐지의 인식 성능을 높이기 위해 적대적 학습과 같은 준지도 학습 기 술이 필요하다는 것을 의미한다. 둘째, 경량화 심층 신경망으로도 높은 인식 성능을 낼 수 있어 도로 노면 탐지 알고리즘의 연산 효율성을 높일 수 있다. 끝으로 이와 같은 경량화 심층 신경망은 임베디드 시스템에 적합한 모델로 향후에는 차량에 탑재되어 실시간으로 도로 노면 파손 영역을 보다 정확하고 효율적으로 관 리할 수 있는 기술로 이어지길 기대한다.

ACKNOWLEDGEMENTS

본 연구는 한국건설기술연구원 주요사업 “이종 데이터 변환을 통한 준지도 학습 기반 균열 탐지 기술 개 발”의 연구비 지원에 의해 수행되었습니다.

Figure

<Fig. 1>.

Structure of adversarial learning

<Fig. 2>.

Structure of Discriminator network(D_Road)

Table

<Table 1>.

Performance results

<Table 2>.

Result images (a) Road images (b) Label image (c) Supervised learning (d) Adversarial learning

Reference

Bang S. , Park S. , Kim H. and Kim H. (2018), “A deep residual network with transfer learning for pixel-level road crack detection,” In Proc. International Symposium on Automation and Robotics in Construction, Berlin, Germany, vol. 35, pp.1-4.
Bang S. , Park S. , Kim H. and Kim H. (2019), “Encoder-decoder network for pixel‐level road crack detection in black-box images,” Computer-Aided Civil and Infrastructure Engineering, vol. 34, no. 8, pp.713-727.
Fan R. (2018), Real-time computer stereo vision for automotive applications, Doctoral Dissertation, University of Bristol.
Fan Z. , Li C. , Chen Y. , Wei J. , Loprencipe G. , Chen X. and Di Mascio P. (2020), “Automatic crack detection on road pavements using encoder-decoder architecture,” Materials, vol. 13, p.2960.
Feng H. , Xu G. S. and Guo Y. (2018), “Multi-scale classification network for road crack detection,” IET Intelligent Transport Systems, vol. 13, no. 2, pp.398-405.
Goodfellow I. J. , Pouget-Abadie J. , Mirza M. , Xu B. , Warde-Farley D. , Ozair S. , Courville A. and Bengio Y. (2014), Generative adversarial networks [Online], arXiv:1406.2661. Available at https://arxiv.org/abs/1406.2661
Guan H. , Li J. , Yu Y. , Chapman M. and Wang C. (2014), “Automated road information extraction from mobile laser scanning data,” IEEE Transactions on Intelligent Transportation Systems, vol. 16, no. 1, pp.194-205.
He K. , Zhang X. , Ren S. and Sun J. (2016), “Deep residual learning for image recognition,” In Proc. IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, pp.770-778.
Huang G. , Liu Z. , Van Der Maaten L. and Weinberger K. Q. (2017), “Densely connected convolutional networks,” In Proc. IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, pp.4700-4708.
Hung W. C. , Tsai Y. H. , Liou Y. T. , Lin Y. Y. and Yang M. H. (2018), Adversarial learning for semisupervised semantic segmentation [Online], arXiv:1802.07934. Available at https://arxiv.org/abs/1802.07934
Jenkins M. D. , Carr T. A. , Iglesias M. I. , Buggy T. and Morison G. (2018), “A deep convolutional neural network for semantic pixel-wise segmentation of road and pavement surface cracks,” In Proc. 26^th European Signal Processing Conference(EUSIPCO), Rome, Italy pp.2120-2124.
Kingma D. P. and Ba J. (2014), Adam: A method for stochastic optimization [Online], arXiv:1412.6980. Available at https://arxiv.org/abs/1412.6980
Laurent J. , Hebert J. F. , Lefebvre D. and Savard Y. (2012), “Using 3D laser profiling sensors for the automated measurement of road surface conditions,” In Proc. 7^th RILEM International Conference on Cracking in Pavements, Delft, Netherlands, pp.157-167.
Li G. , Wan J. , He S. , Liu Q. and Ma B. (2020), “Semi-supervised semantic segmentation using adversarial learning for pavement crack detection,” IEEE Access, vol. 8, pp.51446-51459.
Madli R. , Hebbar S. , Pattar P. and Golla V. (2015), “Automatic detection and notification of potholes and humps on roads to aid drivers,” IEEE Sensors Journal, vol. 15, no. 8, pp.4313-4318.
Mei Q. , Gul M. and Azim M. R. (2020), “Densely connected deep neural network considering connectivity of pixels for automatic crack detection,” Automation in Construction, vol. 110, p.103018.
Ouali Y. , Hudelot C. and Tami M. (2020), An overview of deep semi-supervised learning [Online], arXiv:2006.05278. Available at https://arxiv.org/abs/2006.05278
Romera E. , Alvarez J. M. , Bergasa L. M. and Arroyo R. (2017), “Erfnet: Efficient residual factorized convnet for real-time semantic segmentation,” IEEE Transactions on Intelligent Transportation Systems, vol. 19, no. 1, pp.263-272.
Shi Y. , Cui L. , Qi Z. , Meng F. and Chen Z. (2016), “Automatic road crack detection using random structured forests,” IEEE Transactions on Intelligent Transportation Systems, vol. 17, no. 12, pp.3434-3445.
Shim S. , Kim J. , Cho G. C. and Lee S. W. (2020), “Multiscale and adversarial learning-based semi-supervised semantic segmentation approach for crack detection in concrete structures,” IEEE Access, vol. 8, pp.170939-170950.
Singla A. , Bertino E. and Verma D. (2019), “Overcoming the lack of labeled data: Training intrusion detection models using transfer learning,” In Proc. IEEE International Conference on Smart Computing(SMARTCOMP), Washington, DC, USA, pp.69-74.
Zhang A. , Wang K. C. P. , Fei Y. , Liu Y. , Chen C. , Yang G. , Li J. Q. , Yang E. and Qiu S. (2019), “Automated pixel-level pavement crack detection on 3D asphalt surfaces with a recurrent neural network,” Computer-Aided Civil and Infrastructure Engineering, vol. 34, no. 3, pp.213-229.
Zhang Y. , Wang S. , Chen B. , Cao J. and Huang Z. (2021), “TrafficGAN: Network-scale deep traffic prediction with generative adversarial nets,” IEEE Transactions on Intelligent Transportation Systems, vol. 22, no. 1, pp.219-230.
Zou Q. , Zhang Z. , Li Q. , Qi X. , Wang Q. and Wang S. (2018), “Deepcrack: Learning hierarchical convolutional features for crack detection,” IEEE Transactions on Image Processing, vol. 28, no. 3, pp.1498-1512.

Detection Algorithm of Road Surface Damage Using Adversarial Learning

Abstract

적대적 학습을 이용한 도로 노면 파손 탐지 알고리즘

초록