Ⅰ. 서 론
아스팔트 포장도로에 발생하는 다양한 결함 중 포트홀(pothole)은 운전자의 안전사고에 직접적인 원인이 되고, 차량 파손을 유발시켜 재산상의 피해를 발생시키고 있어서 이에 대한 대책이 필요한 실정이다. 포트홀 이란 아스팔트 콘크리트 층 내부 손상으로 아스팔트 포장 표면이 떨어져 나가 생긴 원형모양의 구덩이이다. 이러한 포트홀은 주로 강수량이 많은 여름 장마철과 동결융해로 지반이 연약해지는 이른 봄에 주로 발생한 다 (Kim and Ryu, 2014).
포트홀이 교통안전에 위험한 이유는 포트홀에 물이 고여 운전자가 알아차리기 어렵고 특히 시야 확보가 어려운 비오는 야간에는 운전자가 포트홀을 발견하여 대처하기는 더욱 어려운 실정이다. 이러한 포트홀 파 손에 대한 근본적인 대처방안으로는 아스팔트 포장재료 및 시공 품질 향상, 중차량하중에 적합한 포장단면 적용 등이 있다. 하지만 현재 사용 중인 도로에 대해서는 무엇보다도 포트홀이 발생되자마자 최대한 빠른 시 간에 보수하여 사고발생을 미연에 방지하는 것이 중요하다. 그러나 한정된 인력으로 포트홀을 실시간으로 검출하여 즉시 보수하는 것은 현실적으로 어려운 실정이다.
이러한 포트홀을 탐지하기 위하여 다양한 기법들이 제안되었다 (Kim and Ryu, 2014). 크게 세 가지 방식으 로 나뉠 수가 있는데, 진동센서 방식, 레이저 스캐닝 방식, 영상 방식이다. 진동센서 방식은 주로 가속도 센 서와 같은 진동의 크기를 잡을 수 있는 센서를 활용하는데, 도로노면의 파손 부위가 실제 차량과 부딪히지 않았을 경우 탐지하기 어렵고, 차량마다 진동의 크기가 다를 수 있기 때문에 다소 인식률의 성능이 달라질 수 있는 특징을 가진다 (Mednis et al., 2011). 레이저 스캐닝 방식은 다른 방식에 비하면 다소 높은 정확도를 가지고 포트홀을 탐지가 가능하지만, 장비의 크기가 다소 규모가 있으며, 상대적으로 고가인 경우가 많다. 또한, 저속 주행을 하면서 도로를 스캐닝하기 때문에, 교통 체증을 유발할 수 있는 가능성이 있다 (Yamada et al., 2013). 영상 방식의 경우에는 도로노면 영상의 움직임정보(optical flow)를 활용하여 도로노면의 파손여부 를 탐지하고 (Kim and Ryu, 2014), 이를 임베디드 블랙박스 기기에 실장하여 영상 기반 알고리즘의 실시간 수행을 위한 최적화 작업이 수행되고 있다 (Jo and Ryu, 2015). 영상 방식의 경우에는 날씨와 시간대에 따라 서 획득한 이미지 정보가 흐리게 획득될 경우 성능이 달라질 수 있는 특징을 가진다.
최근 영상처리 기술에 있어서 심층신경망의 출현에 따라 많은 진보적인 발전을 거두었다. 특히, 다양한 신 경망 구조 중에서 합성곱 신경망(Convolutional Neural Network, CNN) 기반의 구조를 많이 활용하고 있다 (Goodfellow et al., 2016). 분류 문제를 다루는 ImageNet Large Scale Visual Recognition Competition(ILSVRC)에 서도 CNN 기반의 알고리즘들이 강세를 보이고 있으며 (Krizhevsky et al., 2012), 회귀(regression) 문제 (Eigen et al., 2014), 객체 탐지(Object Detection) (Ren et al., 2017), 의미론적 분할(semantic segmentation) (Badrinarayanan et al., 2016; Long et al., 2015) 등에서 기존의 고전적인 영상처리 알고리즘에 비하여 높은 성 능을 보이고 있는 추세이다. 이 중에서 의미론적 분할은 입력 이미지 정보에서 픽셀 단위 혹은 인스턴스 단 위로 각각의 영역을 고유의 의미를 가지게끔 분할하는 신경망 구조이며, 합성곱 신경망만을 활용하여 자기 부호화기(autoencoder) 형태로만 구성된 것이 특징이다 (Badrinarayanan et al., 2016; Long et al., 2015). 그래서, 완전 합성곱 신경망(fully convolutional neural network)이라고도 불린다. 본 논문에서는 완전 합성곱 신경망 구 조를 활용하여 자동 포트홀 탐지 기술을 제안한다. 이를 위하여, 실제 국내 도로를 주행하면서 차량에 설치 된 카메라를 통하여 학습 데이터셋을 수집하고, 이를 통하여 신경망을 학습하였다. 총 5,000장의 이미지에 대하여 분할 작업을 수행하였으며, 영상 방식의 경우 어두운 환경에서 성능이 달라질 수 있는데, 이에 대해 서 강건한 성능을 보이기 위하여 학습 데이터셋을 30,000장으로 증강하였다. 또한, 제안된 자동 포트홀 탐지 기술의 성능을 검증하기 위하여 총 450장의 평가 데이터셋을 수집하였고, 총 네 명의 전문가가 각각의 이미 지를 평가하였다.
본 논문의 구성은 다음과 같다. 먼저, 서론에 이어서 Ⅱ장에서는 완전 합성곱 신경망의 구조에 대해서 기 술하며, Ⅲ장에서는 완전 합성곱 신경망을 활용하여 자동 포트홀 탐지 기술을 위하여 학습 데이터셋 생성 방 법과 신경망 구조 및 학습 방법에 대해서 기술한다. 그다음으로 Ⅳ장에서는 제안된 자동 포트홀 탐지 기술의 성능을 검증하였는데, 총 네 명의 전문가가 각각의 이미지를 평가하였다. 마지막으로 Ⅴ장에서는 본 논문의 결론을 맺는다.
Ⅱ. 완전 합성곱 신경망
본 단원에서는 완전 합성곱 신경망 구조에 대해서 설명한다. 완전 합성곱 신경망 구조는 <Fig. 1>에서도 나타나듯이 전결합 신경망(Fully Connected Network, FCN)이 없이 합성곱 신경망으로만 이루어진 것이 특징 이다. 신경망에 어떠한 입력이 주어졌을 때, 점점 작아지는 구조로 나타나다가 다시 원래의 입력 사이즈로 돌아가는 형태의 구조를 가진다. 이를 부호화(encode) 및 복호화(decode) 하는 것과 유사하다고 하여 자기부 호화기(autoencoder)라고도 부른다 (Badrinarayanan et al., 2016). 이미지의 픽센 단위로 분류를 수행하는 의미 론적 분할에서 많이 활용되는 신경망 구조이다 (Long et al., 2015). 앞으로 나오는 다음 소단원에서는 완전 합성곱 신경망에서 활용되고 있는 다양한 계층에 대하여 기술한다.
1. 합성곱 신경망(Convolutional Neural Network, CNN)
합성곱 레이어는 <Fig. 2>에서 잘 나타내주고 있다. <Fig. 2>의 (a)는 전결합 신경망을 나타내며, (b)와 (c) 는 각각 합성곱 신경망을 가리킨다. 전결합 신경망에서는 이전 레이어와 그 다음의 레이어에 있는 신경망들 끼리 모두 연결되어 있는 구조를 가지고 있지만, 합성곱 신경망에서는 굉장히 국소적인 신경끼리만 연결되 어 있다. 전결합 신경망을 활용할 경우에 1차원으로 변환해야 하고, 이에 따른 공간적 정보를 잃는 것을 합 성곱 신경망에서는 방지할 수 있으며, 주로 2D 혹은 3D 이미지 데이터를 활용할 경우에 널리 활용된다 (Goodfellow et al., 2016). 특정 사이즈를 가지는 필터를 일정한 간격으로 쉬프트하면서 계산이 진행되는데, 이를 스트라이드(stride)라고 가리킨다. 스트라이드를 어떻게 주느냐에 따라서 다음 레이어의 사이즈에 영향 을 미친다. 구체적으로는 풀링(pooling) 레이어와 스트라이드 및 제로 패딩(zero padding)에 따라서 다음 레이 어의 사이즈가 결정되는데 (Goodfellow et al., 2016), 본 논문에서는 제로 패딩을 주고, 오로지 스트라이드만 을 활용하였고, 풀링 레이어를 따로 두지 않았다.
2. 역합성곱 신경망(Deconvolutional Neural Network)
합성곱 신경망을 반대로 진행하는 신경망을 역합성곱 신경망이라고 한다. 합성곱 신경망을 통해서 나오는 출력 레이어의 사이즈와 역합성곱 신경망의 입력 레이어의 사이즈는 같은 풀링 레이어, 스트라이드, 제로 패 딩을 했을 경우에 동일하며, 합성곱 신경망의 입력 레이어의 사이즈와 역합성곱 신경망의 출력 레이어의 사 이즈는 마찬가지로 동일하다. 합성곱 신경망은 풀링 레이어와 쌍을 이룰 수 있는 것처럼 역합성곱 신경망은 언풀링(un-pooling) 레이어와 쌍을 이루는 경우가 많다. 풀링 레이어가 다운샘플링(down-sampling)의 효과를 얻을 수 있다면 언풀링 레이어는 업샘플링(up-sampling) 효과를 가져올 수 있다. 하지만, 본 논문에서는 합성 곱 레이어에서 풀링 레이어를 두지 않고, 제로 패딩과 스트라이드를 둔 것처럼 언풀링 레이어를 따로 삽입하 지 않았고, 오로지 제로 패딩과 스트라이드만을 주는 형태로 신경망을 구성하였다.
3. 배치 정규화(Batch Normalization) 및 활성화 함수(Activation Function)
배치 정규화(batch normalization)은 학습의 수렴속도를 가속화시킬 수 있는 기법 중의 하나로, 어파인 (affine) 레이어와 활성화 함수 사이에 두는 것이 일반적이다 (Ioffe and Szegedy, 2015). 배치 정규화를 통해서 초기값의 의존도가 떨어지며, 드롭아웃(dropout)이나 정규화(regularization) 작업을 하지 않아도 과적합 (overfitting) 되는 현상을 억제하는 효과도 있다 (Goodfellow et al., 2016). 본 논문에서도 배치 정규화를 수행 하였으며, 합성곱 레이어 및 역합성곱 레이어 다음에 활성화 함수가 나오기 전에 배치 정규화를 수행하였다. 활성화 함수(activation function)로는 일반적으로 활용하고 있는 Rectified Linear Unit (ReLU)를 활용하였다 (Nair and Hinton, 2010).
Ⅲ. 완전 합성곱 신경망을 활용한 자동 포트홀 탐지 기술
본 단원에서는 완전 합성곱 신경망을 활용한 자동 포트홀 탐지 기술에 대하여 기술한다. 먼저, 첫 번째 소 단원에서는 신경망 학습을 위하여 생성하고, 레이블링한 학습 데이터셋에 대하여 설명하고, 두 번째 소단원 에서는 완전 합성곱 신경망의 구조 및 학습 방법에 대하여 기술한다.
1. 학습 DB 생성
자동 포트홀 탐지 기술에 대한 신경망 모델을 학습하기 위하여 실제 국내 도로를 주행하면서 차량에 설치 된 카메라를 통하여 학습 데이터셋을 수집하였다. 고속도로와 시내부도로 등을 최대시속 100 Km/h 정도까지 주행하면서 촬영되었다. [1920 x 1080] 해상도로 스마트폰을 활용하여 촬영되었고, 차량 내에 블랙박스가 설 치될만한 위치에 스마트폰을 거치하였다.
<Fig. 3>은 도로노면 파손 탐지를 위하여 라벨링된 이미지 예시를 보여준다. 그림에서 나타나는 것처럼 입 력 이미지에 있어서 도로노면 파손이 있는 부분만을 흰색으로 나타나고, 나머지 부분을 검정색으로 이미지 내에서 나타난다. 하지만, 이는 시각적으로 가시화를 위해서 도로노면 파손 부분은 흰색 픽셀값인 255로 그 이외의 부분은 검정 픽셀값인 0으로 나타난 것뿐이지 실제 학습에서는 1과 0으로 맵핑하였다. 각 이미지의 크기는 [800 x 200] 사이즈를 가지며, 총 5,000장의 이미지에 대하여 분할 작업을 수행하였다. 총 5,000장의 이미지에서 도로노면 파손이 존재하는 이미지는 약 40%이다. 그 외의 이미지는 포트홀이라고 오인식 할 수 있을만한 차량, 그림자, 로드마킹, 건물 등의 이미지를 포함하고 있다. 또한, <Fig. 4>는 학습된 데이터셋의 증강 작업을 보여준다. 그림에서 보는 바와 같이 밝기를 총 6단계로 조정함으로써 그림자 혹은 시간에 따라 생기게 되는 어두운 환경에서 보다 강건하게 동작할 수 있도록 증강 작업을 수행하였다. 5,000장의 이미지를 6개의 이미지로 증강함에 따라서 총 30,000장의 이미지를 학습 데이터셋으로 활용하였다.
2. 신경망 구조
<Fig. 5>는 도로노면 파손 탐지를 위한 신경망 구조를 나타낸다. 입력 레이어를 제외하고 총 6개의 합성곱 레이어를 가진다. 이 중에서 3개는 스트라이드 합성곱 레이어이며, 나머지 3개는 스트라이드 역합성곱 레이 어를 활용하였다. 풀링 레이어를 사용하지 않고, 합성곱 레이어에 스트라이드를 [2 x 2]를 주는 형태로 구성 하였으며, 여기서의 커널 사이즈는 [5 x 5]로 활용하였다. 풀링 레이어 및 언풀링 레이어가 없는 것을 제외하 고는 <Fig. 1>에서 나타나는 신경망 구조와 크게 차이나는 것은 없다. 손실 함수(loss function)는 최소평균제 곱오차(Minimum-Mean-Squared-Error, MMSE) 형태로 구성하였으며 (Han et al., 2016), 여기서의 최적화 기법은 adaptive moment estimation (ADAM)을 활용하였다 (Kingma and Ba, 2015). Ⅱ장에서 기술하였듯이 활성화 함 수로는 Rectified Linear Unit (ReLU)가 사용되었고 (Nair and Hinton, 2010), 합성곱 레이어와 활성화 함수 사이 에는 배치 정규화를 수행하였다 (Ioffe and Szegedy, 2015). <Fig. 6>는 학습 iteration에 따른 손실값을 나타낸 다. 5,000장의 이미지에서 검증 데이터셋은 20% 비율인 1,000장을 활용하였으며, 여기에서 1,000장의 이미지 는 랜덤하게 선정하였다. 학습이 진행될 때마다 학습과 검증 데이터셋의 손실값을 측정하여 검증 데이터셋 의 손실값이 가장 작은 경우의 모델을 활용하였다.
Ⅳ. 성능결과 및 평가
먼저, <Fig. 7>는 <Fig. 5>의 신경망 모델로 출력된 이미지 예시이다. <Fig. 7>의 이미지는 학습된 이미지와 는 겹치지 않으며, 가시성을 높이기 위하여 신경망 모델로 출력된 이미지를 입력 이미지에 노란색으로 반투 명하게 보이도록 하였다. 그림에서 보는바와 같이 도로노면의 파손이 있는 부분만을 이미지에서 분할하는 것을 확인가능하다. 이에 대한, 정성적인 성능을 검증하기 위하여 주관적으로 성능을 평가하였다. 먼저, 도로 노면을 촬영하는 도중에 ROI(Region of Interest) 안에 들어올 수 있는 이미지를 450장을 선정하였다. 여기서, 마찬가지로 450장중에서 학습에 활용된 데이터셋과 겹치는 이미지는 없으며, <Fig. 8>가 평가에 활용되는 데 이터셋의 예시 사진을 보여준다. 그림에서 보이는바와 같이, 포트홀만 있는 것이 아니라 도로노면을 스캔하 면서 ROI 안에 들어올 수 있는 로드 마킹, 이음선, 줄눈, 그림자, 자동차 등을 포함하고 있다.
총 4명의 평가자가 주관적으로 450장의 이미지를 평가하였으며, 여기에서 450장의 이미지 순서는 임의적 으로 나타나게 하였다. 한 장의 이미지를 보고 평가자는 <Table 1>에서 보이는 것처럼 가장 근접하다고 생각 되는 항목으로 평가하게 된다. 이미지 상에서 포트홀이 있는 경우에 제대로 포트홀을 분할한 경우와 그렇지 못한 경우, 이미지 상에서 포트홀이 없는 경우에 제대로 포트홀을 분할하지 않은 경우와 그렇지 못한 경우로 나뉘게 된다. 이는 어떠한 알고리즘의 성능을 통계적으로 평가할 경우에 많이 활용되고 있는 평가방법이며, 실제로 많은 분야에서 널리 활용되고 있다 (Goutte and Gaussier, 2005). 본 논문에서의 포트홀이란 사고로 이 어질 수 있는 상태의 도로노면 파손이나 보수가 충분히 필요하다고 볼 수 있는 정도의 도로노면 파손 정도 로 정의하였고, 평가자 4명 모두 도로교통 쪽에 종사하고 있는 전문가이다.
<Table 1>는 제안된 자동 포트홀 탐지 기술의 평가결과를 나타낸다. 먼저, Tp, Tn, Fp, Fn으로 나뉘는 것을 볼 수 있다. 각각은 Positive인 경우에 Positive로 잘 판정하였을 경우가 Tp, Negative인 경우에 Negative로 잘 판정하였을 경우가 Tn, Negative인데도 불구하고 Positive로 판정하였을 경우가 Fp, Positive인데도 불구하고 Negative로 판정하였을 경우가 Fn이다 (Goutte and Gaussier, 2005). 본 논문의 경우에는 포트홀이라고 분할해 야 하는 곳을 정확하게 분할하였을 경우가 Tp에 해당된다. 각각의 전문가는 학습된 모델이 포트홀 분할한 결과 이미지를 보고, Tp, Tn, Fp, Fn 중에서 하나의 경우로 평가하였다. 네 개의 지표를 통하여 최종적으로 민감도(recall), 정밀도(precision), 정확도(accuracy), F1-score로 도출할 수가 있다 (Goutte and Gaussier, 2005). 민 감도의 경우에는 실제 Positive의 수에서 Positive로 얼마만큼 잘 분류하였는가를 나타낸다. 본 논문의 경우에 는 포트홀이 나타난 수에서 얼마만큼 포트홀로 잘 분할하였는가를 제시하는 수치이다. 테이블에서 나타나는 것처럼, 제안된 포트홀 탐지 기술의 평균 민감도는 0.9264정도의 높은 수치를 나타냈다. 정밀도의 경우에는 Positive로 예측한 수에서 실제 Positive의 비율을 가리킨다. 제안된 포트홀 탐지 기술의 평균 정밀도는 0.7012 으로 민감도에 비하면 상대적으로 다소 낮은 수치를 나타냈다. 또한, 모델의 정확도를 표현할 때는 정확도 수치를 정밀도와 민감도를 하나의 수치로 총체적으로 나타날 경우에는 F1-score로 나타낼 수 있다. 본 논문에 서 제안한 포트홀 탐지 기술의 경우 평균 정확도와 F1-score는 각각 0.8728 및 0.7982의 수치로 평가되었는데, 이는 다소 높은 민감도의 점수를 받았지만 정밀도가 상대적으로 다소 낮은 수치로 평가되었기 때문이다. 본 논문에서 제안한 포트홀 탐지 기술의 성능이 정탐에 대해서는 강건한 성능을 보이며, 오탐에 대해서 다소 오 류를 가지고 있다고 해석할 수 있다. 즉, 제안된 기술이 포트홀을 분할 못하는 케이스는 극히 적으며, 상대적 으로 줄눈이나 로드 마킹에 대해서 포트홀이라고 인지하는 경우가 종종 발생한다고 볼 수 있다. 향후, ROI 영역에 들어올 수 있는 다양한 형태의 이미지 정보를 수집하여 민감도뿐만 아니라 정밀도에 대해서도 강건 한 형태의 신경망 학습이 필요하다고 볼 수 있겠다.
Ⅴ. 결 론
본 논문에서는 완전 합성곱 신경망 기반의 의미론적 분할 형태의 자동 포트홀 분할 기술을 제안하였다. 제안된 신경망은 완전 합성곱 신경망으로 이루어진 자기부호화기 형태로 구성하였으며, 풀링 레이어 및 언 풀링 레이어를 따로 두지 않고, 스트라이드 합성곱 및 역합성곱 신경망을 활용하였으며, 합성곱 레이어와 활 성화 함수 사이에는 배치 정규화를 추가하였다. 실제 도로 주행을 하면서 획득한 이미지를 직접 레이블링하 여 지도 학습(supervised learning) 형태로 학습을 수행하였다. 학습된 모델의 성능을 주관적으로 평가하였을 때, 높은 민감도 성능을 보이는 것으로 확인되었으며, 정밀도의 경우에는 민감도에 비해서는 다소 낮은 수치 로 평가되었음을 확인하였다. 이는 본 논문에서 제안한 포트홀 탐지 기술의 성능이 정탐에 대해서는 강건한 성능을 보이며, 오탐에 대해서 다소 오류를 가지고 있다고 해석할 수 있다. 향후, 다양한 형태의 이미지 정보 를 수집하여 민감도뿐만 아니라 정밀도에 대해서도 강건한 형태의 신경망 학습이 필요하다고 볼 수 있겠다. 이를 위하여 다양한 실험 환경과 더불어 성능 분석, 그리고 모델의 지속적인 고도화를 도모할 예정이며, 향 후 스마트시티 및 자율주행 등에 활용할 수 있을 것으로 기대한다.
