Journal Search Engine

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.15 No.4 pp.104-114
DOI : https://doi.org/10.12815/kits.2016.15.4.104

Pothole Detection Algorithm Based on Saliency Map for Improving Detection Performance

Young-Tae Jo*, Seung-Ki Ryu**
*KICT
**KICT
Corresponding author: Seung-Ki Ryu(Korea Institute of Civil Engineering and Building Technology), skryu@kict.re.kr
May 27, 2016 │ July 5, 2016 │ July 8, 2016

Abstract

Potholes have caused diverse problems such as wheel damage and car accident. A pothole detection technology is the most important to provide efficient pothole maintenance. The previous pothole detections have been performed by manual reporting methods. Thus, the problems caused by potholes have not been solved previously. Recently, many pothole detection systems based on video cameras have been studied, which can be implemented at low costs. In this paper, we propose a new pothole detection algorithm based on saliency map information in order to improve our previously developed algorithm. Our previous algorithm shows wrong detection with complicated situations such as the potholes overlapping with shades and similar surface textures with normal road surfaces. To address the problems, the proposed algorithm extracts more accurate pothole regions using the saliency map information, which consists of candidate extraction and decision. The experimental results show that the proposed algorithm shows better performance than our previous algorithm.


포트홀 탐지 정확도 향상을 위한 Saliency Map 기반 포트홀 탐지 알고리즘

조 영 태*, 류 승 기**
*주저자:한국건설기술연구원 도로연구소 연구원
**교신저자:한국건설기술연구원 도로연구소 연구위원

초록

포트홀은 차량파손과 교통사고 유발 등의 사회문제를 유발시키고 있다. 포트홀을 효율적으로 관리하기 위해서는 빠 르게 포트홀을 찾아내는 기술이 가장 중요하다. 기존의 포트홀 탐지 기법은 민원에 의한 수동식 신고방식을 사용하고 있어, 포트홀로 인해 발생하는 문제를 사전에 예방하지 못하고 있다. 최근 포트홀을 저비용으로 빠르게 탐지하기 위하 여 영상 카메라를 이용한 연구가 많이 진행되고 있다. 본 논문에서는 사전에 연구되었던 포트홀 탐지 알고리즘의 탐지 정확도를 개선하기 위한 Saliency Map 기반의 알고리즘을 제안한다. 기존 알고리즘은 포트홀이 그림자와 겹쳐있거나 포 트홀의 내부 모양이 주변 도로노면과 비슷한 형태를 가지는 등의 복잡한 환경에서 포트홀을 탐지하지 못하는 문제를 가지고 있다. 이러한 문제를 해결하기 위하여 제안하는 알고리즘은 Saliency Map 알고리즘을 이용하여 보다 정확한 포 트홀 후보 영역을 찾는다. 제안 알고리즘은 포트홀 후보영역 추출부와 결정부로 구성되며, 실험을 통하여 기존 알고리 즘보다 더 높은 탐지 정확도를 가짐을 보인다.


    Korea Institute of Civil Engineering and Building Technology

    Ⅰ.서 론

    도로노면 파손의 일종인 포트홀은 도로노후화 및 기후변화, 교통량 증가로 최근 그 수가 급증하고 있다. 포트홀은 주행 중인 차량에 심각한 파손을 유 발할 수 있고, 이로 인해 교통사고를 유발시킬 수 있다. 2013년 국토교통부 자료에 의하면 포트홀은 2008년 약 9만여 건에서 2013년 약 18만여 건으로 6년 동안 누적하여 약 93만 건이 발생하였다. 또한, 2013년 국회 국토교통위원회 보고서에 의하면 전국 에서 포트홀로 인한 사고가 최근 5년 동안 4,223건 으로 과거에 비하여 약 5배로 급증하였으며, 이에 따른 포트홀 보수비용은 2008년 약 71억 원에서 2013년 약 1,308억 원으로 약 18배가량 증가하였다.

    이러한 이유로 정부와 지자체는 포트홀의 대책 마련에 고심하고 있으며, 서울시는 2013년에 발표 한 ‘서울시 아스팔트 10개명’ 정책에 따라 포트홀을 관리하기 위해 시내버스에 포장파손 감지센서와 GPS 모듈을 장착해 포트홀을 발견하고 24시간 이 내에 보수 작업하는 정책을 시범 운영하였다[1]. 하 지만, 시내버스를 이용한 포트홀 탐지 방식은 버스 전용차로에 발생하는 포트홀만 탐지가 가능한 문제 가 있으며, 진동데이터를 기반으로 하는 포장파손 감지센서는 포트홀과 비슷한 데이터를 생성하는 맨 홀이나 과속 방지턱을 정확히 구별하기 어렵다. 또 한, 버스 운전기사의 포트홀 회피 운전으로 인해 데 이터 자체가 수집되지 않는 등 다수의 문제가 있다 는 점이 지적되었다.

    포트홀로 인해 발생하는 문제를 효과적으로 해 결하기 위해서는 포트홀을 빠르게 탐지하고 보수하 는 것이 가장 중요하다. 포트홀을 탐지하는 방식은 크게 진동방식, 레이저 스캐닝 방식, 영상인식 방식 의 3가지로 분류할 수 있다. 진동방식은 앞서 언급 한 서울시 시내버스에 시범 적용한 방식으로 차량 이 포트홀을 통과할 때 발생하는 진동의 패턴을 분 석하여 포트홀을 인식하는 방식이다. 진동방식은 구성방법이 단순하고 저비용으로 시스템을 구축할 수 있는 장점이 있으나 포트홀 탐지 정확도가 많이 떨어지는 문제가 있다. 레이저 스캐닝 방식은 레이 저 스캐너를 이용하여 도로노면 형상정보를 3D 데 이터로 만드는 방식으로 매우 정확한 도로노면 형 상을 추출할 수 있어, 정확한 포트홀 탐지가 가능하 다. 하지만, 레이저 스캐너는 비용이 너무 높아 확 장성이 떨어지는 문제가 있다. 진동방식의 낮은 정 확도 문제와 레이저 스캐너의 높은 비용 문제를 해 결할 수 있는 방식으로 영상 카메라를 이용한 방식 이 최근 많이 연구되고 있다. 영상을 이용한 방식은 저비용으로 넓은 지역을 빠르게 탐지할 수 있지만, 고 성능의 포트홀 탐지 알고리즘이 필요하다.

    포트홀 탐지에 사용되는 도로노면 영상은 도로 에서 획득되는 데이터의 특성 상 외부 환경에 따라 동일한 지역이라도 영상이 크게 바뀌는 특성이 있 다. 예를 들어, 동일한 포트홀도 날씨에 따라 그 재 질감이 다르게 보이고 햇빛의 방향에 따라 그 크기 및 모양이 다르게 보이는 특성이 있다. 영상을 이용 한 포트홀 탐지는 주변환경에 따라 그 모양과 재질 이 달라지는 문제와 기상조건에 따라 영상탐지방식 의 성능차이가 커진다는 한계점이 있다.

    기존 연구에서 가장 먼저 포트홀의 표면 특징점 을 이용한 포트홀 탐지 알고리즘을 제안하였다[2]. 포트홀과 비슷하게 보이는 그림자나 도로보수 메움 등을 잘 구별하지 못하는 문제가 있어 도로노면 깊 이정보를 이용한 알고리즘으로 성능향상을 이루었 다[3]. 그리고 실시간 탐지를 위한 경량화된 포트홀 탐지 알고리즘으로 확장하였다[4]. 경량화된 알고리 즘은 기존[2, 3] 알고리즘에서 사용하던 연산량이 많이 필요한 방법론들을 제거하여 경량화 시켰지만 탐지성능은 기존 알고리즘에 비해 떨어지는 문제가 있었다.

    본 논문에서는 기존 포트홀 탐지 알고리즘[2-4] 의 연구결과를 바탕으로 경량성을 유지하며 탐지성 능을 개선하기 위하여 Saliency Map을 기반으로 하 는 새로운 포트홀 탐지 알고리즘을 제안한다. Saliency Map은 영상처리 분야에서 많이 연구되는 분야로 하나의 영상에서 주변에 비하여 도드라지게 보이는 영역을 찾는 알고리즘이다. 도로노면의 포 트홀도 평평한 도로노면에 비해 깨짐, 어두움 등의 주변 도로노면에 비해 도드라지는 영역을 가지는 특징을 가지며, 본 논문의 포트홀 탐지 알고리즘은 이러한 특징을 반영한 포트홀 탐지 알고리즘을 제 안한다.

    본 논문은 2장에서 관련연구를 설명하고, 3장에 서 기존 포트홀 탐지 알고리즘을 설명한다. 4장은 제안하는 포트홀 탐지 알고리즘을 기술하며, 5장에 서는 실제 도로 영상을 이용한 포트홀 탐지 알고리 즘의 실험결과를 제시한다. 그리고 6장에서 결론과 향후 연구를 기술한다.

    Ⅱ.관련연구

    1.포트홀 탐지 방법

    도로노면 임의의 위치에 발생하는 포트홀을 탐 지하는 방법은 다양하게 시도되어 왔다. 가장 대표 적인 것으로 진동방식[5, 6], 레이저스캐닝 방식[7, 8], 영상방식[2-4, 9-13]이 있다.

    진동방식은 차량에 가속도센서를 설치하고 차량 이 포트홀을 통과할 때 전달되는 충격량의 패턴을 분석하여 포트홀을 탐지하는 방식이다[5, 6]. 상당 히 낮은 비용과 비교적 단순한 분석 방법을 통해 시스템을 구성할 수 있는 장점이 있다. 하지만, 맨 홀과 과속 방지턱과 같이 포트홀과 동일하게 차량 에 충격이 가해지는 것을 포트홀로 오인식할 수 있 는 문제가 있다. 가장 큰 문제로 분류되는 것은 운 전자가 일반적으로 포트홀을 밟고 통과하는 것이 아니라 회피하기 때문에 포트홀 데이터 자체가 수 집되지 않는 문제가 있다.

    레이저스캐닝 방식은 고성능의 레이저 스캐너를 이용하여 도로노면과 스캐너의 거리 데이터를 수집 해 3D로 형상화 하는 기술이다[7, 8]. 해당 방식은 고정밀의 도로노면 상태 데이터를 수집할 수 있어 포트홀 뿐만 아니라 미세한 크렉까지도 탐지 할 수 있다. 하지만, 레이저스캐너는 그 비용이 높아 높은 확장성을 요구하는 포트홀 탐지 분야에서는 포트홀 탐지기로써 구성하기에 무리가 있다.

    영상방식은 앞서 설명한 두 가지 방식에 비해 저 비용으로 넓은 영역을 빠르게 탐지하기에 적절한 방식이라고 말할 수 있다[9-13]. 대표적인 영상을 이용한 포트홀 탐지는 Koch의 연구가 있으며, 포트 홀의 특징점을 이용하여 탐지하는 방식을 이용한다 [9]. Buza는 인터넷에서 수집된 포트홀 이미지를 이 용하여 포트홀을 인식하는 방법론을 제안하였다. Koch는 기존 자신의 알고리즘을 비디오 데이터로 확장하여 포트홀을 인식하는 알고리즘을 제안하였 다[11]. 또한, 자동차회사에서 포트홀을 실시간으로 탐지하여 좀 더 쾌적한 주행환경을 제공하기 위하 여 Land Rover[12]와 Mobileye[13]에서 영상을 이용 한 방법론을 개발하고 있다.

    2.Saliency Map 알고리즘

    영상처리 분야에서 주변영역에 비하여 돌출되어 보이는 영역을 찾아내는 Saliency Map 분야가 존재 한다. Saliency Map은 영상분할, 압축, 객체인식 등 다양한 응용 분야에서 활용될 수 있다. Saliency라는 용어는 Tsotsos[14]와 Olshausen[15], 그리고 Itti[16] 의 연구에서 사용되기 시작하였다. Saliency Map 추 출 알고리즘은 크게 생물학적 모델링을 통한 방법 과 순수하게 계산적 방법, 조합을 이용한 방법의 3 가지로 구분할 수 있다. 3가지 방법론들 모두 색정 보, 명암, 방향성의 데이터를 이용해 Contrast 정보 가 주변 영역에 비해 어떠한 특징과 차이를 가지는 지 정도를 이용해 Saliency를 추출한다.

    Ma는 Local Contrast를 이용한 Saliency Map 추출 알고리즘을 제안하였다[17]. 제안 알고리즘은 싱글 스케일에서 동작하며 생물학적 모델링이 아닌 계산 적 방법론으로 설계하였다. 입력 영상은 알고리즘 에 맞게 크기 조정을 하고 CIELuv로 색조정을 수행 한다. 결과영상은 주변보다 주목을 받는 픽셀과 영 역을 추출하게 되며, Fuzzy 알고리즘을 통해 최종 Salient 영역을 결정한다. Hu는 컬러, 명암, 지향성 정보를 이용하여 Saliency Map을 추출하는 알고리 즘을 제안하였다[18]. 제안 알고리즘은 각 객체의 Compactness와 convex hull 등을 이용하여 각 객체 들을 결합한다. Radhakrishna는 입력 영상과 동일한 해상도의 Saliency Map을 추출할 수 있고, 추출된 객체에 대해 경계선을 제공할 수 있는 알고리즘을 제안하였다[19]. 제안 알고리즘은 색정보와 명암정 보를 이용하며, 알고리즘적 측면에서 간단히 구현 가능하고 빠르게 실행 가능하다. 본 논문에서 제안 하는 포트홀 탐지 알고리즘은 임베디드 환경에서 동작 가능해야 하므로 복잡도가 낮고 동시에 정확 도도 높은 [19]에서 제안한 알고리즘을 활용한다.

    Ⅲ.기존 포트홀 탐지 알고리즘

    영상을 이용한 포트홀 탐지 알고리즘을 개발하 기 위하여 연구를 수행해왔으며, 크게 3가지 알고 리즘을 제안하였다[2-4].

    가장 먼저 포트홀의 특징점을 이용한 포트홀 탐 지 알고리즘을 제안하였다[2]. 제안 알고리즘은 Segmentation, Candidate, Decision의 3단계로 구성된 다. Segmentation에서는 포트홀로 의심되는 영역과 주변 영역을 분할하는 단계로 HST(Histogram Shape -based Thresholding)[9] 알고리즘을 사용한다. 분할 된 포트홀 의심영역은 Candidate 단계에서 노이즈제 거, 재구성 등을 통해 포트홀 후보 영역으로 지정한 다. 노이즈 제거는 미디언필터와 형태학 필터를 이 용한다. Decision 단계에서 포트홀 후보 영역 중 최 종 포트홀 여부를 판단한다. Decision에서는 표준편 차와 OHI(Ordered Histogram Intersection)[20] 등을 이용해 포트홀 여부를 결정한다. 제안한 알고리즘 은 기존 Koch[9] 알고리즘에 비해 높은 정확도를 보임을 확인하였다. 하지만, 여전히 포트홀과 비슷 한 그림자, 얼룩, 패치, 맨홀 등에서 오탐지가 존재 하였다. 또한, 날씨와 태양의 위치에 따라 동일한 포트홀 이라도 다른 형태로 보이는 특성으로 인해 오탐지가 발생하였다.

    기존 연구의 문제를 해결하기 위하여 포트홀의 표면 텍스처 정보에 깊이 정보를 추가한 알고리즘 을 제안하였다[3]. 포트홀은 도로노면이 파손된 형 태로 주변도로노면과 다른 깊이를 가지므로 깊이정 보를 통해 정확한 포트홀 여부를 측정할 수 있다. 단안카메라에서 깊이정보를 추출하기 위하여 Optical Flow를 사용하였다. Optical Flow는 동영상 에서 현재 프레임과 과거 프레임에서 동일한 픽셀 을 찾는 알고리즘으로 영상 압축, 깊이 정보 추출 등 다양한 분야에 활용될 수 있다. 블록 단위의 Optical Flow는 영상 압축에 활용되고 픽셀 단위의 Optical Flow를 통해 깊이 정보를 추출할 수 있다. 깊이 정보를 활용한 포트홀 탐지 알고리즘은 특징 점을 이용하였던 기존 알고리즘에 비해 높은 정확 성을 보였다. 하지만, 기존 알고리즘에 비해 높은 복잡도로 처리 속도가 현저하게 떨어지는 문제가 있었다. 실시간성을 요구하지 않는 환경에서는 문 제가 없겠지만 차량에 설치된 단말기에서 실시간으 로 포트홀을 탐지하기 위해서는 문제가 있다. 또한, Optical Flow 알고리즘은 선명한 영상이 취득될 수 록 더 높은 정확성을 보인다. 고속으로 주행하는 차 량에서 취득되는 영상은 카메라의 FPS(Frame Per Second)가 높지 않으면 영상이 블러링되는 문제가 발생한다.

    연산 복잡도를 낮춰 실행 속도를 높이기 위하여 경량화된 포트홀 탐지 알고리즘을 제안하였다[4]. 제안 알고리즘은 임베디드 환경을 고려한 포트홀 탐지 알고리즘으로 기존 알고리즘을 경량화하여 실 시간으로 동작이 가능하도록 설계하였다. 하지만, 경량화로 인해 기존 알고리즘에 비해 탐지 정확도 가 떨어져 알고리즘의 개선이 필요하다.

    Ⅳ.제안 알고리즘

    제안하는 포트홀 탐지 알고리즘은 블랙박스 카 메라와 같은 임베디드 환경을 위해 경량성을 가지 며, 기존 포트홀 탐지 알고리즘보다 더 높은 탐지 정확도를 가지는 것을 목표로 한다. 제안 알고리즘 은 크게 포트홀 후보추출(Candidate extraction)과 결 정(Decision)으로 구성된다. 후보추출에서는 포트홀 로 의심되는 영역을 도로노면과 분리하여 후보영역 으로 만든다. 결정부에서는 후보로 추출된 영역이 실제 포트홀 여부를 결정한다. <Fig. 1>은 제안 포 트홀 탐지 알고리즘의 전체 처리 흐름도이다.

    1.후보추출

    후보영역 추출은 총 7가지 단계로 구성된다. 먼저 입력된 컬러 영상을 흑백으로 변환하는 Grayscale conversion을 수행한다. 일반적으로 아스팔트는 흑백 의 단순한 색으로 구성되어 있어 연산량을 높이는 컬 러정보가 필요하지 않다. 흑백변환을 위하여 식 (1)과 같이 RGB로 입력되는 영상을 YUV로 변환 후 Y값만 을 사용한다.

    [ Y U V ] = [ 0.257 0.504 0.095 0.148 0.291 0.499 0.439 0.368 0.071 ] [ R G B ] + [ 16 128 128 ]
    (1)

    실외에서 촬영되는 영상의 특성상 조도의 변화 가 자주 일어나므로 같은 도로노면이라도 명암 분 포에 큰 차이가 발생할 수 있다. 조도가 강할 때는 전체적으로 데이터의 크기가 크고 조도가 약할 때 는 전체적으로 데이터의 크기가 작아지게 된다. 이 러한 영향을 줄이기 위하여 식 (2)와 같이 평균중심 화(Mean centering)를 수행한다.

    M i j = I i j I ¯ + 128
    (2)

    여기서 M i j 는 평균중심화된 i, j위치의 픽셀값을 나타내고, I i j , I 는 각각 입력 픽셀, 영상의 평균값 을 나타낸다. 일반적인 평균중심화와 다르게 128의 값을 더해주는데 이것은 음수 연산을 피하기 위해 서다.

    평균중심화를 통해 데이터 값 조정 후 가우시안 블러(Gaussian blur)를 통해 영상의 고주파 성분을 제거한다. 2차원 데이터로 구성된 영상을 위한 가 우시안 필터는 식 (3)과 같이 표현할 수 있다.

    G ( x , y ) = 1 2 π σ e x p ( ( x 2 + y 2 ) / 2 σ 2 )
    (3)

    식 (3)에서 σ2 은 가우시안 필터의 분산을 의미한 다. 본 논문에서는 블러링을 위해 가우시안 필터를 사용하였지만, 노이즈제거나 엣지 검출에도 활용될 수 있다.

    가우시안 블러링 후 명암조절(Contrast control)을 수행한다. 명암조절은 상대적으로 도로노면에 비해 어두운 특성을 지니는 포트홀 데이터는 남기고 도 로노면에서 상대적으로 밝은 값을 가지는 도로노면 마킹을 제거한다. 명암조절은 식 (4)와 같다.

    L i j = { M i j × α c , if  M i j × α c < 255 255 , o t h e r w i s e
    (4)

    여기서 L i j 는 명암조절 후 픽셀값을 의미하고, α c 는 스케일링 값을 의미한다.

    명암 조절 후 포트홀과 포트홀이 아닌 주변영역 으로 분할하는 이진화(Thresholding)을 수행한다. 일 반적으로 이진화를 위해 Otsu 방법[21], HST 방법 [9], Maximum entropy[22] 방법 등이 있다. 기존 연 구 중 임베디드 블랙박스 카메라를 위한 경량 포트 홀 탐지 알고리즘에서는 Otsu 방법을 사용하였다 [4]. Otsu 알고리즘은 이진화 연구 분야에서 좋은 성 능을 보이는 알고리즘으로 알려져 있지만 포트홀과 주변 노면을 구분하기 힘든 복잡한 환경에서는 좋 지 못한 성능을 보였다. 이를 해결하기 위하여 본 논문에서는 식 (5)와 같이 Saliency 기반의 이진화 알고리즘을 제안한다.

    B i j = { 1 , if  S i j > T s 0 , o t h e r w i s e
    (5)

    여기서 B i j 는 이진화된 결과 픽셀을 의미하고 S i j 는 Saliency 계산 알고리즘을 통해 계산된 값을 의 미하며, T s 는 이진화를 위한 기준 임계값을 의미한 다. Saliency 데이터는 식 (6)과 같이 계산한다.

    S ( i , j ) = I μ I ω h c ( i , j )
    (6)

    여기서 S ( i , j ) 는 Saliency 결과 픽셀 값을 의미하 고 I μ 는 입력 영상의 평균값을 의미하며, I ω h c 는 Gaussian 필터링된 결과 픽셀값을 의미한다. 그리고, I μ I ω h c 는 식 (7)과 같이 Lab 컬러 스페이스로 표 현된다.

    I μ = [ L μ a μ b μ ] , I ω h c = [ L ω h c a ω h c b ω h c ]
    (7)

    <Fig. 2>는 동일한 입력 영상에서 Otsu 알고리즘 을 사용하였을 때와 본 논문에서 제안하는 Saliency 기반 이진화를 사용했을 때 결과를 비교한 것이다. <Fig. 2>의 (a)는 포트홀이 나무 그림자 안에 있을 때이고 <Fig. 2>의 (b)는 포트홀의 명암이 주변 도 로노면과 매우 유사할 때를 나타낸 것이다. 해당 두 가지 경우에서 Otsu를 사용했을 때 보다 제안하는 방식의 이진화가 더 정확히 포트홀 영역을 찾아내 는 것을 알 수 있다.

    이진화가 완료된 영상에서 잡음을 제거하기 위 하여 식 (8)과 같이 미디언 필터(Median filter)를 사 용한다.

    E i j = M e d i a n ( B i j )
    (8)

    그 다음 식 (9)와 같이 형태학(Morphology) 필터 의 닫힘(Closing) 연산을 이용하여 영역의 윤곽의 손상된 부분을 복원하고 조각난 부분을 제거한다.

    C i j = E i j · S E
    (9)

    여기서 SE는 Structure Element를 의미하고, ∙는 닫힘 연산을 나타낸다. 닫힘 연산은 팽창(Dilation) 과 침식(Erosion) 연산으로 이루어진다.

    2.결정

    결정부는 <Fig. 1>과 같이 추출된 포트홀 후보 영역에서 총 5가지 조건을 검사하여 최종 포트홀 여부를 판단한다.

    먼저 포트홀 후보 영역이 탐지하려는 ROI(Region Of Interest) 영역 안에 위치하고 있는지 검사한다. ROI의 위치 및 크기는 차선의 위치에 따라 변경이 가능하다. 기존 연구[4]에서는 차선을 인식하여 차 선 안쪽 영역만은 ROI로 결정하고 만약 차선 인식 에 실패하면 가상의 차선을 만드는 방식을 사용하 였다. 본 논문에서는 연산 복잡도를 고려하여 가상 의 차선을 만드는 방식을 사용한다. 가상의 차선을 만드는 방식은 <Fig. 3>과 같이 소실점(Vanishing point)을 기준으로 양옆 1/3 위치까지 가상의 선을 긋고 해당 선을 차선으로 가정한다.

    다음으로 포트홀 여부를 판단하기 위하여 식 (10)과 같이 크기(Size), 표준편차(Standard deviation), OHI, 비율(Proportion)을 사용한다.

    P = { p o t h o l e r e g i o n , i f S i z e > T z A N D S t d > T s t d A N D O H I < T o h i A N D P R O > T p r o n o n p o t h o l e r e g i o n , o t h e r w i s e
    (10)

    여기서 T z , T s t d , T o h i , T p r o 는 각각 크기 임계치, 표준편차 임계치, OHI 임계치, 비율 임계치를 의미 한다.

    크기 임계치 검사를 통해 얇은 크렉이나 아주 작 은 노면파손 등을 제거할 수 있다. 포트홀은 내부가 파손되어 있기 때문에 일반적으로 정상적인 도로노 면에 비해 그 표면이 거친 특성이 있으며, 표준편차 검사를 통해 이러한 특징을 반영할 수 있다. OHI는 기존연구[2]에서 포트홀과 비슷한 얼룩, 패치, 조명, 그림자 등을 포트홀과 구별하기 위하여 가장 중요 한 포트홀 결정 조건으로 사용되었었다. 하지만, 기 존의 OHI 계산 방식은 연산 복잡도가 높아 임베디 드 환경에서 사용하기에 적절하지 않았다. OHI는 식 (11)에서 보는 것과 같이 포트홀 의심영역( h c )과 주변 영역( h b )의 정렬된 히스토그램을 사용한다.

    O H I ( h c , h b ) = i n min ( o h c i , o h b i )
    (11)

    여기서 o h c i o h b i 는 각각 포트홀 의심영역의 정 렬된 히스토그램과 주변영역의 정렬된 히스토그램 을 의미한다. OHI 알고리즘은 주변 영역을 찾는 시 간이 오래 걸려 전체적인 처리 속도가 떨어진다. 기 존 연구의 OHI에서는 도로노면 페인팅이나 크렉 등이 포함되지 않는 영역을 찾기 위하여 많은 복잡 한 방법론을 사용하였다.

    본 논문에서는 이를 개선하고 OHI를 사용하기 위하여 기존의 주변영역 탐색 방법을 간소화하였 다. 기존 연구에서는 이진화를 위하여 Otsu 알고리 즘을 사용하였고 이는 포트홀과 그 외 영역을 잘 구분하지 못하는 경우가 있었다. 하지만, 본 논문에 서 제안한 Saliency 기반의 이진화 알고리즘은 기존 이진화 알고리즘에 비해 상당히 정확히 포트홀 영 역을 찾아냄을 알 수 있다. 따라서, Saliency 기반으 로 이진화된 영역에서 포트홀 후보 영역이 아닌 영 역을 주변 영역으로 가정하고 OHI를 계산하는 방 식을 사용한다. 본 논문에서 제안한 Saliency 기반의 이진화 알고리즘은 연산복잡도가 높은 OHI를 적용 할 수 있도록 하는 장점이 있다. 마지막으로 포트홀 후보 영역의 가로와 세로 길이의 비율을 검사하여 가로등과 같이 도로 시설물의 그림자 등으로 인해 발생하는 에러를 제거한다.

    <Fig. 4>는 제안하는 알고리즘의 각 단계별 결과 영상을 나타낸다.

    Ⅴ.실험 결과

    제안하는 포트홀 탐지 알고리즘의 성능평가를 위하여 경기도 지방 국도에서 촬영된 포트홀 영상 을 사용하였다. 포트홀 촬영을 위하여 <Fig. 5>와 같이 블랙박스 카메라를 사용하였으며, 해당 장치 의 상세 사양은 <Table 1>과 같다.

    블랙박스 카메라를 이용하여 총 50여개의 포트 홀 영상과 100여개의 노이즈 영상(패치, 크랙, 그림 자 등)을 수집하였다. <Fig. 6>은 실험에 사용된 포 트홀 영상 중 일부를 나타낸 것이고 <Fig. 7>은 노 이즈로 사용된 영상의 일부를 나타낸 것이다.

    블랙박스에서 취득되는 영상의 크기는 1920×1080 크기이며 해당 영상에서 1000×200 크기의 ROI 영역 을 사용한다. ROI 영역에서 <Fig. 3>에서 설명한 방 법으로 가상의 차선을 만들고 차선 밖 영역은 제거 한다. ROI의 위치는 (460, 830)로 설정하였다. <Table 2>는 실험을 위해 설정된 알고리즘의 파라 미터 값을 나타낸다.

    제안 알고리즘의 성능평가를 위하여 각 알고리 즘의 수행시간과 탐지 정확도를 측정하였다. 각 알 고리즘은 C++언어를 기반으로 구현하였다. 포트홀 탐지 정확도를 측정하기 위하여 Sensitivity와 Precision을 계산하였으며, 각각의 계산 방식은 식 (12)와 같다.

    민감도 ( S e n s i t i v i t y ) = T P T P + F N 정밀도 ( Pr e c i s i o n ) = T P T P + F P
    (12)

    여기서 TP(True Positive)는 정확하게 포트홀인 것 을 검출한 것을 의미하고 FP(False Positive)는 잘못 하여 포트홀로 검출(포트홀 아닌 것을 포트홀로 판 단)한 경우이며, FN(False Negative)은 잘못하여 포 트홀을 미검출(포트홀인 것을 아닌 것으로 판단)한 경우를 의미한다.

    제안 알고리즘의 정확한 성능평가 비교를 위하 여 <Table 3>과 같이 기존 포트홀 탐지 알고리즘[3, 4]와 성능평가를 진행하였다.

    실험결과 제안하는 알고리즘은 기존 경량 알고 리즘[4]에 비해 더 높은 Sensitivity와 Precision을 보 였지만, 알고리즘[3]에 비해서는 제안 알고리즘의 Sensitivity가 더 낮았다. 이는 제안하는 알고리즘이 기존 임베디드 환경을 위한 경량화 알고리즘[4]에 비해서는 더 높은 정확성을 보이지만 깊이 정보를 이용한 알고리즘[3]에 비해서는 정확성이 떨어진다 는 것을 의미한다.

    기존 알고리즘의 경우 기존 실험결과에 비해 실 험결과가 Sensitivity는 비슷하게 유지된 반면 Precision은 알고리즘[4]가 88%에서 66%로 떨어졌 고, 알고리즘[3]이 78%에서 72%로 떨어진 것을 볼 수 있다. 이것은 기존 실험에서 사용된 노이즈보다 본 실험에서 사용된 노이즈의 개수가 더 많아 Precision 결과가 낮게 나온 것이다.

    각 알고리즘의 수행시간을 비교해 보면 알고리 즘[3]이 그 외 알고리즘에 비해 현저히 높은 수행시 간을 보임을 알 수 있다. 이는 Optical flow를 이용 해 정확한 깊이 정보를 계산하기 위해서이다. 앞서 설명한 것과 같이 알고리즘 [3]은 정확성은 높으나 수행시간이 매우 높음을 알 수 있다. 따라서, 실시 간성을 요구하는 환경에서는 사용하기 힘들며 비 실시간성 환경에서 정확한 포트홀 탐지를 위해 활 용할 수 있다. 기존 경량화 알고리즘[4]는 15ms로 가장 짧은 수행시간을 보였으며, 제안하는 알고리 즘은 26ms로 약 11ms가 더 소요되었다. 이는 Saliency Map 구축과 OHI 계산을 위해 소요되는 시 간이다. 26ms의 수행 시간은 38FPS를 보장할 수 있 는 속도로 실시간 포트홀 탐지가 가능한 속도이다.

    Ⅵ.결 론

    본 논문에서는 기존 경량화 포트홀 탐지 알고리 즘의 탐지 성능을 향상시키며 실시간성을 보장하는 알고리즘을 제안하였다. 제안 알고리즘은 탐지 정 확도 향상을 위하여 Saliency Map을 이용하여 영상 이진화를 진행하였다. 뿐만 아니라, 기존 연구[2]에 서 포트홀 탐지에 가장 중요한 역할을 수행하였던 OHI 알고리즘을 경량화하여 적용하였다. 제안 알고 리즘은 기존 경량화 알고리즘에 비해 적은 추가 수 행시간으로 더 높은 탐지 정확도를 보였다.

    향후에는 포트홀 탐지 정확도를 향상시키기 위 하여 결정부 알고리즘을 개선할 계획이다. 현재 알 고리즘은 표준편차, OHI 등의 특징을 이용해 Rule -based 방식으로 포트홀을 판단한다. 차후에는 머 신러닝 알고리즘을 이용하여 결정부 알고리즘을 개 선할 계획이다.

    Figure

    KITS-15-104_F1.gif

    Proposed pothole detection algorithm

    KITS-15-104_F2.gif

    Saliency-based thresholding

    KITS-15-104_F3.gif

    Virtual lane markings

    KITS-15-104_F4.gif

    Virtual lane markings

    KITS-15-104_F5.gif

    Black-box camera

    KITS-15-104_F6.gif

    Pothole examples

    KITS-15-104_F7.gif

    Noise examples

    Table

    Camera specifications

    The values of parameters

    Performance results

    Reference

    1. Seoul city (2015) http://english.seoul.go.kr, 2015.09.01
    2. Ryu S K , Kim T H , Kim Y R (2015) “Feature-Based Pothole Detection in Two- Dimensional Images” , Transportation Research Record, Vol.2528 ; pp.9-17
    3. Jo Y T , Ryu S K , Kim Y R (2016) “Pothole Detection Based on the Features of Intensity and Motion” , 2016 TRB Annual Meeting,
    4. Jo Y T , Ryu S K (2015) “Pothole Detection System Using a Black-box Camera” , Sensors, Vol.15 ; pp.29316-29331
    5. Ghose A , Biswas P , Bhaumik C , Sharma M , Pal A , Jha A (2012) “Road condition monitoring and alert application:Using invehicle Smartphone as Internet-connected sensor” , In Proceedings of 2012 IEEE International Conference on Pervasive Computing and Communications Workshops, ; pp.489-491
    6. Raj S , Jain A , Misra R (2013) “Smartphone sensing for large data set collection of potholes” , In Proceedings of MobiSys 2013, ; pp.517-518
    7. Li Q , Yao M , Yao X , Xu B (2009) “A real -time 3D scanning system for pavement distortion inspection” , Measurement Science and Technology, Vol.21 ; pp.15702-15709
    8. Yu X , Salari E (2011) “Pavement pothole detection and severity measurement using laser imaging” , In Proceedings of IEEE International Conference on Electro/Information Technology, ; pp.1-5
    9. Koch C , Brilakis I (2011) “Pothole detection in asphalt pavement images” , Advanced Engineering Informatics, Vol.25 ; pp.507-515
    10. Buza E , Omanovic S , Huseinnovic A (2013) “Pothole detection with image processing and spectral clustering” , In Proceedings of the 2nd International Conference on Information Technology and Computer Networks, ; pp.48-53
    11. Jog G M , Koch C , Golparvar-Fard M , Brilakis I (2012) “Pothole properties measurement through visual 2D recognition and 3D reconstruction” , In Proceedings of the ASCE International Conference on Computing in Civil Engineering, ; pp.553-560
    12. Land Rover (2015) http://www.landrover.com/experiences/news/pothole-detection.html, 2015.10.05
    13. Mobileye (2015) http://www.siliconbeat.com/2014/07/28/tesla-watchers-eye-mobileyes-500-millionipo/, 2015.10.05
    14. Tsotsos J K , Culhane S M , Wai W Y K , Lai Y , Davis N , Nuflo F (1995) “Modeling visual attention via selective tuning” , Artificial Intelligence, Vol.78 ; pp.507-545
    15. Olshausen B A , Anderson C H , Van Essen D C (1993) “A Neurobiological Model of Visual Attension and Invariant Pattern Recognition Based on Dynamic Routing of Information” , The Journal of Neuroscience, Vol.13 (11) ; pp.4700-4719
    16. Itti L , Koch C , Niebur E (1998) “A Model of Saliency-based Visual Attention for Rapid Scene Analysis” , IEEE Transactions on Pattern Analysis and Mahcine Intelligence, Vol.20 (11) ; pp.1254-1259
    17. Ma Y F , Zhang H J (2003) “Contrastbased image attention analysis by using fuzzy growing” , In Proceedings of the Eleventh ACM International Conference on Multimedia, ; pp.374-381
    18. Hu Y , Xie X , Ma W Y , Chia L T , Rajan D (2004) “Salient region detection using weighted feature maps based on the human visual attention model” , Springer Lecture Notes in Computer Science, Vol.3332 (2) ; pp.993-1000
    19. Achanta R , Hemami S , Estrada F , Susstrunk S (2009) “Frequency-tuned Salient Region Detection” , IEEE International Conference on Computer Vision and Pattern Recognition, ; pp.1597-1604
    20. Weken D V D , Nachtegael M , Kerre E (2004) “Some New Similarity Measures for Histograms” , In Proceedings of the Fourth Indian Conference on Computer Vision Graphics & Image Processing (ICVGIP), ; pp.16-18
    21. Otsu N (1975) “A threshold selection method from gray-level histograms” , IEEE Transactions on Systems Man and Cybernetics, Vol.SMC-9 (1) ; pp.62-66
    22. Adhikari RS , Moselhi O , Bagchi A (2012) “Image-based retrieval of concrete crack properties” , Journal of the International Society for Geotechnology, Vol.11 (2) ; pp.315-321

    저자소개

    • 조 영 태 (Young-Tae Jo)
    • 2015년 1월~현재:한국건설기술연구원 도로연구소 연구원
    • 2011년 9월~2015년 2월:강원대학교 공학박사
    • 2007년 2월~2011년 8월:강원대학교 공학석사
    • 2009년 4월~2010년 3월:University of Minnesota Duluth NATSRL 방문연구원
    • e-mail : ytjoe@kict.re.kr

    • 류 승 기 (Seung-Ki Ryu)
    • 1994년 4월~현재:한국건설기술연구원 도로연구소 연구위원
    • 1992년 3월~1999년 2월:충북대학교 공학박사
    • 1990년 3월~1992년 2월:충북대학교 공학석사
    • e-mail : skryu@kict.re.kr

    Footnote