Ⅰ. 서 론
1. 연구의 배경 및 목적
도로 주행 중 발생하는 돌발상황(emergency situation)이란 교통사고, 고장차량, 낙하물, 노면잡물, 도로시설 물 파손, 동물의 출현과 같은 교통 소통과 안전에 영향을 주는 상황을 의미한다(Baek et al., 2005a). 이러한 돌발상황은 도로 위 2차 교통사고를 야기할 수 있기 때문에 주행안전을 위해서 빠른 돌발상황의 검지, 전파 및 처리가 필요하다(Lee et al., 2012). 특히 교통사고, 고장 차량과 같은 주행 중 식별이 용이한 돌발상황과 달리 주행 중에 확인이 어려운 노면잡물은 빠르게 처리될수록 2차 교통사고 요소를 줄일 수 있다(Özdamar et al., 2014).
특히, 고속도로에서는 다른 도로보다 속도가 높아 돌발상황 발생시 파급효과가 크기 때문에 돌발상황을 빠르게 검지하고 적절한 조치를 취하는 것이 필요하다. 우리나라에서는 고속도로에 매설된 루프 검지기와 CCTV 등 지능형 교통체계(intelligent transport systems, ITS) 기반 검지 체계를 이용하여 교통사고 등의 돌발 상황을 검지하고 있다. 이 돌발상황 검지 체계에는 공간적 음영 구간이 있다는 한계가 있다. 국내 돌발상황 검지 시스템은 고정식 검지기를 데이터 수집원으로 활용하기 때문에 검지기가 설치되지 않은 도로 구간 및 검지 영역 밖에서의 돌발상황 검지가 불가능하다. 이런 방식으로 인해 돌발상황 검지에 있어 공백 구간이 발 생하고, 검지 정확도 또한 높지 않은 모습을 보인다(Ki and Kim, 2020). 따라서, 차량에 탑재된 단말기의 카 메라를 이용하여 돌발상황을 탐지하는 등, 기존 검지 시스템으로 파악이 어려운 돌발상황을 신속하고 효율 적으로 검지할 수 있는 보완적인 시스템이 필요하다.
또한, 자율주행 기술의 발전으로 인해 진보된 도로 위 정보 수집 체계 또한 필요하다. 도로는 공간적으로 한정되어 있기 때문에 자동차가 완전하게 지능화된다고 하여도 교통혼잡 문제는 도로의 발전 없이 계속될 것이다(Baek, 2017). 이에 안전한 자율주행을 위해서는 차량의 센서만으로 얻을 수 없는 도로 위 정보가 필요 하며, 현재 도로 자체의 관제 시스템만으로는 자율주행에 필요한 도로 위 정보를 수집하기에 한계가 있다. 따라서, 자율주행 차량과 지능형 도로가 상호 연결되어 돌발상황과 같은 도로 위 정보를 교환하는 완전한 지 능형 교통체계를 수립하는 것이 필요하다.
본 연구는 고속도로를 주행하는 차량에 설치된 카메라가 장착된 단말기로부터 수집 가능한 주행 영상을 활용하여 돌발상황을 신속히 검지 및 유형을 분류하는 인공지능(artificial intelligence, AI) 기반 알고리즘을 개 발하고자 한다. 개발하고자 하는 알고리즘 모델은 이동 중인 차량으로부터 수집되는 영상 데이터를 활용하 므로 돌발상황에 대한 검지 영역을 크게 확장하여 음영 구간을 메꿀 수 있다. 또한, 차량 단말기에 탑재하여 차량에서 돌발상황 발생 위치와 유형을 유관기관에 전달함으로써 돌발상황에 대한 1차 검지 수단으로도 활 용가능하다.
2. 연구 범위 및 절차
본 연구의 시간적 범위는 2022년 6월부터 2023년 3월까지이며, 이 기간 동안 한국도로공사에서 운영 중인 순찰 차량 내에 설치된 단말기에서 촬영된 주행 영상을 대상으로 한다. 또한, 공간적 범위는 국내 고속도로 로 설정하였고, 전방 주행영상을 수집하는 차량 단말기를 탑재한 순찰차량이 국내 고속도로 구간을 주행하 며 정보를 구축한다. 해당 데이터를 기반으로 차량 단말기에 적용이 가능한 효율적인 모델을 개발하여 돌발 상황 검지를 차량 환경에서 수행하는 것을 목표로 한다. 연구의 수행절차는 <Fig. 1>과 같다.
Ⅱ. 관련 이론 및 연구 고찰
ITS는 전자, 통신, 제어 등 첨단기술을 교통체계의 구성요소에 적용해 실시간 교통정보를 수집하고 관리 하는 시스템이다(Kang, 2009). 구간 단위의 교통정보만을 전달했던 ITS의 수준은 스마트폰의 발전과 4차 산 업 혁명 등의 여파로 위치 기반의 실시간 교통정보 서비스를 제공하는 등 더 높은 차원으로 도약하였다. 특 히 ITS의 도로 관제 시스템 측면에서 사물인터넷(internet of things, IoT)과 AI 기술은 양질의 도로 위 정보를 수집하는 데 도움을 주고 있다. 도로 관제에 있어서 수집한 데이터를 전달받고 교통 상황을 판단하여 적절한 대응을 할 수 있는 중앙 시스템도 중요하지만, 무엇보다 발전한 IoT와 AI 기술은 양질의 도로 위 정보를 수 집하는 데 도움을 준다. 세부적으로 하드웨어적인 부분에선 IoT 기술이, 소프트웨어적인 부분에서는 AI 기술 이 많이 사용되는데, AI를 사용하여 도로 위 상황을 관제 및 분석하는 연구들은 각각 도로 위의 정보를 처리 하는데 다양한 기술을 사용한다. 이에 연구에 앞서 본 연구의 내용인 돌발상황을 정의하고 외부와 송수신하 기 위한 기술표준을 검토하고, 알고리즘 개발과 관련된 AI 기술과 선행 연구를 고찰하고자 한다.
1. 관련 이론 고찰
1) 국제 여행자 정보 시스템 코드
국제 여행자 정보 시스템(International traveler information system, ITIS) 코드는 미국 자동차공학회(SAE International, 이하 SAE)에서 지정한 표준값으로 일반적으로 ITS 산업에서 사용하는 기술 표준이다. ITIS 코드 를 통해 차량 내 교통정보 서비스, 교통정보 제공자 및 유관기관 등 다양한 대상에게 표준화된 여행자 정보 를 제공하며, 이러한 점에서 차세대 지능형 교통체계(cooperative-intelligent transport systems, C-ITS) 산업에서 여행자 혹은 교통 실무자가 교통 관련 이벤트를 전달하고 설명하는 표준으로 사용되고 있다. ITIS 코드는 표 준값이 SAE J2540-21) 기준에 따라서 정해져 있으므로 국내외적으로 ITS 산업 연구를 큰 문제 없이 상호적으 로 진행할 수 있다(SAE, 2009). ITS 서비스를 제공할 때 하나의 ITIS 코드가 전달되면 특정 ITIS 코드가 아닌 다른 코드들은 모두 종료되는 등의 인코딩·디코딩 방식을 가지는데, 이러한 통신 방법은 서로 다른 유형의 장비에서 상호적 운용이 가능하도록 한다. 이러한 ITIS 코드는 실시간으로 교통 관련 정보를 처리 및 전달하 는 것이 중요한 C-ITS 산업에 있어 매우 중요하며, ITIS 코드를 활용한 다양한 연구가 현재 진행되고 있다 (Sihag et al., 2022).
2) 상황 분류
이미지에서 필요한 정보를 추출 및 분류함에 있어 상황 분류(scene classification)는 이미지 전체를 학습하 여 특징점(feature)을 찾아 전체적인 이미지로부터 장면 및 상황(scene)을 분류하는 기술이다. 이는 이미지 내 에서 강조된 특정 객체의 정보를 분류하는 객체 분류(object classification)와 이미지 내 특정 영역에 대한 정 보(annotation)를 학습하는 영역 분할(image segmentation) 학습과는 차이점을 가진다(Yao et al., 2012). 상황 분 류 기술은 사람이 일상을 지내면서 마주치는 다양한 환경에서 이 상황이 무슨 상황인지 이해하듯이 AI가 추 론을 하게끔 한다. 조명의 변화, 이미지 내 객체의 구조, 시야각 등 AI가 상황을 인지하는데 어려움을 주는 이미지 내 변수가 상황 분류에 있어 제약조건으로 작용한다. 따라서, 상황 분류 관련 연구는 컴퓨터 비전이 라는 연구 분야에서 수십 년 꾸준히 진행되어 왔으며, 다양한 분야(재난 상황 분류, 증강 현실, 이미지 검색, 등)에서 폭넓게 사용되고 있다. 특히 공간 데이터(spatial data)에 기반한 상황 분류의 경우에는 위성 데이터, 도시 토지 사용 데이터 등의 개선에 커다란 응용 가치를 가진다(Zeng et al., 2021).
3) ResNet
이미지를 인식 및 분류함에 있어 높은 성능을 가진 인공신경망으로는 합성곱 신경망(convolution neural network, CNN)이 있다(Phung and Rhee, 2019). 초기 CNN 관련 연구는 신경망 내 레이어(layer)의 개수를 증가 시켜 모델의 성능을 높이는 방법으로 진행되었다. 하지만 이러한 방법은 특정 레이어를 거쳐 발생하는 손실 (loss) 값을 줄이는 것을 목표로 학습하기 때문에 학습이 진행됨에 따라 loss의 기울기가 0으로 수렴하여 가 중치(weight)가 갱신되지 않는 기울기 소실(gradient vanishing)이 발생할 가능성이 높다. 또한, 레이어 수에 비 례하여 데이터를 학습시키는 시간이 증가하고 계산해야 할 파라미터(parameter) 수도 많아져 모델 학습 시 오 히려 훈련 값 오차(training error) 값이 증가할 수 있다는 한계가 있다(He et al., 2016).
ResNet은 잔차 학습(residual learning)이라는 방법을 이용하여 이러한 문제를 해결한 모델이다. Residual learning이란 <Fig. 2>의 (a)와 같이 입력값 Input(X)으로부터 weight layer를 순차적으로 통과하여 산출한 값 F(x)와 weight layer를 생략한 초기 입력값 Input(X)’을 합한 H(X)를 출력값으로 하는 학습 방법이다. 이와 같 은 원리를 적용한 ResNet의 구조는 <Fig. 2>의 (b)와 같다(He et al., 2016). ResNet이 일반적인 CNN과 다른 점 은 기존 학습 경로(path)와 더불어 지름길(short cut)을 가지고 학습을 진행한다는 점이다. 이는 기존 CNN이 가진 가중치 감소(gradient vanishing) 문제를 해결하여 기존 CNN 기반 모델보다 더 많은 레이어를 사용하여 모델의 성능을 높인다는 점에서 이후 많은 CNN 관련 연구가 ResNet 모델의 방식을 기준으로 진행되었다 (Elhassouny and Smarandache, 2019).
ResNet은 사용한 레이어의 개수만큼 ResNet-34, ResNet-50처럼 ResNet 뒤에 숫자가 붙는데, 본 연구에서 는 ResNet-34 네트워크 구조를 기반으로 이미지 데이터를 입력받아 돌발상황의 유형을 결과물로 출력하는 알고리즘을 개발하고자 한다.
2. 관련 연구 고찰
Westell(2019)은 날씨 등 주행 환경을 분류하고 도로 영역을 별도로 분리하는 image segmentation을 통해 도로 위 상황을 판단하는 알고리즘을 개발하였다. 개발한 알고리즘은 도로 표면 상황 분류(road surface condition classification, RSCC)와 이미지 도로 영역 분류(road scene semantic segmentation, RSSS) 작업을 동시에 수행할 수 있도록 구성하였다. RSCC 부분에서는 도로 상태를 네 가지 유형(정상, 젖음, 눈, 빙판)으로 나누어 분류하 였고, RSSS 부분에서는 도로와 도로 외 부분을 나누어 학습하였다. 이때, 이미지마다 다른 조도, 채도의 값 을 정규화(normalization)하기 위해 모든 이미지의 RGB 색상값을 특정 값(0.485, 0.456, 0.406)을 기준으로 일 정 수준만큼 분산시켜 색을 조정한 다음 학습을 진행하였다. 학습 결과, 알고리즘 학습 과정에서 RSCC와 RSSS 부분에 서로 영향을 주도록 모델을 구현하여 두 작업 모두에서 다중 작업(multi-task) 모델 성능을 향상 할 수 있음을 확인하였다.
Narayanan et al.(2019)은 세 가지 기본상황(접근, 진입, 통과)을 인식하여 여러 상황(좌회전, 우회전, 유턴, 4 지 교차로 통과 등)을 주행환경에 맞추어 구분하는 알고리즘을 개발하였다. 개발한 알고리즘은 CNN과 장단 기 메모리 학습 방식(long short term memory, LSTM)을 합친 구조로, image segmentation 방식을 이용해 도로 유형 장면 분류를 수행하였다. 학습데이터로는 샌프란시스코 베이 지역에서 수집된 80시간 분량의 연속 주 행 데이터(sequential data)를 사용하였다. 이때, 주행 데이터는 수집 당시 도로의 위치, 유형, 날씨 및 도로 표 면 등의 정보를 일정 시간 간격으로 취합한 데이터 집합이다. 학습 결과, 데이터 학습 시 시간에 따른 활동 정보를 추가로 학습시키는 것이 모델 성능 향상에 도움이 됨을 확인하였다.
Prykhodchenko and Skruch(2022)는 도로 이미지를 세 가지 유형의 도로 상황(도시, 시골, 고속도로)으로 분 류하는 ResNet-50 기반의 알고리즘을 개발하였다. 이를 위해 먼저 수집한 도로 이미지를 차량의 GPS 데이터 를 이용하여 세 가지 레이블(도시, 시골, 고속도로)로 구분한 다음, ResNet-50 모델에 이미지를 입력하여 도로 상황을 분류하도록 학습을 수행하였다. 학습 결과, 시골과 고속도로 레이블에 대해 89%의 높은 예측 정확도 를 보였으며, 도시 레이블의 경우에는 74% 정도의 예측 정확도를 나타냈다. 이때, 도시에 대한 알고리즘 성 능이 상대적으로 낮은 이유는 날씨, 빛, 지리적 구조, 인공적 구조물 등 다양한 요소들이 학습하며 준 악영향 이 결과에도 나타날 수 있을 것이라고 제시하였다. 도시 데이터의 경우 건물, 차량 등 도시 데이터가 가지는 구분 가능한 feature가 많지만, 시골 데이터의 경우 확실히 예측 가능한 feature가 부족하기 때문에 시골 데이 터를 도시 데이터로 분류하지는 않지만 도시 데이터를 시골 데이터로 예측하는 결과가 나타난 것으로 사료 된다.
Kim et al.(2020)는 고속도로 내 객체와 도로를 image segmentation 하여 이미지상 객체의 위치 및 도로 위 상황을 판단하는 알고리즘을 개발하였다. 이 연구는 고속도로 구간을 공간적 배경으로 연속 주행 데이터를 초당 30번 수집하여 각 프레임(frame)에 주석(annotation)을 부여함으로써 시간적 흐름에 따른 정보를 학습하 도록 하였다. 이때, 프레임마다 붙여진 주석은 고속도로 내 객체의 세부적인 정보를 모두 포함한다. 학습 결 과, 짧은 시간의 연속 주행 데이터만으로도 도로 상황을 판단하는 높은 성능의 모델을 학습시킬 수 있음을 확인하였다.
3. 연구의 차별성 도출
기존에 수행된 관련 연구를 고찰한 결과, 주행 상황 분류를 주제로 한 대부분의 연구가 image segmentation 기술을 이용하며 주행 도로 상황을 인지하였는데, 돌발상황 분류가 아닌 도로 자체의 구조, 환경, 날씨 상황 등을 분류하였다는 특징이 있다. 이는 주행 상황을 판단하기 위한 알고리즘 개발이 도로 이용자의 안전이 목 적이 아닌 자율주행 기술을 위한 연구이기 때문이다.
이에 본 연구에서는 도로 위에서 발생하는 돌발상황 검지를 목적으로 하는 AI 알고리즘을 개발하고자 하 며, 차량의 사고, 고장을 포함하여 노면잡물, 도로 위 보행자 등장을 돌발상황으로 인지 및 판단하고자 한다. 따라서, 돌발상황을 인지하지 못하여 발생하는 2차 사고를 예방하고 도로 이용자의 안전을 높이는 것을 우 선한다는 점에서 자율주행 기술개발을 목적으로 하는 기존 연구들과 차별성을 가진다. 또한, 기존 관련 연구 들은 개발한 알고리즘의 용량과 학습 시간을 고려하지 못하였다. 이는 돌발상황을 분류하기 위한 학습으로 타 연구에서 적용한 image segmentation 기술은 모델의 상황 분류 정확도는 높을 수 있어도 모델 자체의 용량 이 커 범용성이 낮다는 한계가 있기 때문이다. 따라서, 본 연구는 차량용 단말기와 같은 저사양 기기에도 탑 재 가능한 수준으로 경량화하면서 정확도를 확보하는 것을 목적으로 알고리즘을 개발하고자 한다.
Ⅲ. 데이터 수집
데이터 수집 과정은 돌발상황 정의, 기초 데이터 수집, 데이터 가공 순으로 총 세 단계에 걸쳐 진행된다.
1. 돌발상황 정의
돌발상황은 도로 위 다양한 환경적, 인공적 요소로 인하여 교통 흐름에 영향을 주는 상황으로, 적절한 대 처를 하지 않을 시에는 2차 교통사고 등의 커다란 문제를 일으킬 수 있다. <Table 1>은 고속도로에서 발생 가능한 돌발상황의 종류를 표로 정리하여 제시한 것이다(Baek et al., 2005b).
본 연구에서는 고속도로 내 발생 가능한 돌발상황 중 검지해야 할 돌발상황을 다음 기준에 따라 정의하였 다. 첫째, 본 연구의 목적은 차량 단말기에 적용하여 실시간으로 돌발상황을 검출할 수 있는 알고리즘을 개 발하는 것이다. 따라서 차량 단말기의 영상 이미지를 통해 인식할 수 있는 돌발상황으로 한정하였다. 둘째, 예측 가능성이 없으며 사고 발생 가능성이 크고, 2차 사고가 발생할 수 있는 돌발상황을 검지하여야 한다. 셋째, 향후 C-ITS 서비스로 제공될 것을 고려하여 ITIS 코드가 존재하는 돌발상황으로 설정하며, 명확히 대 응되지 않을 경우 통합하거나 분리하여 정의한다. 위와 같은 고려사항을 종합한 결과 본 연구에서 정의한 돌 발상황의 종류와 그에 따른 ITIS 코드는 <Table 2>와 같다.
2. 데이터 수집 및 가공
알고리즘 개발에 필요한 주행 데이터를 수집하기 위하여 본 연구에서는 고속도로를 주행하는 한국도로공 사 순찰차량 5대에 차량 단말기를 설치하였다. 단말기에 탑재된 카메라를 통해 취득한 고속도로 전방 주행 영상과 함께, 단말기의 GPS 정보와 가속도 정보를 수집하여 주행 데이터를 수집한다. 추후 학습의 과적합 (over fitting)을 피하기 위해서 수집한 데이터의 돌발상황 시나리오에서 여러 프레임을 모두 사용한 것이 아 닌 프레임 하나만을 학습 데이터로 사용하였다.
그 다음, 학습을 위한 주행 데이터를 전수 검토하여 알고리즘 개발에 활용이 불가능한 데이터를 다음 세 가지 기준에 따라 판단 및 제외한다. 첫째, 주행 장면이 아닌 상황의 데이터를 제외한다. 둘째, 화질이 불량 한 데이터를 제외한다. 셋째, 도로가 아닌 곳에서 수집된 데이터를 제외한다.
마지막으로, 주행 데이터를 앞서 정의한 돌발상황 유형에 맞춰 각 데이터를 9가지의 레이블로 구분하는 라벨링(labeling)을 수행한다. 이때, 이미지 데이터 내 여러 가지 상황이 혼재할 수 있어 본 연구에서는 돌발 상황의 심각도가 높을수록 레이블의 숫자(class number)를 낮게 하여 돌발상황 유형별로 우선순위를 부여하 였다. 예를 들어, 교통사고 현장에 보행자가 나와있는 상황의 경우 두 가지 레이블(차량 교통사고, 도로 위 보행자) 중 우선순위가 높은 차량 교통사고 레이블을 적용한다. 고속도로 전면 주행 데이터로 이루어진 데이 터셋(dataset) 12,477장을 대상으로 돌발상황 유형별 우선순위 및 데이터 건수는 <Table 3>과 같다.
Ⅳ. 연구 방법론
1. 알고리즘 학습데이터 재구성
라벨링을 완료한 데이터셋 중, 차량 교통사고와 차량 고장 레이블과 같이 육안으로 구분이 어려운 경우가 존재한다. 따라서, 특징이 서로 유사한 레이블을 통합하여 <Table 4>와 같이 네 가지 레이블(사고 및 고장, 정상, 보행자, 노면잡물)로 재구성한 다음, 이를 알고리즘의 학습데이터로 사용하였다. 이때, 데이터 수가 적 은 레이블은 해당 레이블에 대한 알고리즘의 분류 성능을 확보하기 어렵다는 점에서 공사 중(construction)과 주행도로가 아님(not on the road) 레이블에 해당하는 데이터를 학습데이터에서 제외하여 총 11,790건의 데이 터를 학습데이터로 선정하였다. 다음 <Fig. 3>은 데이터의 레이블별 예시이다.
2. 알고리즘 코드 작성
Python 코드를 이용하여 ResNet-34 모델의 구조를 일부 변경하여 학습 모듈을 구현하였다. 많은 CNN 모델 중 ResNet-34 모델을 기반으로 한 이유는 연구의 궁극적인 목표가 개발된 알고리즘을 실제 차량 단말기에 직 접 포팅(porting)하여 실용화하는 것이기 때문이다. ResNet-34 모델은 다른 CNN 모델에 비하여 상대적으로 간단하고 포팅을 위한 추가 작업이 상대적으로 적고 용이한 편이다. 또한, 앞으로 지속적인 모델의 업데이트 를 생각하였을 때 포팅의 용이성을 생각해 본다면 보다 쉽고 간편한 모델을 선정하는 것이 좋을 것이라고 판단하였다. 때문에 본 논문에서는 ResNet-34 모델의 파라미터를 늘리면서 모델의 성능을 높임과 동시에 모 델의 차별성과 포팅의 용이성을 가져왔다. 본 연구에서 개발된 모델의 구조는 <Fig. 4>와 같다. 해당 알고리 즘은 일반적인 ResNet-34 구조와 다르게 하나의 세부 구조(bottle)가 좀 더 세밀하게 구성되어 있다. 본 연구 에서 구성한 모델은 하나의 학습 층 안에 1x1 컨볼루션(convolution) 레이어를 3x3 bottle 두 개의 앞뒤로 추가 시켜 데이터 학습 시 차원을 따로 두어 학습하는 모습을 보인다. 이는 기존 모델보다 이미지를 예측하는데 있어 보다 더 학습 파라미터가 영향을 많이 주기 위함이다.
3. 알고리즘 학습 및 평가
앞서 라벨링을 수행 및 클래스를 재구성한 데이터셋을 학습데이터로 하여 학습을 진행한다. 이를 위해 데 이터셋을 Train set, Valid set, Test set으로 분할한다. 각 데이터셋에 대한 설명은 다음과 같다. 첫째, Train set 은 알고리즘 학습에 실제로 사용되는 데이터셋이다. 둘째, Valid set은 학습 도중 각 학습마다 학습 모델의 성 능을 평가하고 모델 가중치(weight)에 영향을 주는 데이터셋이다. 셋째. Test set은 알고리즘 학습과 무관한 데이터셋으로, 생성한 모델을 평가하기 위해 사용된다.
학습 시 알고리즘이 예측한 출력값과 실제 정답의 차이인 오차(error)를 산출하기 위한 손실함수(loss function)로는 cross-entropy loss 함수를 이용하였다. 다음으로, 오차를 줄이기 위한 최적화 알고리즘(optimizer) 은 확률적 경사하강법(stochastic gradient descent, SGD)을 사용하였다. SGD의 장점으로는 연산 속도가 빨라 학습 속도를 높일 수 있다는 점이 있지만, 빠른 학습을 위한 배치(batch)를 크게 할 경우 데이터 손실이 발생 하여 학습 결과에 악영향을 줄 수 있다는 단점이 있다. 본 연구에서는 알고리즘 학습 시 한 배치(batch) 안의 데이터 수가 크지 않아 SGD를 optimizer로 채택하였다.
마지막으로, 개발한 알고리즘의 분류 성능 평가를 위하여 각 레이블이 알고리즘에 의해 어느 레이블로 예 측되었는지를 시각화하는 confusion matrix를 작성함으로써 알고리즘의 예측 정확도(accuracy)와 정밀도 (precision), 재현률(recall), f1-score를 제시한다.
Ⅴ. 학습 및 성능 평가
1. 학습 진행
선행 과정에서 확보한 학습데이터 11,790건을 개발한 모델에 입력하여 알고리즘 학습 및 성능 평가를 진 행하였으며, Train : Valid : Test set의 비율을 7:2:1로 설정하였다. 이는 연구 과정 중에 데이터셋 비율을 8:1:1 로 설정한 경우 Train set 대비 Valid set의 데이터 수가 너무 적어 Valid set에 대한 알고리즘의 예측 정확도가 Test set에 대한 예측 정확도보다 적게 나오는 현상이 발생하였기 때문이다. 따라서, Valid data의 비율을 높여 알고리즘 학습을 진행하였다.
2. 학습 결과
1) 결과 분석
다음 <Fig. 5>와 <Fig. 6>은 valid와 test set을 대상으로 ResNet-34 기반 알고리즘 모델과 개발한 알고리즘 모델의 예측 정확도를 각각 confusion matrix의 형태로 제시한 결과이다. 각 confusion matrix의 가로축과 세로 축은 알고리즘이 예측한 레이블과 실제 레이블로, 특정 레이블의 데이터를 알고리즘이 어떤 레이블로 예측 했는지에 대한 비율(%)을 의미한다. 사고 및 고장 레이블과 정상 레이블은 두 알고리즘 모델에서 90% 이상 의 정확도를 보인 반면, 보행자 레이블과 노면잡물 레이블은 일부 데이터를 다른 레이블(사고 및 고장, 정상) 로 오분류하는 경우가 발생하였다. 이는 <Fig. 7>의 (a)와 같이 노면잡물 레이블의 경우 원본 이미지 데이터 를 알고리즘 용량에 맞게 재구축(resize)하는 과정에서 크기가 매우 작은 노면잡물을 알고리즘이 인식하지 못 하여 정상도로 레이블로 잘못 구분한 것이 원인으로 사료된다.
따라서, 노면잡물 레이블에 대한 알고리즘의 예측 성능을 높이고자 본 연구에서는 기존 Input 데이터의 크 기인 800 x 800 픽셀의 0.05%, 약 18 x 18 픽셀 크기 이하인 노면잡물 58개의 데이터를 제외하여 학습을 추 가로 진행하였다. 학습 결과, <Fig. 8>과 같이 노면잡물에 대한 알고리즘의 예측 정확도가 2%(valid set), 5%(test set) 높아져 알고리즘의 성능이 향상됨을 확인하였다.
보행자 레이블의 경우 돌발상황 유형별로 설정한 우선순위로 인해 한 이미지에 차량 교통사고 상황과 보 행자 상황이 혼재될 때 돌발상황의 심각도에 따라 우선순위가 높은 차량 교통사고 상황을 라벨링했기 때문 으로 해석된다. 즉, <Fig. 7>의 (b)와 같이 사고 및 고장 레이블을 가진 이미지에 보행자가 포함될 경우 보행 자 레이블의 이미지를 사고 및 고장 레이블로 오분류하는 경우가 발생한 것으로 생각된다.
2) 손실 그래프(Loss graph)
다음 <Fig. 9>는 알고리즘 학습이 진행되면서 발생하는 train set과 valid set의 손실값(loss)을 그래프로 나타 낸 결과이다. 두 데이터셋 모두 loss가 점차 감소하여 일정 값으로 수렴하는 우하향 곡선의 형태를 보이며, loss가 0에 가까워지는 Train set loss와는 달리 일정 부분이 지나면 loss가 0.3 부근에서 유지되는 Valid set loss를 확인하였다. 이러한 결과는 Valid set에 대한 학습이 일정 부분을 지나면 더 이상 학습되지 않는다는 의미이며, 추후 학습 데이터 수를 늘리거나 다른 손실함수를 사용함으로써 해결할 수 있을 것으로 보인다.
3) 알고리즘 모델별 예측 정확도
두 가지 알고리즘 모델(ResNet-34, proposed model) 의 성능을 정량적으로 평가하기 위하여 돌발상황 유형 별 예측 정확도를 비교하였다. 각 레이블에 대한 알고리즘 모델의 예측 정확도는 <Table 5>, 모델 평가(score) 는 <Table 6>과 같으며, ResNet-34 모델 대비 본 연구에서 제시한 알고리즘 모델이 사고 및 고장, 정상 레이 블의 예측 정확도가 높은 것을 확인할 수 있다.
Ⅵ. 결론 및 향후 연구 과제
1. 결론
본 연구에서는 도로 위 돌발상황의 유형을 빠르고 정확하게 분류 가능한 경량화된 알고리즘 모델을 개발 하여 분류 성능을 제시하였다. 차량 단말기로부터 수집한 주행 데이터를 검토하여 약 12,000여장의 데이터를 아홉 가지의 레이블로 나눈 후, 알고리즘 학습에 사용하기 위하여 검지하고자 하는 돌발상황의 유형을 네 가 지 레이블로 재정의하였다. 또한, 돌발상황을 검지하기 위하여 ResNet-34 기반으로 구조를 변경하여 새로운 모델을 구축하고 알고리즘 성능 확보가 용이한 Train, Valid, Test 데이터셋의 비율을 산출하여 알고리즘 학습 을 진행하였다. 개발한 알고리즘의 분류 성능은 confusion matrix로 제시하였으며, 노면잡물, 보행자 레이블 데이터에 대한 예측 정확도가 상대적으로 저조한 원인을 분석하여 일부 노면잡물 데이터를 제외하여 학습시 킨 알고리즘 모델과 비교하였다. 전반적으로 본 연구에서 개발한 알고리즘 모델은 이미지로부터 돌발상황 유형을 효과적으로 분류한 모습을 보였다.
2. 연구의 시사점 및 향후 연구 과제
본 연구 결과가 시사하는 바는 다음과 같다. 첫째, 본 연구에서 개발한 알고리즘으로 고속도로의 돌발상황 에 대한 검지율을 확보 가능하였다. 따라서, 향후 고속도로 이용자를 대상으로 돌발상황 정보를 신속히 전달 하는 AI 서비스에 적용하여 교통사고와 같은 돌발상황을 신속히 탐지 및 2차 사고를 방지하기 위한 대응능 력 향상으로 교통안전 및 편의성 증진에 기여할 것으로 전망된다. 둘째, 범용적인 데이터 수집 시스템을 제 시할 수 있다. 알고리즘을 개발하기 위한 데이터 수집원으로 기설치된 검지기가 아닌 주행차량 교통사고를 활용하였기 때문에 돌발상황 정보 수집의 주체로 주행차량의 가능성을 확인, 데이터 수집하는 차량이 많아 지면 그만큼 학습데이터도 많아져 알고리즘의 정확도를 개선할 수 있다
셋째, 자율주행 시대의 도래로 인해 필수적으로 확보되어야 할 C-ITS 인프라 구축에 이바지할 수 있다는 점으로, 본 연구에서는 수동적인 검지 방식, 대응체계에서 벗어나 능동적 돌발상황 검지 방식을 제시하였다. 능동적 돌발상황 검지 체계의 도입을 위해서는 교통정보의 실시간 수집 및 처리가 매우 중요하다. 때문에 본 연구에서 제시한 첨단교통 시스템을 활용하여 양방향성의 체계를 구축하고 미래 예측성 정보를 생성하는 시 스템을 제공한다는 점은 돌발상황 검지 시스템을 위한 정보 제공원으로서 의의가 있다.
본 연구는 다음과 같은 한계점을 가진다. 가장 큰 문제는 돌발상황 검지율이 100%에 미치지 못했다는 것 이다. 학습 결과 모든 돌발상황을 정확히 구분해내지 못하였지만 목적을 완벽히 수행해야만 하는 도로 자율 주행을 위한 알고리즘이 아니라 도로 위 돌발상황을 검지하여 도로 유지 보수에 도움을 주는 것이 목적인 알고리즘인 만큼 추후 지속적인 연구에 따라 개선할 여지가 있을 것으로 보인다. 그 외에도 처음 정의한 돌 발상황처럼 다양하고 복잡한 상황을 고려하지 못하였다는 것과 모델 학습 측면에서 데이터 크기를 줄여 학 습을 수행하였기 때문에 작은 영역의 돌발상황은 제대로 검지하지 못하였다는 한계를 가졌다. 이는 특히 정 상도로와 정체도로 클래스를 합쳐 학습한 것에서 드러났는데, 본문에서는 정체상황에서 다른 특별한 이벤트 없이 차량의 속도에 따라 객체가 복잡한 상황에 있다는 것을 구분하여야 했기 때문에 정상도로와 구분이 어 려웠다. 이와 같이 돌발상황 검지율이 100%가 되지 못한 것과 다양한 돌발상황 유형을 분류하지 않은 것은 알고리즘 학습을 위한 데이터셋이 부족하여 생긴 일이고, 향후 추가 데이터셋, 특히 시퀀셜 데이터 확보를 통해 해결할 예정이다. 데이터 크기를 줄여 학습한 것 또한 high-resolution 기법을 적용하거나 알고리즘을 탑 재할 하드웨어의 성능 향상에 따라 해결할 수 있는 문제로 지속적인 연구 진행에 따라 해결해 나갈 수 있을 것으로 사료된다.
본 연구의 결과물인 알고리즘을 경량화하여 차량 단말기에 탑재할 시 돌발상황 검지를 위한 양질의 데이 터 수집 및 신속하고 정확한 돌발상황 검지에 도움을 줄 수 있을 것으로 전망된다. 따라서, 향후 연구에서는 알고리즘 모델을 경량화하는 과정을 거쳐 하드웨어 성능에 구애받지 않는 범용성 높은 모델을 개발하고자 한다. 본 연구에서는 포팅을 위하여 ResNet 모델을 연구 모델로 선정하였고 그 중에서도 ResNet34를 base model로 하여 연구를 진행하였다. 향후 연구에서는 ResNet 모델을 중심으로 MobileNet, EfficientNet과 같은 타 모델들을 활용하고 수정, 비교하여 모델의 전체적인 성능을 향상하려 한다. 또한 현재 알고리즘 학습 후 프루닝(Pruning) 작업을 통해 알고리즘의 파라미터를 조금 줄이는 작업을 하고 있으며, 이러한 작업은 지속적 으로 진행할 계획이다. 또한, 본 연구에서 제시한 알고리즘의 적용 대상을 도로 위 CCTV와 같이 기존 도로 인프라로 확대하여 도로 내 실시간 돌발상황 검지를 가능하게 할 수 있을 것이다. 또한, 차량 단말기를 이용 한 영상 데이터만으로는 충분한 도로 위 정보를 취득하기 어렵다는 점에서 향후 연구에서는 다른 센서로부 터 수집한 데이터 및 주행 이미지가 수집된 당시의 GPS 데이터, 현재 가속도와 같이 이미지가 아닌 다른 부 가정보 또한 알고리즘 학습에 활용하여 알고리즘을 고도화 및 개선하는 것이 필요하다.
