Ⅰ. 서 론
1. 연구 배경 및 목적
돌발상황은 ‘정지차량’, ‘역주행차량’, ‘낙하물’, ‘보행자’, ‘이동물체’ 등이 주행공간에 갑자기 출현하여 교 통사고를 유발할 수 있는 상황을 말한다(MLIT, 2023). 돌발상황은 교통 혼잡과 2차 사고에 영향을 미치므로 빠르게 검지하는 것이 중요하다. 기존에는 돌발상황의 신속한 검지를 위해 루프 검지기와 같은 고정식 센서 로 돌발상황 검지 후 CCTV(Closed Circuit Television)를 확인하는 방식으로 검지가 진행되었다. 그러나 루프 검지기와 같은 고정식 센서의 경우 잦은 고장으로 돌발상황의 신속한 검지가 불가능하며, 유지 보수 비용이 많이 소모된다. 또한 CCTV 기반 돌발상황 확인을 위해 센터 내에 많은 인력이 필요하다는 한계가 있다.
최근 AI 기술 중 한 분야인 컴퓨터 비전(Computer Vision: CV) 기술이 발전했다. 컴퓨터 비전은 인공지능 의 한 분야로 이미지 또는 동영상에서 객체를 인식하고 이해하는 기술이다(Elgendy, 2021). 컴퓨터 비전 기술 은 CCTV와 같은 영상 센서에서 돌발상황의 실시간 검지를 가능하게 하였다(Ren et al., 2017;Moylan et al., 2018). 현재 방식의 대부분은 도로 특정 지점에 설치된 영상 센서에 컴퓨터 비전 기술을 도입하여 운영되기 때문에 검지 영역에서 발생하는 돌발상황을 실시간으로 검지 할 수 있다. 그러나 검지 영역이 도달하지 않는 위치에서 돌발상황이 발생 시 검지가 불가능한 한계가 존재한다.
엣지 컴퓨팅(Edge-computing) 기술의 발전은 차량 내에 장착된 대쉬캠(Dash cam)과 같은 이동식 센서에서 도 실시간 동영상 분석이 가능하게 만들었다. 이를 통해 특정 지점에 설치되어 돌발상황 검지를 하던 기존의 방식을 차량 내부의 대쉬캠과 같은 이동식 센서 기반 돌발상황 검지 방식으로 대체 가능해졌으며, 고정식 돌 발상황 검지 시스템의 공간적 한계를 극복할 수 있을 것이다. 이동식 센서 기반 돌발상황 검지가 가능함에 따라 특정 돌발상황(포트홀, 낙하물 등) 검지에 이동식 센서를 활용하고 있다. 그러나 교통사고를 포함한 일 부 돌발상황은 학습데이터 수집의 한계로 상용화에 한계가 있다. 즉, 학습데이터 수집 한계를 극복한다면 교 통사고를 포함한 돌발상황 검지가 가능할 것으로 판단된다.
본 연구는 이동식 센서인 차량의 대쉬캠에서 수집된 스틸 프레임 데이터 기반으로 학습데이터를 구축하 고, 구축한 학습데이터 기반 고속도로 돌발상황 검지 정밀도를 평가하는 것이 목적이다. 이를 위해 2021년 및 2022년 각 3개월 간 한국도로공사 순찰대에서 수집한 대쉬캠 스틸 프레임 데이터를 활용하였으며, 컴퓨 터 비전 기술에 활용되는 AI(Artificial Intelligence) 알고리즘을 적용하여 분석을 진행하였다. 결과적으로 학습 데이터 기반 딥러닝 알고리즘을 도입하였을 때, 검지 정밀도를 분석하여 시사점을 도출하고자 하였다.
2. 연구의 구성
본 연구의 구성은 다음과 같다. 먼저 2장에서는 교통 상황 및 교통 객체 검지에 컴퓨터 비전이 활용된 연 구 고찰 및 연구에 활용된 기술에 대해 제시하였으며, 이에 대한 시사점을 제시하였다. 3장에서는 연구에 활 용된 AI 알고리즘에 대해 검토하였으며, 4장에서는 분석을 위해 구축한 학습데이터에 대해 정리하였다. 5장 에서는 분석 결과를 제시하였으며, 마지막으로 6장에서는 연구의 결과 및 향후 연구 과제를 제시하였다.
Ⅱ. 문헌 고찰 및 관련 기술 개념
1. 교통 상황 또는 교통 관련 객체 검지에 컴퓨터 비전 기술이 활용된 사례
컴퓨터 비전 기술은 지난 10년간 교통상황 또는 교통 관련 객체 검지를 위해 활용되어 왔으며, 대부분 고 정식 영상 센서를 활용하고 있는 것으로 나타났다. 또한 컴퓨터 비전 알고리즘으로 YOLO(You Only Look Once) 알고리즘을 활용하는 경우가 많았으며, 공개된 데이터를 알고리즘의 학습데이터로 활용하여 구축한 것으로 나타났다. 이에 대해 기존 진행된 교통상황 및 교통 관련 객체 검지에 컴퓨터 비전이 활용된 사례의 세부적인 내용들은 <Table 1>에 제시하였다.
<Table 1>
Summary of Literature Review
| Researchers (year) | Purpose of Study | Dataset | Study Methodology | Findings |
|---|---|---|---|---|
| Kim et al. (2016) | An on-road object detection using SSD that overcomes the problems mentioned above and makes possible robust object detection in real-time. | KITTIdataset | SSD, YOLO, SSD-ASP4, SSD-PED3, SSD-ASP4+PED3 | We confirmed that fine-tuning SSD on road dataset using data augmentation can improve the detection result. |
| Lu et al. (2018) | A vehicle detection method for aerial image based on YOLO deep learning algorithm is presented. | VEDAI dataset, COWC dataset, DOTA dataset | YOLO | The training model has good test results especially for small objects, rotating objects, as well as compact and dense objects, and meets the real-time requirements |
| Ghosh et al.(2019) | The main objective is to incorporate a system which is able to detect an accident form video footage provided to it using a camera. | 10,000 accident frames and non-accident frames | Inceptionv3 | The proposed system provides a very viable and effective solution to this problem. |
| Wang etal.(2020) | A vision-based crash detection framework was proposed to quickly detect various crash types in mixed traffic flow environment, considering low-visibility conditions. | 15,000 crash frames,40,000 normal frames | YOLOv3 | Image enhancement method can largely improve crash detection performance under low-visibility conditions. |
| Naidenov and Sysoev (2021) | The main purpose of this study is to develop a car accident detecting system using data obtained from video recordings streams applying machine learning algorithms. | 1730 videos( released at Asian Conference of Computer Vision in 2016) | VGG16 | Accuracy of the neural network is 97% on train dataset and 62% on test dataset. and This study could be promising at fast reaction on accidents and building routes for emergency services. |
| Gunawan et al. (2022) | This research aims to compare the performance of object detection of UAV images using various YOLO architectures. | Visdrone 2019 dateset | YOLOv3,YOLOv5 | mAP of YOLOv5 is higher than 5% mAP of YOLOv3. |
| Qin et al. (2022) | We proposed a real-time salient object detection network named increase-decrease YOLO (ID-YOLO) to discriminate the critical objects within the drivers’ fixation region. | ETOD dataset | ID-YOLO | The qualitative and quantitative experimental results show that ID-YOLO can predict drivers fixation objects more efficiently than existing models |
| Pavani and | This study compares state-of-the-art | 5minutes video | CNN, KNN, | From the present study, it suggests that |
| Sriramya(2022) | object detectors used to incorporate traffic state estimates. | (392 frames) produced by SIMATS | Haar Cascade, YOLO | YOLO provides slightly better performance in detecting vehicles when compared to CNN, KNN, Haarcascade algorithms. YOLO produced an accuracy of 93% and with precision of 90% from the all videos. |
| Ghahremann ezhad et al. (2022) | This paper presents a new efficient framework for accident detection at intersections for traffic surveillance applications. | COCO dataset | YOLOv4 | Experimental evaluations demonstrate the feasibility of our method in real-time applications of traffic management. |
| Adewopo and Elsayed(2023) | Our novel appproach introduces the I3D-ConvLSTM2D model architecture, a lightweight solution tailored explicitly for accident detection in smart city traffic surveillance systems by integrating RGB frames with optical flow information. | Trafficam dataset Dashcam dataset External data | I3D-ConvLstm2D | By offering a cost-effective and reliable accident detection system that can be deployed in real-time within a smart city framework, we pave the way for more accessible and ubiquitous surveillance solutions. |
2. 관련 기술 개념
본 연구에서 고려 중인 돌발상황 검지 기술은 블랙박스와 같은 차량 내 설치된 이동식 영상 센서에 컴퓨 터 비전 기술과 엣지-컴퓨팅 기술을 도입하여 도로 상황의 실시간 분석을 통해 돌발상황을 판단하는 기술을 의미한다. 본 기술은 특정 도로상황(예, 포트홀)에 대한 실시간 검지는 상용화 되어있으나 교통사고와 같은 돌발상황은 학습데이터가 제한적이기 때문에 상용화에는 한계가 있는 것으로 나타났다(Korea Expressway Corporation, 2021). 그러나 제한적인 돌발상황의 이미지 파일 수집을 통해 많은 학습데이터가 확보된다면, 현 재의 한계를 극복할 수 있을 것으로 판단된다.
한편, 본 연구에서 활용된 기술은 차량 내 설치된 대쉬캠으로 협각 렌즈를 장착한 2채널 영상 센서이다. 본 센서의 검지 범위는 폭이 넓은 고속도로의 경우 3개 차로, 폭이 좁은 일반도로의 경우 최대 4개 차로까지 검지가 가능한 것으로 알려져 있다(Korea Expressway Corporation, 2021). 또한 이 센서는 AI 영상분석을 통해 검지된 돌발상황의 실시간 정보 전송이 가능하며, AI 분석 속도는 초당 12프레임으로 100km/h 주행 시 약 2.3m 마다 분석이 가능하다(Nam et al., 2023).
3. 문헌고찰 및 관련 기술 요약
<Table 1>에 제시한 바와 같이, Ghosh et al.(2019)와 Naidenov and Sysoev(2021)가 수행한 연구를 제외하고 는 버전의 차이는 있지만 모두 YOLO 알고리즘이 포함되었다. 그리고 객체 검지를 위한 학습데이터 대부분 은 공개된 데이터를 활용하여 객체 라벨링을 진행하였다. 그러나 공개된 데이터는 실제 돌발상황이 발생 시 야 또는 각도와 차이가 있다. 예를 들면 현재 활용되고 있는 고정식 CCTV의 경우 높은 위치에서 교통 상황 을 촬영하므로 차량 내부에 설치된 이동식 센서의 학습데이터로 활용하기엔 부적합하다. 반면 본 연구에서 활용한 데이터는 실제 국내 고속도로를 운행하는 순찰대 차량의 센서에서 수집한 데이터 기반으로 학습데이 터를 구축하였으므로 본 연구에서 제시한 이동식 센서 기반 돌발상황 검지에 가장 적합한 데이터로 판단된 다. 이에 따라 본 연구는 차량 내 이동식 센서 기반 돌발상황 검지 정밀도 평가가 목적이다.
Ⅲ. YOLO 알고리즘 설명
YOLO 알고리즘은 2016년 조셉 레드먼에 의해 개발된 딥러닝 알고리즘으로 합성곱 신경망(CNN: Convolution Neural Network)을 활용하는 타 알고리즘(R-CNN, Fast R-CNN, Faster R-CNN, SSD 등)보다 빠른 객체 검지 속도를 보이는 특징이 있다(Elgendy, 2021). YOLO 알고리즘의 구조는 3가지 층(합성곱, 풀링층, 전 결합층)을 가지며 <Fig. 1>와 같다.
1. 합성곱층
합성곱층은 이미지 내 객체의 특징을 찾는 역할을 하며, <Fig. 2>와 같이 나타난다. 컨볼루션 필터(<Fig. 2>의 Convolution filter)가 입력 이미지(<Fig. 2>의 Source pixel) 위를 픽셀 단위로 이동하면서 가중치에 따라 픽셀값을 계산하며, 계산된 픽셀 값을 모아 새로운 이미지(<Fig. 2>의 Target pixel)를 생성한다(Elgendy, 2021). 여기서 새로 생성된 이미지는 특징 맵(Feature map) 또는 활성화 맵(Activation map)라고 한다.
2. 풀링층
풀링층은 다음 층으로 전달되는 파라미터 수를 감소시키는 역할을 한다. 합성곱 층 수가 증가하면 최적화가 필요한 파라미터가 증가하는데, 이는 학습 시간 증가와 오버피팅 문제가 발생하게 된다. 이 문제를 해결하기 위해 풀링 연산을 통해 풀링층에서 다음 층으로 전달되는 파라미터 수를 감소시킨다. 풀링 연산은 주로 최대 풀링과 평균 풀링이 활용되며, 풀링층의 예시는 <Fig. 3>와 같다. 최대 풀링(<Fig. 3>의 Max Pooling)은 자기 앞의 합성곱층에서 출력한 특징 맵을 입력받아 입력 이미지에서 커널을 이동시키면서 최댓값을 찾아 출력 이미지 픽셀값으로 삼는다. 평균 풀링(<Fig. 3>의 Average Pooling)은 최대 풀링에서 최댓값 대신 평균값을 활용한다.
3. 전결합층
전결합층은 합성곱층과 풀링층에서 특징을 학습한 후 실제 이미지를 분류하는 층이다. 전결합층은 3가지 의 구성요소를 가지며, <Fig. 4>과 같이 나타난다. 전결합층의 첫 번째는 입력층(<Fig. 4>의 Input)으로 합성곱 층과 풀링층에서 만들어진 차원 벡터를 입력한다. 두 번째는 은닉층(<Fig. 4>의 Dense #1, Dense #2)으로 입 력된 벡터 기반으로 특징을 실제로 학습하는 층이며, 하나 이상의 층을 가진다. 마지막으로 출력층(<Fig. 4> 의 Softmax)은 예측 결과가 출력되는 층으로 객체가 최종 분류(<Fig. 4>의 Class 1, Class 2, Class 3)된다.
Ⅳ. 데이터 구축
1. 돌발상황 정의
2021년 한국도로공사에서 발표한 보고서에 따르면 한국도로공사는 돌발상황 유형을 총 16가지로 구분하 였으며, 이 중 6가지 유형(작업, 교통사고, 정차, 노면잡물, 차량증가/정체, 사람)에서 총 99% 비율을 차지한 다고 하였다(Korea Expressway Corporation, 2021). 본 연구의 목적은 고속도로의 비 반복적 혼잡인 돌발상황 검지 가능성에 대해 평가하는 것이다. 이에 따라 본 연구에서 돌발상황은 반복적 혼잡과 구분하기 어려운 돌 발상황인 차량증가/정체는 제외하였다. 또한 작업의 경우 정차 및 노면잡물 객체에 포함하여 최종적으로 돌 발상황을 4가지 유형으로 구분하였으며, <Table 2>와 같이 정의하였다.
<Table 2>
Classification of incident types
| Type | Definition |
|---|---|
| Crash | Vehicle damage, Unusual vehicle direction etc |
| Stopped Vehicle | Stopped Vehicle in the shoulder, Breakdown sign, Open trunk etc |
| Debris | Debris, Roadkill, Falling Rock etc |
| Person | Person inroad |
2. 데이터 수집 및 학습
본 연구에서 활용한 데이터는 한국도로공사 순찰대 대쉬캠에서 수집된 돌발상황 스틸 프레임(Still frame) 데이터이다. 수집 기간은 2021년 6월에서 8월까지 3개월 데이터와 2022년 1월에서 3월까지 3개월 데이터로 총 6개월간 데이터이다. 연구를 위해 수집된 전체 데이터를 전술한 돌발상황 유형에 맞춰 라벨링하였으며, 돌발상황 유형이 하나 이상 나타난 이미지 파일에는 정상 주행하고 있는 차량에 대해 라벨링하였다. 최종적 으로 돌발상황이 포함된 이미지는 4,388장, 라벨링 된 데이터 수는 23,547건으로 나타났으며, 객체별로 라벨 링 데이터 수는 <Table 3>과 같이 나타났다. 분석 데이터 평가를 위해 라벨링된 데이터 중 80%를 학습데이 터로 활용하였으며, 20%를 검증데이터로 활용하였으며, 배치 사이즈와 에폭(Epoch)을 설정하여 효율적으로 학습을 진행했다. 여기서 배치 사이즈는 모델이 한 번에 학습하는 데이터 샘플 개수를 의미하며, 모든 데이 터를 한 번에 학습할 시 학습에 소요되는 시간이 매우 오래걸리기 때문에 학습하는 데이터 샘플 수를 나눠 학습을 진행하였다. 또한 에폭은 전체 학습 데이터 셋을 모델이 한 번 학습하는 것을 의미하며, 80개의 학습 데이터를 배치사이즈 8로 학습한다면 1에폭은 10개 배치를 학습한 후 완료됨을 의미한다. 데이터의 배치 사 이즈를 8, 에폭 50, IoU(Intersection over Union) 임곗값을 0.5 이상으로 설정하여 데이터를 분석하였다.
<Table 3>
Labeling of incident in image
| Class number | Type | Definition | Number of labeling |
|---|---|---|---|
| 0 | Crash | Vehicle damage, Unusual vehicle direction | 1,617 |
| 1 | Stopped Vehicle | Stoped Vehicle in the shoulder, Breakdown sign, Open trunk | 2,369 |
| 2 | Debris | Debirs, Roadkill, Falling Rock etc | 1,429 |
| 3 | Person | Person in road | 3,033 |
| 4 | Normal vehicle | Normal vehicle in image including incident labeling | 15,099 |
Ⅴ. 분석 결과
<Fig. 5>은 라벨링 데이터 전체를 포함하여 분석한 혼동 행렬(Confusion matrix)이다. <Fig. 5>의 혼동행렬 에서 x축은 실제 라벨링한 객체를 의미하며, y축은 모델이 예측한 객체를 의미한다. 행렬 내 표시된 각 수치 는 정밀도(Precision)를 의미하며, 라벨링 한 객체 중 모델 예측한 객체의 비율을 의미한다. 예를 들면 <Fig. 5> x축의 정차(Stopped vehicle)로 라벨링한 객체(0.04+0.72+0.02+0.08+0.14=1) 중 모델이 정차로 예측한 객체 (0.72)의 비율이 정차 객체의 정밀도가 된다. 다음으로 모델이 객체라고 예측한 것 중 실제 라벨링 한 객체 비율은 재현율(Recall)이라 하며, <Fig. 5> y축의 정차(0.08+0.72+0.01+0.10=0.91)로 판단한 객체 중 실제 정차 로 라벨링 한 객체(0.72)의 비율이 재현율이다. <Fig. 6>은 PR곡선으로 재현율이 증가할 때도 정밀도가 하락 하지 않을 때, 좋은 모델로 평가된다. 또한 <Fig. 6>에 표시된 수치는 평균 정밀도(Average Precision: AP)를 의미하며, 각 객체의 평균 정밀도를 평균하면 mAP(mean Average Precision)가 된다. 평균 정밀도가 높을 때 객체를 잘 예측한 것으로 판단하며, mAP 또한 값이 높을수록 좋은 성능으로 평가된다.
분석 결과를 보면 5개 객체 모두 모델의 예측 정밀도가 70% 이상으로 나타났고, 교통사고의 경우 약 85% 의 정밀도를 보이는 것으로 분석되었다. 낙하물의 정밀도가 70%로 가장 낮게 나타났는데, 이는 YOLO 알고 리즘이 객체 크기가 작을 때 검지 확률이 낮아지는 특성에 의한 것으로 보인다. 모델이 잘못 예측한 경우는 실제 객체는 존재하지 않아 라벨링을 하지 않았으나 모델은 정상주행차량으로 판단한 경우가 57%로 가장 높게 나타났다. 이는 이미지 내 차량이 타 차량에 가려지거나 중앙분리대와 같은 물체로 인해 차량이 가려지 더라도 알고리즘 내에서 판단한 차량이라는 특징에 부합할 때 모두 정상주행차량으로 검지했기 때문으로 판 단된다. <Fig. 6>에서 객체별 평균 정밀도를 보면 교통사고는 0.904로 가장 높게 나타났고, 정상주행차량 0.804, 보행자 0.770, 정차 0.740, 낙하물은 0.629로 가장 낮게 나타났으며, mAP는 0.769로 나타났다. 교통사고 평균 정밀도가 가장 높게 나타난 이유는 타 객체에 비해 이미지 내에서 크기가 큰 경우가 많으며, 타 객체에 비해 특성(차량 파손, 차량 위치 등)이 명확하기 때문으로 보인다. 이에 반해 낙하물의 경우 평균 정밀도가 낮은 이유는 이미지 내 객체의 크기가 작은 것이 영향을 미친 것으로 보인다. 또한 정상 주행 차량 객체와 정지 차량 객체의 특성이 비슷함에도 불구하고 정상 주행 차량의 평균 정밀도가 높게 나타난 이유는 라벨링 되지 않은 객체를 모델이 정상 주행 차량 객체로 인식하여 높은 재현율이 나타났기 때문으로 추정된다.
Ⅵ. 결론 및 향후 연구 과제
본 연구는 차량 내 설치된 이동식 영상 센서에 컴퓨터 비전 기술을 도입하여 고속도로 돌발상황 검지 정 밀도에 대해 평가하는 것이 목적이다. 연구를 위해 2021년 및 2022년 각 3개월 간 한국도로공사 순찰대에서 수집한 대쉬캠 스틸 프레임 데이터를 활용하였다. 각 객체는 교통사고, 정차, 낙하물, 보행자, 정상주행차량 으로 구분하였고, 구분된 객체를 YOLO 알고리즘으로 분석하였다. 분석 결과 각 객체 모두 예측 정밀도가 70% 이상 나타났다. 또한 객체별 평균 정밀도를 보면 교통사고는 0.904로 가장 높게 나타났고, 낙하물이 0.629로 가장 낮게 나타났으며, mAP는 0.769로 나타났다.
본 연구의 향후 연구과제는 교통사고 평균 정밀도가 0.904로 100% 달성되지 않았으나 YOLO 알고리즘의 경우 통상적으로 학습데이터 수가 정밀도에 영향을 미치기 때문에 차후에 학습데이터를 추가한다면 평균 정 밀도가 높아질 것으로 예상된다. 그리고 학습데이터의 수집 가능성을 보면 현재 수집된 학습데이터 수(5가지 객체 기준 8,448건)가 2020년 고속도로에서 발생한 돌발상황 발생 건수(5개 객체 기준 130,084건)의 약 6% 수준임을 감안했을 때 추가적인 학습데이터 수집 또한 가능할 것으로 예상된다. 아울러, 고속도로 순찰대에 서 수집한 데이터를 기반으로 연구를 수행하여, 향후 고속도로의 교통류 특성 및 교통시설과 다른 단속류 구 간에 대한 연구가 필요하다. 또한 돌발상황 발생 위치, 차로 차단 현황, 사고 유형 분류 등 사고 유형을 세분 화한 AI 모델 개발이 필요하다. 마지막으로 AI 도입에 따른 돌발상황 검지 시간 감소 효과(교통 혼잡 감소, 2차 사고, 사고 심각도 감소) 등의 분석이 필요하다.
