Ⅰ. 서 론
1. 연구 배경 및 목적
최근 자율주행자동차의 도입과 함께 자율주행자동차 주행관리 전략과 관련된 연구들이 대두되고 있다. 이 러한 연구는 주로 자율주행차량과 비자율주행차량 간의 상호작용이나 자율주행자동차 자체의 개별 차량 주 행행태를 기반으로 연구가 진행 중인데(Lee and Oh, 2017), 이러한 연구는 자율주행차량과 그 주변 차량에 대한 미시적인 교통데이터의 확보가 필수적이다. 반면에 대부분의 관련 연구들은 미시적인 교통데이터의 분 석을 위하여 교통 시뮬레이션이나 주행 시뮬레이션을 바탕으로 연구가 진행되고 있다. 이는 미시적 교통데 이터의 수집이 어려운 기존 교통데이터 수집 방식에 기반하는데, 실제 차량의 주행행태를 완벽하게 구현할 수 없는 시뮬레이션의 특성상(Jeong et al., 2020) 실질적으로 도로 전체에 대한 개별 차량의 주행행태를 수집 할 수 있는 새로운 방법론의 제시가 필수적이다.
교통데이터 수집 방식은 크게 도로변 관점(point-based), 교통류 내 이동기반 관점(mobile-based), 항공에서 내려다보는 관점(aerial-based), 총 3가지로 나뉜다(Carlos, 1997). 그중 기존의 활용되는 교통데이터 수집 방식 은 주로 도로변 관점의 VDS, CCTV, AVI와 같은 지점·구간 검지기와, 이동기반 관점의 prove car, DTG와 같 은 이동식 교통정보 검지기를 사용한다. 이때 도로변 관점의 검지기에서 취득한 교통데이터는 집계형 정보 로서, 갑작스러운 정체상황을 감지하기 힘들거나 시간처짐(time lag) 현상이 발생하는 등 시공간적 제약이 존 재하여, 개별차량의 세부적인 주행행태를 분석할 수 없다는 한계가 존재한다(Baek and Lee, 2012). 또한, 이동 기반 관점의 교통데이터 수집방식인 prove car와 DTG의 경우에는 차량의 미시적인 주행행태를 수집할 수 있 으나, 교통데이터 수집 장치가 설치된 차량에 수집범위가 한정되어 해당 도로의 교통류를 대표하기에는 부 족하다는 한계점이 존재한다. 반면에 항공에서 내려다보는 관점의 교통정보 수집 방식은 기존의 공간적, 시 간적 한계를 보완하고, 미시적인 교통정보를 수집할 수 있기에 최근 드론을 활용한 교통정보 수집 방식 연구 들이 진행되고 있다(Seo and Lee, 2018). 하지만 이러한 기존에 드론을 활용한 교통정보 수집 연구는 수집된 영상자료를 인적 데이터 추출 방식으로 판독하거나, 차량 객체를 추적하여 교통류 분석을 수행하는 대신 차 량의 자동 검지를 수행하고 검지 성능에 대한 검증을 수행하는 데 그쳤다(Park et al., 2019). 또한 미시적 교 통정보를 획득하더라도, 외부적인 요인으로 인한 드론 기체의 자세 변화나, 산정된 GSD(Gound Sample Distance) 오차 값의 누적으로 인하여 정밀한 교통정보를 수집하기 힘들었다. 본 연구는 이러한 기존 연구의 한계점을 개선하기 위해 YOLOv5와 DeepSORT를 통한 다중객체추적을 수행하였다. 또한 불안정한 드론 항 공영상에서 정밀한 미시적 교통데이터를 추출하기 위하여 영상정합과 삼변측량을 활용하여 영상보정을 수 행하였다. 이를 통해 추출된 차량 궤적 데이터와 보정된 영상을 바탕으로 미시적 교통데이터의 자동 추출 및 검증을 수행하였다.
2. 연구수행절차
본 연구의 수행 절차는 <Fig. 1>과 같다. 연구의 목적과 그에 따른 문헌 고찰 및 연구의 범위를 설정한다. 학습데이터의 구축을 위해 드론을 통해 직하각 항공영상을 수집한 뒤, 수집된 항공영상 내 학습데이터의 수 집을 위해 YOLO Mark를 통하여 객체 라벨링을 수행한다. 이를 통해 수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, 다중객체추적 알고리즘을 통해 차량 객체의 검지 및 추적을 수행한다. 다중객체추적 알고 리즘을 통해 추적된 차량 객체에서 정밀한 미시적 교통데이터를 추출하기 위하여 영상정합을 활용한 영상보 정을 수행한다. 특징점을 활용한 영상정합과 삼변측량을 활용하여 영상 내 흔들리지 않는 기준점을 설치하 고, 이를 바탕으로 개별 차량에 대한 속도 및 지점 교통량 데이터를 수집한다. 이후 연구를 통해 추출된 데 이터와 실측값의 비교를 통하여 연구 결과에 대한 검증을 수행한다.
Ⅱ. 문헌고찰
항공에서 내려다보는 관점에서 교통정보를 수집하기 위한 연구는 2000년대부터 활발하게 수행되어왔다. 스웨덴 LiU(Linköping University)에서 수행된 The WITAS UAV Project는 교통관리를 위하여 항공기반의 데이 터 수집을 수행한 최초의 연구이다. 해당 연구는 미니 헬리콥터에 설치된 카메라를 통해 차량을 추적하고 모 니터링 하는 기술개발을 목적으로 수행되었다(Doherty et al., 2000). 위 프로젝트를 기반으로 항공영상에서 기 본적인 객체를 검지하고 추적하는 컴퓨터 비전 기반의 연구가 추가로 진행되었다(Granlund et al., 2000).
이후 연구에서는 항공영상 내 차량 객체 검지 및 추적에 그치는 게 아닌, 기존 지점 검지 방법론으로 수집 하기 힘든 다양한 교통변수를 추출하기 위한 연구들이 활발하게 수행되었다. 헬리콥터를 통해 미국 애리조 나 Tucson 지역을 대상으로 수집된 항공영상을 통해 밀도, 통행시간, 대기행렬 길이 등 여러 가지 교통변수 를 추출하는 연구가 진행되었다(Angel et al., 2002). 미국 오하이오 주에서는 기존 지점 검지 방법론의 한계 를 보완 하고자는 목적으로 항공영상 기반의 교통정보 수집을 통해 교통량, 속도, 밀도, 엇갈림 교통량, 교차 로 회전교통량 등 다양한 교통변수를 추출하였다(Coifman et al., 2004). 미국 플로리다 주를 대상으로 수행된 연구는 실시간 교차로 제어의 활용을 목적으로 광역 영상 검지 기술을 활용하여 다수의 교차로가 연결된 네 트워크의 방향별 교통량과 속도 추출을 수행하였다(Puri, 2005).
그러나 이러한 연구들은 헬리콥터와 같은 항공기를 이용하여 데이터를 수집하기 때문에, 높은 운행비용과 더불어 흔들리지 않는 안정적인 영상을 확보하기 힘들다는 단점이 존재한다. 이를 보완하기 위하여 이후 무 인항공기 기술의 발전에 따라 낮은 운행비용을 가지며 안정적인 항공영상을 확보 가능한 쿼드콥터 (Quadcopter)1)를 활용한 연구들이 수행되었다. 이를 통해 보다 정확한 교통정보의 수집과 개별차량에 대한 차량 궤적 추출이 가능해졌다. 쿼드콥터를 통해 수집한 항공영상에서 차량 궤적을 추출하여 속도와 가속도 를 측정하는 연구가 수행되었다(Gao et al., 2014). 고고도에서 수집된 항공영상을 통해 고속도로를 구간 단위 로 분석을 통해 특정 지점에 발생한 교통 문제가 도로 네트워크 전체에 영향을 끼치는 것을 확인한 연구가 수행되었다(Kim et al., 2017). 차로변경이 빈번하게 발생하는 도심부 간선도로를 대상으로 차량과 차선 객체 를 검지하여 차량별 차로변경 검지를 검출한 연구가 수행되었다(Kim et al., 2018).
2010년대 중반을 기점으로 딥러닝 기반의 객체 검지 기술이 발전하면서, 딥러닝을 활용하여 항공영상 내 차량 객체를 검지하는 연구가 수행되었다. 컴퓨터 비전 기술을 기반으로 수행되었던 이전연구에 비해 보다 높은 정확도와 빠른 처리 시간을 바탕으로 실시간 교통정보를 추출하는 연구가 수행되었다. 방대한 UAV 데 이터셋을 기반으로 다양한 딥러닝 기반의 객체 검지와 추적 알고리즘의 성능을 측정하고 비교하여 UAV Benchmark를 개발하는 연구가 수행되었다(Dawei et al., 2018). MassDOT(Massachusetts Department of Transportation)에서 수행된 연구는 대표적인 실시간 객체 검지 알고리즘인 YOLO(You Only Look Once)를 사 용하여 회전교차로 내 O-D 교통량 조사와 개별 차량의 속도 추출을 수행하였다(Massachusetts Department of Transportation, 2019). 차량 객체를 검지하고 추적하기 위한 새로운 앙상블 딥러닝 모델을 구축하고 이를 통 해 교통변수를 실시간으로 추출하는 방법론을 제시하였다(Ruimin et al., 2019). 이후 후속 연구를 통해 개별 차량에 대한 미시적 교통데이터와 차선 단위의 거시적 교통데이터를 추출하는 프레임워크를 구축하였다 (Ruimin et al., 2020).
본 연구는 문헌고찰을 통해 수집된 정보를 바탕으로 항공에서 내려다보는 관점에서 효율적이고 정확한 교통정보를 수집하고자 한다. 소형 무인항공기인 쿼드콥터를 활용하여 항공에서 안정적인 항공영상을 수집 할 수 있게 하며, 적은 비용으로 빠르게 데이터 수집이 가능하도록 하였다. 딥러닝 기반의 객체 검지 알고리 즘인 YOLOv5를 사용하여 컴퓨터 비전 기반 기술보다 월등히 높은 객체 검지율 및 빠른 처리속도를 확보하 였고, 역시 딥러닝 기반 Tracker인 DeepSORT를 사용하여 객체의 추적 성공률을 높였다. 이에 더하여 기존 연 구와의 차별성을 확보하기 위하여 영상정합을 활용하여 영상의 흔들림을 자동으로 보정해주는 작업을 알고 리즘을 개발하였다. 기존 연구의 경우 추가적인 영상보정 알고리즘이 존재하지 않아 드론이 최대한 흔들리 지 않는 환경에서 움직임 없이 데이터를 확보해야 했다(Massachusetts Department of Transportation, 2019). 드 론 기체의 특성상 아무리 안정적인 환경이라도 풍향, 풍속의 변화, 호버링 기술의 한계로 인해 영상의 길이 가 길어질수록 GSD의 오차값이 누적되게 되고, 이는 필연적으로 속도 데이터 정확도의 하락으로 이어지게 된다. 이에 본 연구는 자동으로 도로의 절대적 위치값과 GSD를 지속적으로 계산하는 알고리즘을 개발하여 영상보정 정보를 매 프레임마다 갱신해 주었고, 이를 통하여 높은 정확도의 미시적 교통데이터를 추출하 였다.
Ⅲ. 연구 내용
1. 연구 범위
본 연구를 위해 수집한 테스트 항공영상의 공간적 범위는 부산광역시의 도심 간선도로인 번영로의 원동 IC와 구서IC 사이 250m 구간으로 <Fig. 2>와 같다. 방향별로 북향(North bound) 5차로, 남향(South bound) 5차 로를 가지는 연속류 구간으로, 수영강변대로와 정관산업로에서 본선 구간으로 합류 및 분리하는 도로가 공 존함으로 인해 잦은 차선변경이 발생하는 엇갈림구간(Weaving section)이다. 또한 다양한 차종의 학습데이터 확보를 위하여 부산종합버스터미널, 반여농산물도매시장 주차장, 부산석대2도시첨단산업단지 등에서 추가적 인 항공영상 수집을 수행하였다.
드론 항공영상을 수집하기 위해 사용한 드론은 DJI사의 MAVIC2PRO로 정지 호버링이 가능한 멀티로터 회전익 UAV이다. 4K 영상(3840×2160)을 약 30fps (29.97fps)로 촬영 가능한 카메라를 탑재하고 있고 3축 짐 벌을 갖추고 있어 풍향, 풍속과 같은 외부요인에도 안정적으로 항공영상 수집이 가능하다.
본 연구의 공간적 범위를 대상으로 드론 비행 허용 시간 내 12시부터 18시 사이에 항공영상 촬영을 수행 하였고, 학습데이터 수집, 교통량 및 속도 추출에 사용할 테스트 항공영상을 촬영하였다. 촬영고도는 공간적 범위 전체를 영상 내 포함할 수 있는 고도인 250M에서 직하각으로 촬영을 수행하였고, 고도 150M 이상 비 행을 위해 임시공역 지정 및 '드론 원스톱 민원서비스'를 통한 비행, 촬영 승인 이후 수행하였다.
2. 학습데이터 수집
본 연구는 차량 객체를 검지하기 위하여 대표적인 실시간 객체 검지 알고리즘 중 하나인 YOLOv5 딥러닝 프레임워크(ultralytics, 2020)를 사용하였다. YOLOv5 모델은 주로 Microsoft Common Object in Context(COCO) 와 같은 데이터셋을 활용하여 사전 학습된 모델을 사용하여 객체 검지로 활용하는데, 해당 데이터셋에는 드 론과 같은 항공영상에서 수집한 데이터는 거의 존재하지 않는다. 따라서 본 연구의 목적에 따라 새로운 데이 터셋 기반의 모델 재학습을 위해, 드론 항공영상 기반의 차량 데이터셋을 직접 수집하였다. 학습데이터 수집 은 드론 항공영상 수집과 YOLO Mark를 활용한 항공영상 내 차량 객체 라벨링 두 단계로 수행된다.
1) 드론 항공영상 수집
YOLOv5 모델의 재학습을 위한 차량 데이터셋 수집을 위하여 드론 항공영상 수집을 수행하였다. YOLO 모델은 클래스별 데이터셋 구축에 따라 다양한 객체의 검지를 수행할 수 있는데, 본 연구는 승용차, 버스, 트 럭, 세 가지 차종을 검지하기 위하여 클래스별 데이터 수집이 가능한 공간적 범위를 대상으로 항공영상을 수 집하였다. 본 연구의 공간적 범위인 번영로 일대의 특성상 버스와 트럭의 통행이 적어, 공간적 범위 이외에 부산종합버스터미널, 반여농산물도매시장 주차장, 부산석대2도시첨단산업단지에서 항공영상 수집을 수행하 여 버스와 트럭을 포함한 항공영상을 추가적으로 수집하였다. 학습데이터 수집을 위해 촬영한 항공영상 역 시 테스트 영상과 비슷한 환경인, 200M에서 250M 범위의 고도 내에서 직하각으로 수집하여 정확도 향상을 도모하였다.
2) 차량 객체 라벨링
수집된 드론 항공영상에서 차량 객체를 라벨링(Labeling) 하기 위하여 YOLO Mark(AlexeyAB, 2018)를 사용 하였다. YOLO Mark는 YOLO 모델의 학습데이터 수집을 위하여 이미지에서 객체의 경계 상자(bounding box) 를 설정하기 위한 GUI 기반 프로그램으로, 수집된 항공영상 내 차량 객체의 차종과 위치정보를 명시하여 학 습데이터를 구축하기 위하여 사용하였다. 수집된 7개의 드론 항공영상에서 총 977장의 이미지 프레임을 추 출하였고, 프레임 내 승용차, 버스, 트럭 객체를 YOLO Mark를 통해 라벨링을 수행하였다. 이때 각 클래스의 기준은 경차, 세단, 승합차는 car 클래스, 미니버스 크기 이상 버스는 bus 클래스, 2.5t 이상 트럭은 truck 클래 스로 분류하여 <Table 1>와 같이 학습데이터를 구성하였다. 라벨링에 사용된 YOLO Mark의 예시는 <Fig. 3> 과 같고, 라벨링된 객체의 예시는 <Fig. 4>와 같다. 또한 라벨링 결과, 이미지 내 라벨링 된 객체의 중심점 위 치와 높이 및 너비에 대한 상관 도표(Correlation diagram)는 <Fig. 5>과 같다.
3. 다중객체추적(Multiple Object Tracking)
드론 항공영상 내 차량 객체를 검지 및 추적을 수행하기 위하여 본 연구에서는 딥러닝 기반 다중객체추적 (Multiple Object Tracking) 알고리즘을 사용하였다. 다중객체추적 알고리즘이란 동영상 내 시간에 따라 움직 이는 여러 개의 물체의 위치를 찾고 추적하는 알고리즘으로, 동영상 프레임마다 검지되는 객체에 ID를 부여 하여 프레임 간에 검지된 객체의 정보를 연결하여 추적을 수행하는 알고리즘이다. 다중객체추적을 위해서는 <Fig. 6>과 같이 검지(Detection)와 추적(Tracking) 두 가지의 단계가 필요한데, 본 연구는 Detector는 YOLOv5, Tracker는 DeepSORT를 사용하여 다중객체추적을 수행하였다.
1) 차량 객체 검지
다중객체추적의 첫 번째 단계인 객체 검지(Object Detection)의 목적은 영상 내 차량 객체 위치를 식별하고 차종을 구분하는 것이다. Ultralytic 사에서 개발한 딥러닝 프레임워크인 YOLOv5는 모델의 사이즈에 따라 YOLOv5s, YOLOv5m, YOLOv5l, YOLOv5x로 나누어진다. YOLOv5 모델은 모델의 사이즈가 커질수록 모델의 정확도가 증가하는데, 대신 모델의 학습 시간이 증가하고, 더 많은 컴퓨터 자원이 소모된다. 이 외 모델의 성 능은 학습데이터의 이미지 크기, 배치사이즈, Learning Rate, Momentum과 같은 다양한 하이퍼 파라미터로 인 하여 결정된다.
본 연구에 활용된 환경에서 최적의 모델 성능을 도출하기 위하여 다양한 모델 크기와 하이퍼 파라미터를 활용하여 학습을 진행하였다. 본 연구에서 사용한 컴퓨터의 환경은 Intel core i7-10700 CPU @ 2.90GHz, 64GB RAM, Windows 10 Pro 64-bit, Nvidia GeForce RTX 3090 24GB 이며, YOLOv5 모델의 학습 및 평가를 진행한 언어와 플랫폼은 Anaconda Python 3.8.5 와 Pytorch 1.7.0 이다. 다양한 모델과 하이퍼 파라미터를 사용 하여 학습을 진행한 결과, 다음과 같은 최적의 모델 및 하이퍼 파라미터를 구축하였다.
YOLO Mark를 통해 수집된 학습데이터 997장의 이미지는 8대2로 나누어 Train, Test 데이터셋으로 구성하 였다. 컴퓨터 자원을 고려하여 모델 사이즈는 YOLOv5s로 사용하였고, YOLOv5의 경우 학습데이터의 입력 이미지 크기를 640×640 으로 리사이징 후 학습을 진행하는데, 리사이징 이미지 크기를 800×800으로 향상시 킴으로서 모델 정확도의 향상을 도모하였다. 배치 사이즈와 Epochs는 32, 2500으로 설정하였고, Learning rate schedule은 Warming up을 사용하여 0.001로 시작하여 Epoch가 75번째 반복에 도달함에 따라 0.01로 증가시켰 고, Momentum과 Decay는 0.9와 0.00005로 설정하였다. 구축된 최적의 모델과 하이퍼 파라미터로 학습한 모 델의 성능은 다음과 같다.
Precision과 Recall의 성능을 측정하기 위하여 Precision Recall Curve를 사용하여 모델을 평가하였다. 또한 클래스별 데이터셋이 불균형한 모델을 평가하기 위하여 F1 Score Curve를 사용하였다. 그 결과 mAP@0.5 일 때 AUC-PR 값은 모든 클래스에 대해 0.905의 수치를 도출하였고, Confidence 0.447에서 모든 클래스에 대해 0.9의 F1 Score를 도출하였다. 클래스별 F1 Score를 확인하였을 때, car 클래스와 bus 클래스의 경우 각 0.935, 0.955로 높은 수치를 획득하였다. 반면에 학습데이터의 수가 부족했던 truck 클래스의 경우 0.823의 비교적 낮은 수치를 획득하였다. Confusion matrix를 확인한 결과 car 클래스와 bus 클래스는 각 0.95, 0.96의 높은 정 확도로 검지를 하였으나, truck 클래스의 경우 0.79의 정확도로 검지를 수행하고, car 클래스나 배경으로 오검 지하는 경우도 각 0.11, 0.09 확률로 존재하였다. 또한 배경을 car 클래스로 오검지하는 경우도 0.73의 높은 확률로 존재하였다. 이는 학습데이터의 구축 시 번영로 차도 위에 있는 객체만을 라벨링 하였는데, 이때 차 도가 아닌 곳에 있는 객체를 배경으로 분류하여 나타난 현상으로 파악된다.
2) 차량 객체 추적
다중객체추적의 두 번째 단계인 객체 추적(Object Tracking)의 목적은 연속적인 동영상 프레임에서 검지된 차량 객체에 ID를 부여 후, 동일 ID를 보유한 객체 간 위치정보를 연결하여 미시적 교통데이터를 추출하는 것이다. 본 연구는 YOLOv5를 통해 식별된 차량 객체의 위치와 정보를 연결하여 추적하기 위해, DeepSORT(N. Wojke et al., 2017)를 사용한다. DeepSORT는 딥러닝 기반 실시간 객체추적 알고리즘으로, Kalman Filter와 Hungarian algorithm을 결합한 SORT(Simple Online Real-time Tracking)에 단순한 CNN 모델 추 가하여 물체 겹침에도 강한 성능을 보여주는 추적 알고리즘이다.
DeepSORT를 위한 하이퍼 파라미터 설정은 기존 DeepSORT 코드의 기본 설정을 사용한다. 직하각에서 촬 영한 드론 항공영상의 경우 물체간의 겹침 현상이 발생할 상황이 없고, 본 연구의 공간적 범위는 차량이 가 려질 상황이 존재하지 않기에 기본적인 하이퍼 파라미터 설정을 따른다. 경우에 따라 YOLOv5를 통해 검지 된 객체 중 오검지된 객체의 추적 삭제를 위해 MAX_AGE와 MIN_CONFIDENCE 수치를 수정해준다.
YOLOv5와 DeepSORT를 활용한 차량 객체의 검지 및 추적에 따라 개별 차량 객체는 영상 내 bounding box 의 위치 좌표와 차종, 해당 차종일 확률, 객체 id 정보를 가지게 된다. 그중 YOLOv5는 객체의 위치 좌표, 차 종, 해당 차종일 확률을 가져 매 프레임마다 검지를 수행하고, DeepSORT는 객체의 위치 좌표, 차종, 객체 id 정보를 가져 객체의 이동 경로 및 주행행태에 대한 정보를 가지게 된다. 이는 이후 미시적 교통데이터인 차 량 속도와 교통량을 산정하기 위하여 활용된다.
4. 영상 정합(Image Registration)을 활용한 미시적 교통데이터 추출
기존에 드론 항공영상을 활용한 교통데이터 추출 연구는 주로 영상 내 이미 알고 있는 물체의 길이 및 거 리를 활용하여 GSD(Ground Sample Distance)를 산정한 후, 이를 바탕으로 차량 객체의 이동 거리를 추정하여 미시적 교통데이터를 산정한다. 그러나 이러한 방식은 항공영상의 흔들림 및 움직임에 따라 GSD의 오차값 이 누적되게 되어 정확한 미시적 교통데이터를 산정할 수 없게 되고, 이러한 GSD의 오차값을 보정해주는 방 식 또한 드론 항공영상의 수집 이후 후처리 영상보정 방식을 사용하여 영상의 흔들림을 보정해야 한다.
본 연구는 특징점 매칭(Feature Matching)을 활용한 영상 정합(Image Registration)을 통한 영상 내 특정 지점 을 지속해서 추적하고, 이를 기반으로 미시적 교통 데이터를 추출하는 알고리즘을 제안한다. 이로 인해 후처 리 영상보정이 아닌 자동으로 실시간 영상보정을 수행하는 방법론을 제안한다.
영상 정합을 통한 미시적 교통데이터 추출을 수행하기 위한 프로세스는 총 3단계로 이루어진다. 첫 번째 로 특징점 매칭을 통한 영상정합을 사용하여 항공영상 내 추적을 수행할 기준 이미지(Source image) 3장을 선정한다. 두 번째로 도로 위 위치 좌표를 알고 있는 기준점(Control point) 6개를 선정하여, 선정된 기준 이미 지 3장의 각 중심점을 바탕으로 삼변측량(Trilateration)을 통해 매 프레임마다 영상 내 기준점들의 위치를 갱 신한다. 세 번째로 갱신된 기준점들의 위치 관계를 활용하여 속도 및 교통량 데이터를 추출한다.
1) 영상 정합(Image Registration)을 통한 기준 이미지(Source image) 추적
외부의 영향으로 인해 불안정한 드론 항공영상에 흔들리지 않는 기준점을 설치하기 위하여 특징점 매칭 (Feature Matching) 작업을 통한 영상 정합(Image Registration) 방식을 사용한다. 특징점 매칭이란 두 이미지에 서 추출한 특징점 기술자를 비교하여 서로 비슷한 특징점을 찾아 두 이미지 간 서로 매칭시키는 방법으로, 불안정하게 흔들리는 드론 항공영상 이미지 내 특정 지점을 지속해서 추적하기 위하여 사용한다.
수집된 테스트 드론 항공영상의 첫 프레임에서 특정 지점을 중심점으로 가지는 일부 이미지를 잘라 기준 이미지(Source image)로 선정하고, 이 기준 이미지의 중심점(Center point)을 도출한다. 선정된 기준이미지와 원본인 드론 항공영상 간에 특징점 매칭을 활용한 영상 정합을 통하여 드론 항공영상 내 기준 이미지의 위 치를 갱신하고, 갱신된 기준이미지의 위치를 기반으로 중심점의 위치를 추출한다. 위 작업은 드론 항공영상 의 매 프레임마다 반복되어 수행되고, 이를 통해 기준 이미지는 흔들리는 드론 항공영상 내 기존의 위치를 지속적으로 추적하게 된다. 이때 특징점 매칭을 위한 특징 디스크립터 검출기는 ‘BRISK’, 특징 매칭기는 ‘Brute-Force Matcher’, 매칭 함수는 ‘knnMatch’를 사용한다.
2) 삼변측량(Trilateration)을 통한 기준점(Control point) 설치
영상 정합을 통해 추출된 기준 이미지(Source image)의 중심점(Center point)은 이미 알고 있는 도로 위 지 점의 위치 좌표와 교통량 검지기의 위치를 갱신하기 위하여 사용한다. 이때 이 위치좌표는 도로 위 균등한 위치를 가지는 총 6개의 좌표를 선정하고 이를 기준점(Control point)이라 칭한다. 이때 좌표의 개수는 카메라 의 왜곡으로 인한 거리의 왜곡을 방지하기 위하여 서로 균등한 위치에 있는 좌표를 최소한 6점 이상 선정해 준다. 이 위치정보를 가지고 있는 6개의 기준점은 이후 차량의 속도 및 교통량을 산출하기 위하여 사용되는 데, 매 프레임마다 변경되는 기준점의 위치를 추적하기 위해 위치 갱신을 수행하고, 이를 갱신하기 위한 방 법으로 삼변측량 기법을 사용한다.
삼변측량이란 세 점과 목표지점까지의 거리를 통해 목표지점의 위치를 추정하는 방식으로, 세 점을 중점 으로 하고 기준점까지의 길이를 반지름으로 가지는 세 원을 통해 기준점의 위치를 도출 할 수 있다. 삼변측 량을 적용하기 위해 영상 정합을 통해 도출할 기준 이미지 3개를 선정하고, 기준 이미지의 중심점을 삼변측 량을 위한 세 원의 중점으로 가진다. 이후 도로 위 확보된 6개의 기준점을 삼변측량을 통해 산출할 목표지점 으로 선정하고, 첫 프레임을 기준으로 세 원의 중점과 각 기준점 간의 거리를 반지름의 거리로 도출한 뒤, 이를 사용하여 다음 프레임의 기준점의 위치를 갱신한다.
3) 기준점을 활용한 속도 추정 및 교통량 추정
영상정합 및 삼변측량을 통해 갱신된 기준점 6개는 항공영상 내 차량의 속도와 교통량을 추정하기 위해 사용한다. 이 위치정보를 가지고 있는 6개의 기준점은 영상 내 차량이 움직인 거리를 바탕으로 차량의 속도 를 산출하기 위하여 사용하는데, 이때 기준점 간의 실제 거리비와 항공영상 내의 거리비를 활용하여 차량이 실제 움직인 거리를 산출한다. 이미 알고 있는 기준점 간의 실제 거리와 영상 내 기준점 픽셀 간의 거리의 비를 매 프레임마다 계산하여, 영상 내 차량이 이전 프레임의 위치에 비해 움직인 픽셀 크기 간의 거리와 곱 해주어 차량 속도를 도출한다. 이때 렌즈 왜곡에 의한 오차의 최소화를 위해 실제와 영상에서의 기준점 간의 거리비는 6개 기준점의 모든 점쌍에 대한 거리비의 값의 50% 절사평균 값을 사용한다.
방향별 지점 교통량을 추출하기 위하여 교통량 검지기를 설치한다. 첫 프레임을 기준으로 영상 내 교통량 을 추출할 지점을 통과하는 직선을 선정하고 이를 교통량 검지기라 칭한다. 이후 이 교통량 검지기를 차량이 통과할 때마다 차량을 자동으로 계수하여 교통량 검지를 수행한다. 이때 교통량 검지기의 위치는 기준점과 같이 영상정합 및 삼변측량을 통해 매 프레임 갱신하여 영상의 흔들림에도 제 위치를 지키도록 해준다.
Ⅳ. 연구 결과
1. 속도 추출
본 연구를 통해 추출된 속도 데이터의 검증을 위하여 실측 속도 데이터와 비교 검증을 수행하였다. 본 연 구의 알고리즘의 특성상 항공영상 내 존재하는 모든 차량의 속도를 10fps마다 추출 가능하고, 이를 통해 연 구범위의 시간평균속도, 공간평균속도를 모두 추출 가능하다. 그러나 연구 범위 내 수집되는 기존 데이터 중, 모든 차량별 속도를 1초 내 시간간격마다 수집되는 실측값이 없어 검증이 불가능하기에 GPS기기를 포함 한 프로브차량 1대를 사용하여 실측데이터를 확보하였다. 프로브 차량 1대의 속도값을 검증하여 공간적 범 위 내 모든 개별차량의 속도값이 검증되었음을 가정하고, 이를 통해 공간적 범위에 대한 구간속도를 도출할 수 있다 가정하였다. 실측 데이터는 연구 범위 내 프로브 차량 1대를 통해 총 4번의 실차 평가를 수행하였 고, 프로브 차량 내에서 GPS와 GLONASS를 사용하는 GPS기기를 활용하여 10fps 단위로 차량의 위치 데이 터를 수집하였다. 이때 수집된 차량의 위치 데이터는 10fps 라는 짧은 시간 간격에 의하여 일정 오차 값을 보유하고 있는데, 이를 보완하기 위하여 가우시안 필터를 활용하여 실측값을 평활화하고, 실측 데이터와 추 출한 데이터 간의 비교 검증과 평활화된 데이터와 추출한 데이터 간의 비교 검증을 각각 수행하여 연구 결 과의 성능 평가를 수행하였다. 검증을 위한 성능 평가 지표는 MAE (Mean Absolute Error), RMSE (Root Mean Squared Error), MAPE (Mean Absolute Percentage Error)를 사용하여 모델 예측값의 평균 에러, 이상치 영향을 다각도로 분석하였다.
속도 데이터에 대한 검증 결과, 평활화를 거치지 않은 실측 데이터의 경우 평균 MAE 5.62 km/h, RMSE 7.81 km/h, MAPE 8.07%라는 준수한 연구 결과를 도출하였다. 또한 가우시안 필터를 통하여 평활화를 거친 데이터의 경우 평균 MAE 3.49 km/h, RMSE 4.43 km/h, MAPE 5.18%이라는 보다 개선된 결과를 획득하였다. 이는 10fps라는 짧은 시간 간격에 대한 순간속도의 정확도라는 것을 고려하였을 때 상당히 높은 수치이며, 구간 전체에 대한 운행속도를 상대오차(Relative Error)로 계산하여 6.6%의 결과를 도출한 MassDOT의 연구와 (Massachusetts Department of Transportation, 2019), 차선별 평균 순간 속도를 정확도(Accuracy)로 계산하여 97.3%, 96.6%, 96.6%라는 결과를 도출한 Ruimin et al.의 연구와 비교 하였을 때 충분히 높은 수치의 연구 결 과라는 것을 확인할 수 있다.
2. 교통량 추출
방향별 지점 교통량을 추출하기 위하여 상․하행 도로의 각 분리도로 직전 구간에 설치한 교통량 검지기 를 통해 교통량 데이터를 추출하였다. 교통량 검지기를 통해 추출된 데이터의 검증을 위하여 인력을 활용한 계수방식을 통해 실측값을 획득하여 Precision과 Recall을 사용한 성능평가를 수행하였다. 검증을 위한 테스트 영상은 연구의 공간적 범위를 포함하는 5분 길이의 드론 항공영상 6개를 사용하였다.
Precision과 Recall을 사용한 성능평가를 위해 각 드론 항공영상에 설치한 교통량 검지기별 Confusion matrix를 작성하였다. 차량 객체의 통과를 검지하여 계수한 경우를 True Positive, 차량이 통과하지 않았는데 계수한 경우 False Positive, 차량이 통과하였으나 계수하지 않은 경우를 False Negative로 선정하고, 이에 따른 Precision과 Recall을 산정하였다.
Precision과 Recall의 산정 결과 각각 전체 평균 98.07%와 97.86%의 높은 수치를 기록하였다. 사용된 테스 트 영상과 방향에 따른 수치의 변동성은 크지 않았고, 다양한 테스트 영상에 대해 일정한 검지 성능을 보여 줬다. 위와 같은 수치는 한국건설기술연구원의 주체로 일반국도 교통량 수시 및 상시조사에 사용되는 장비 의 정확도인 95% 이상을 충족하는 수치로, 기존 교통량 조사 장비의 대체 가능성을 보여준다(Ministry of Land, Infrastructure and Transport, 2021). 또한 AVC, VDS와 같은 장비가 아닌 인력식 조사방식과 비교하면, 더욱 높은 정확도와 효율성을 보일 것으로 예상된다.
3. 결과 분석
본 연구를 통해 도출된 결과에 따라 추출된 속도 및 교통량의 정확도는 기존 방법론에 비해 높은 수치를 기록하였다. 그러나 해당 수치는 일정 오차값을 가지는데, 이러한 오차는 크게 두 가지의 원인에서 비롯된 다. 첫 번째는 YOLO를 통해 검지된 차량 객체의 Confidence와 bounding box의 위치 및 크기 값 오차이다. YOLO를 통해 검지되는 차량 객체는 매 프레임마다 bounding box의 위치 및 크기를 갱신하는데, 이때 검지 되는 bounding box의 크기는 학습데이터의 라벨링 품질에 따라 매 프레임 미세하게 변하게 된다. bounding box의 중심점을 기반으로 교통데이터를 추출하는 알고리즘의 특성상, 이는 중심점의 변화에 따라 오차를 가 지게 된다. 또한 YOLO 모델이 객체를 검지할 때 Confidence 값이 Threshold를 넘지 못할 경우 검지를 하지 않는데, Threshold 근처의 Confidence 값을 가지는 객체의 경우 프레임에 따라 미검지가 될 수 있다. 이에 따 라 교통량 검지기의 성능 및 속도 추출 단위에 영향을 줘 오차를 야기할 수 있다. 이를 위한 해결방법은 양 질의 학습데이터와 다양한 종류의 학습데이터를 다량으로 수집하고, 라벨링의 품질을 높여야 한다. 다양한 환경과 객체에 대한 데이터를 수집함으로써 객체에 대한 Confidence를 높이고, 양질의 라벨링을 통해 bounding box의 범위가 일정하게 가지도록 하여야 한다.
두 번째 요인은 영상 정합 알고리즘의 개선이다. 영상 정합의 결과에 따라 교통량 검지기와 기준점의 위 치 값이 결정되는데, 이때 영상 정합의 결과가 불안정할 때 검지기와 기준점의 위치 값 또한 흔들리게 된다. 이를 통해 교통량 검지의 경우 하나의 객체가 두 번 계수되거나 계수가 되지 않는 상황이 발생하게 되고, 속 도를 추출하기 위한 거리비가 오차를 가지게 되어 속도 값에 오차 값을 야기시킨다. 이를 해결하기 위해서는 테스트 영상에 따라 적절한 특징점 매칭 알고리즘의 선정이 필요하고, 이에 따른 적정 파라미터 값 선정이 필요하다. 또한 많은 특징점을 가질 수 있는 적절한 기준 이미지의 선정 또한 중요한 요소로 작용할 것이다.
본 연구의 결과는 드론을 활용한 교통정보 수집 방법론이 기존 방법론과 비교하여 높은 정확도의 도출이 가능하다는 것을 보여준다. 또한 정확도뿐만 아니라 기존에 방법론이 가지고 있는 공간적, 시간적 한계를 극 복하고 미시적인 교통데이터를 수집하고 활용할 수 있다는 점과, 보다 짧은 시간동안 저비용에 높은 정확도 의 데이터를 수집할 수 있다는 점에서 드론을 활용한 교통정보 수집이 현장에서 활용될 수 있다는 가능성을 보여준다. 본 연구의 결과는 방향별 교통량과, 개별차량의 10fps 단위의 순간 속도에 대해서만 도출을 하였 으나, 본 연구를 활용할 시 차선별 교통량, 평균 속도, 도로 및 차선별 밀도, 도로의 서비스 수준 산정 등 다 양한 교통변수를 정확하게 추출 가능하다. 그 뿐만 아니라 개별 차량에 대한 미시적인 주행행태를 확보 가능 하기에 특정 구간에 대한 정량적인 위험도 산출이 가능할 것이고, 그동안 교통 시뮬레이션을 통해 수집된 데 이터를 활용하였던, 차량의 주행행태에 관한 연구에 실제 데이터를 활용하는 것이 가능하다. 비록 아직 드론 의 최대 비행시간, 영상의 촬영범위, 날씨, 실시간 데이터 처리 등 기술적 문제들이 존재한다. 또한 기존 교 통정보 수집방법론과 비교하였을 때 수집 소요시간에 대한 정량적인 비교작업이 수행되지 않았고, 수집 간 격과 상황에 따라 유동적으로 변할 수 있어 수집 소요시간에 대한 최적화가 필요하다. 그러나 현시점엔 특정 구역에 대한 차량의 주행행태 분석 및 자율주행차량의 주행전략 도출 연구에 활용될 수 있을 것이고, 기술적 문제의 해결 이후 도시 전체의 교통 모니터링 및 관리를 위한 방법론으로 활용될 수 있을 것이다.
Ⅴ. 결 론
본 연구는 개별 차량의 미시적 주행행태를 수집할 수 없는 기존 교통정보 수집 방식을 보완하고 자는 목 적으로 수행되었다. 미시적 교통정보 수집의 공간적, 시간적 한계를 극복할 수 있는 방법으로 항공에서 내려 다보는 관점에서의 데이터 수집이 제시되는데, 기존 항공에서 내려다보는 관점에서 교통정보를 수집하는 연 구는 차량 객체의 검지와 추적에 대한 정확도 문제와, 드론 기체의 자세 변화로 인한 GSD 변화로 인하여 높 은 정확도의 데이터를 추출하기 힘들었다. 본 연구는 이러한 기존 연구가 가졌던 한계를 극복하고 높은 정확 도의 연구결과를 도출하기 위하여 YOLOv5와 DeepSORT를 활용하여 차량 객체의 검지와 추적을 수행하였 고, 드론 기체의 자세 변화 및 외부요인에도 흔들리지 않고 높은 정확도를 유지하기 위하여 영상정합을 활용 하였다. YOLOv5 모델을 학습시키기 위하여 직접 수집한 드론 항공영상으로부터 YOLO Mark를 활용하여 학 습데이터를 수집하였고, 이를 통해 모델 학습을 수행한 결과 mAP@0.5 일 때 AUC-PR 값은 모든 클래스에 대해 0.905의 수치와, Confidence 0.447에서 모든 클래스에 대해 0.9의 F1 Score를 도출하였다. 또한 특징점 매 칭 기반 영상정합 기술과 삼변측량을 활용하여 영상 내 기준점의 위치를 추적하는 알고리즘을 개발하여 개 별 차량의 미시적 주행 데이터를 추출하고, 이를 기반으로 속도 데이터와 교통량 데이터를 추출하였다. 추출 된 속도 데이터는 평균 MAE 3.49 km/h, RMSE 4.43 km/h, MAPE 5.18%의 오차 값을 도출하였고, 교통량 데 이터는 평균 Precision 98.07%와 Recall 97.86%의 수치를 도출하였다. 이는 기존 방법론과 연구 결과에 비교하 였을 때 상당히 높은 정확도를 가지는 수치이며, 실제 현장에서 사용되는 기존 방법론의 한계 및 단점을 대 체할 수 있는 연구 결과라 볼 수 있다. 본 연구 결과를 활용할 시 속도와 교통량뿐만 아니라, 연구범위에 적 용 가능한 다양한 교통변수를 추출할 수 있다. 또한 추출된 미시적 차량 주행행태를 기반으로 특정 구간에 대한 정량적인 위험도 산출, 차량 주행행태 분석, 자율주행차량 주행전략 도출 연구 등으로 사용 가능할 것 이다.
