Ⅰ. 서 론

4차 산업혁명은 정보통신 기술의 융합으로 이루어낸 기술 혁신을 말한다. 도시를 효율적으로 관리하기 위 한 스마트시티의 구축은 4차 산업혁명을 대표하는 사업인데 이것의 기반에는 다양한 정보를 수집하고 분석 하는 기술이 필수적이다. 그중에서도 도로의 교통정보를 분석하기 위해 루프 검지기, 초음파 검지기, 영상식 검지기 등의 다양한 기술들이 활용되고 있다.

루프 검지기의 경우에는 높은 신뢰성을 보여 주지만 설치시 교통흐름을 방해하고 도로 파손으로 인한 유 지 보수비용이 과다한 단점이 있다. 초음파 검지기의 경우 설치 과정이 도로 공사와 무관하여 교통흐름에 직 접적인 방해가 없다는 장점이 있지만, 구매 및 설치비가 상대적으로 높다는 단점이 있다 (Ko et al., 2015). 영 상식 검지기는 설치 이후 유지보수 비용이 발생하지 않는 장점이 있는 반면에 루프나 초음파 검지기 대비 상대적으로 낮은 검출 성능을 보이며 악천후, 카메라의 움직임, 조명의 변화 등 환경 변화에 상대적으로 취 약한 단점이 있다 (Jang et al., 2005).

앞선 검지기들은 모두 도로상의 한 지점의 교통류 특성을 검지하는 지점 교통정보 분석 장치이며 지점을 지나는 차량의 교통량, 점유시간, 속도 등의 정보를 산출할 수 있다. 하지만 신호제어를 위해 반드시 필요한 신호 대기 구간에서의 교통 밀도, 대기행렬의 길이 등의 정보를 제공할 수 없다. 또한, 기존 영상식 검지기의 경우에는 가상의 루프를 화면에 정의하여 차량의 교통정보를 산출하는데 카메라의 각도에 따라 한 차선의 차량이 옆 차선의 가상 루프에 영향을 주는 경우가 있다.

이러한 문제를 해결하기 위해 본 논문에서는 CCTV 영상에서 합성곱 신경망 기술을 이용하여 차량을 검 출하고, 각각의 차량에 대해 Vision Tracking 기술을 활용하여 이동 정보를 파악하고 해당 정보를 바탕으로 교통정보를 분석, 산출하는 시스템을 제안한다. 특히 이동 차량에 대한 정확한 정보분석을 위해 인접한 프레 임 사이의 광류 흐름 정보를 이용한 추적 알고리즘을 제시한다. 기존 영상식 검지기의 경우 가상 영역 내부 의 움직임 변화를 감지하는 방식으로, 조도의 변화나 카메라의 미세한 떨림이 차량의 움직임으로 산출되는 경우가 있다. 이러한 한계를 극복하기 위하여 본 논문에서는 딥러닝 알고리즘을 활용하여 실제 차량의 형태 를 인지함으로써 차량이 아닌 카메라의 움직임이나 야생동물 등을 차량의 통행으로 인지하는 오검지 발생을 방지한다. 또한, 본 시스템은 신경망 기술과 추적 기술의 융합을 통해 화면 내부의 차량 객체 각각에 대한 이동 정보를 파악함으로써 가상 루프 방식의 문제를 해결할 뿐만 아니라 기존의 방식으로는 산출할 수 없었 던 신호 대기 구간의 교통 밀도, 대기행렬 등의 추가적인 정보를 산출할 수 있다.

Ⅱ. 관련 연구

1. 이동 차량 검출 기술

기존의 고정된 카메라에서 차량을 찾아내는 기술로 가장 널리 이용되는 기술은 배경 제거 기술이다 (KaewTraKulPong and Bowden, 2001;Zivkovic, 2004;Godbehere et al., 2012).해당 기술은 자동차가 없는 도로 영상을 기반으로 도로 위의 움직이는 객체를 검출한다. 하지만 해당 기술은 검출된 객체를 인지하는 과정이 없다. 따라서 자동차가 아닌 다른 물체가 도로상에 움직이더라도 구분할 수 없다. 또한, 카메라의 흔들림이 나 순간적인 밝기 변화 등의 배경 모델과 다른 환경에 매우 민감하다.

이러한 문제를 해결하기 위해 객체의 생김새 정보를 이용한 차량 탐색 방법이 연구되었다. 차량을 검출하 는 가장 대표적인 방법으로는 HoG 특징 기반의 검출 방법이 있다(Dalal et al., 2005;Han and Feng, 2006). 해 당 방법의 경우에는 각각의 차량을 인지하고 검출한다는 장점이 있지만 한정된 각도에서 촬영된 차량만을 검출할 수 있다는 한계가 있다. 반면, 최근 활발하게 연구되고 있는 합성곱 신경망 기반의 객체 탐색 기술은 차량을 인지할 수 있을 뿐만 아니라 다양한 각도에서 바라보는 차량을 모두 검출 가능하며 높은 검출 성공 률을 보인다(Redmon and Joseph 2016;Liu and Wei, 2016).

2. 차량 추적 기술

추적은 연속된 영상에서 공통적으로 관측되는 객체를 연속적으로 파악하여 해당 객체의 정체성을 유지하 는 것이다. 객체의 추적에 이용되는 대표적인 기술로는 특징 기반의 추적이 있다 (Saunier et al., 2006). 특징 기반의 추적은 객체의 생김새 정보인 색이나 특징점 등을 이용하여 객체를 추적하는 기술이다. 하지만 도로 영상의 경우 도로면의 색상과 비슷한 어두운 계열의 차량에 대한 색상 기반의 추적이 잘 이루어지지 않으며 작은 차량에서 특징점을 충분히 검출할 수 없다는 문제가 있다.

반면 광류 흐름 기반의 추적의 경우에는 영상 전체의 픽셀을 대상으로 광류의 흐름을 계산하는 추적 방법 이다 (Shin, 2005). 하지만 추적을 위해서는 객체 각각의 영역을 파악해야 하므로 배경 제거 기반의 차량 검 출 방법과 함께 이용되는 경우 차량들의 간격이 좁은 교차로에서의 적용이 어렵다. 또한, 이동 차량의 속도 가 빠른 경우 인접한 프레임 사이의 차량 이동이 크게 발생하므로 이동 차량의 추적에 적용하기 어렵다는 단점이 있다.

움직임 기반의 예측을 이용한 추적은 누적된 이동 정보를 바탕으로 현재의 위치를 추적하는 방법이다. 하 지만 갑작스러운 객체의 움직임에 대응하지 못한다는 단점이 있어 상대적으로 신뢰도가 낮은 추적 방법이다 (Coifman and Benjamin, 1998). 이러한 한계를 극복하기 위하여 실시간으로 검출과 추적에 대한 정보를 갱신 하며 추적을 진행하는 Tracking-Learning-Detection 기술이 개발되었으나, 해당 기술의 경우 화면 내의 추적 객 체가 증가함에 따라 연산량이 늘어나는 단점이 있어 다수의 차량에 대한 실시간 추적이 필요한 교통정보 산 출에 적용하기에 한계가 있다(Kalal et al., 2011).

Ⅲ. 본 론

1. 시스템 개요

본 논문에서는 차량 검출 기술과 차량 추적 기술을 결합하여 CCTV 영상을 바탕으로 교통정보를 산출하 는 시스템을 제안한다. 해당 시스템의 전체적인 흐름은 <Fig. 1>에 나타난 것과 같으며 차량의 검출, 추적, 교통정보 분석, 세 단계로 이루어진다. 가장 먼저 영상이 입력되면 신경망 입력을 위해 크기를 조절하고 신 경망을 통해 차량의 검출이 이루어진다. 검출된 각각의 차량은 ID를 부여받고 초기 신뢰도가 설정된다. 이 때, 초기 신뢰도의 경우 검출 빈도에 따라 조절할 수 있으며 더 큰 초기 신뢰도를 설정하는 경우 검출 빈도 가 적어도 추적을 지속한다. 다음 단계에서는 주행하는 차량에 대한 정확한 추적을 위해 광류 흐름을 이용한 차량의 이동 예측값과 신규 차량 검출 정보를 비교하고 신뢰도를 재조정하여 차량의 추적이 이루어진다. 마 지막으로 누적된 차량의 이동 정보를 바탕으로 교통정보를 산출한다.

<Fig. 1>

System Flow Chart

2. 도로 CCTV 영상 기반 이동 차량 검출

차량의 검출을 위해서 Redmon의 YOLO v3를 적용하였다 (Redmon et al., 2018). 해당 신경망은 합성곱 신 경망을 이용하여 특징을 추출하고, 3단계에 거친 업스케일링 단계를 통하여 다양한 크기의 물체를 검출할 수 있어 다양한 도로 환경에서 나타나는 여러 가지 크기의 차량을 검출하기에 용이하다. 또한, 신경망에 학 습되는 클래스를 3가지로 설정하여 버스, 트럭, 승용차로 구분하여 학습을 진행하였다. 클래스의 수 변경에 따라 필터의 값은 24로 설정하였으며 입력되는 영상의 크기는 416x416의 크기로 변환 후 신경망에 입력된 다. 차량의 검출 성공을 판단하는 임계값을 낮게 설정하여 최대한 많은 수의 차량을 검출하도록 전략을 설정 하였다. 차량의 검출 임계값을 낮게 설정함에 따라 해당 과정에서 차량이 아닌 배경에 대해 잘못된 검출 결 과가 발생할 수 있는 가능성이 있다. 하지만 해당 영역에 대한 지속적인 검출이 이루어지지 않는 경우 다음 단계인 차량 추적 단계를 통해 사라지게 되므로 교통정보의 정확도에 큰 영향을 미치지 않으면서 최대한 많 은 차량을 검출 및 추적할 수 있다.

3. 검출 차량에 대한 Vision Tracking 기술

차량 추적에 대한 전체적인 흐름은 <Fig. 2>에 나타난 것과 같다. 먼저 차량의 추적을 위해서 영상 전체에 대한 광류 흐름을 Farneback의 방법을 이용하여 계산한다 (Farneback, 2000). 계산된 광류 흐름을 기반으로 기 존에 존재하는 차량들에 대한 추적이 먼저 이루어진 후에 신규 차량을 추가한다. 이때, 예측값과 신규 차량 검출 하여 각각의 차량에 대한 신뢰도를 재조절한다.

<Fig. 2>

Vehicle Tracking Algorithm Flow Chart

전 프레임에서의 차량 위치를 L_p , 이전 프레임 차량 영역 내부의 광류 흐름 평균을 O_avg 라고 할 때, 현재 프레임에서 차량의 위치 예측값 L_c은 L_p 와 O_avg 합을 이용하여 계산된다. 그리고 객체의 검출 단계를 통해 새롭게 검출된 차량 i번째 위치 정보를 L d i, 이전 프레임까지의 신뢰도를 Conf, 신뢰도 가중치를 w 라고 할 때, 신뢰도의 재조절은 <Fig. 3>의 순서를 따라 이루어진다. 카메라의 설치 각도에 따라 검출되는 객체의 영역이 겹쳐지는 경우가 발생할 수 있다. 이러한 상황에서도 강건한 추적을 유지하기 위해 예측값과 신규 검 출 객체의 크기 차이가 설정된 임계치를 초과하는 경우는 추적을 수행하지 않는다.

<Fig. 3>

Track Confidence Revaluate Algorithm

4. 교통정보 분석

본 논문에서 제안하는 시스템이 분석 가능한 교통정보는 지점 교통정보, 구간 교통정보, 교차로 교통정보 로 세 가지이다. 지점 교통정보로는 한 검지 영역을 지나는 차량의 교통량, 속도, 점유시간을 측정한다. 구간 교통정보로는 검지 영역을 통과하는 차량들의 평균 속도인 통행속도, 검지 된 차량의 수를 나타내는 교통 밀 도, 구간을 통과하는데 걸리는 시간을 측정한 통행시간, 영역 내부의 차량이 정지하여 대기하고 있는 차로의 길이 정보를 분석한다. 마지막으로 교차로에서는 검지 영역 내부의 직진, 우회전, 좌회전, 유턴 차량의 통행 량을 측정한다. 각각의 교통정보를 분석하기 위한 검지 영역은 <Fig. 4>와 같다.

<Fig. 4>

Example of Analysis Area Setting

Ⅳ. 실험 결과

본 논문에서 제안하는 신경망 기술을 활용하여 CCTV 영상 내부에서 차량을 검출하고, 각각의 차량에 대 한 추적을 통해 이동 정보를 파악하고 해당 정보를 바탕으로 교통정보를 분석, 산출하는 시스템에 대한 검증 을 수행한다. 실제 도로 영상을 제안하는 시스템을 이용해 분석하고 실제 측정결과와 비교한다. 실험은 Intel I7 Processor, 16GB Memory, GTX 1080Ti, Windows 10의 환경에서 수행되었다. 또한, 실험 장소가 아닌 40개 이상의 실제 도로 영상을 이용하여 신경망의 학습 데이터를 구성하였으며, 차량, 트럭, 버스 세 가지의 클래 스로 객체를 구분하여 라벨링을 수행하였다.

1. 작동 시간 측정

<Table 1>은 차량 검출, 차량 추적, 교통정보 산출 세 가지 모듈에 대한 각각의 작동 시간을 측정한 결과 이다. 본 논문에서 제안하는 시스템이 한 프레임의 정보를 처리하는데 걸리는 시간은 평균 36ms로 초당 27 프레임 이상의 영상을 처리할 수 있음을 확인하였다.

2. 지점 교통정보

지점 교통정보의 정확도 평가를 위해 레이더 센서를 통해 측정된 값을 기준값으로 하여 측정값과 비교를 통해 평균 절대오차 백분율을 산출했다. 상행, 하행 각 2차선에 대하여 데이터 검증을 수행하였으며, 동영상 의 길이는 시간대에 따라 각 30분, 통행 차량은 200대 이상의 데이터를 이용하였다. 측정값과 기준값을 1분 단위로 나누어 비교 분석하고 오차율의 평균을 합하여 전체 평가값으로 산정했다. 기준값을 Y_i, 측정값을 X_i, 분석 단위시간의 개수를 n이라고 할 때, 정확도를 산출하는 식은 아래와 같다.

지점 교통정보 정확도에 대한 평가는 동일 도로에 대하여 일출, 주간, 일몰, 야간 시간 각 30분에 걸친 영 상을 바탕으로 진행되었으며 그 결과는 아래의 <Table 2>과 같다.

3. 구간 교통정보

구간 교통정보의 정확도 평가는 속도와 차량 밀도, 대기행렬의 길이에 대해 이루어졌다. 평균 속도는 3분 단위, 차량의 밀도는 15초 단위, 대기행렬의 길이는 차량 정체시를 기준으로 측정되었으며 기준값 육안을 통 해 생성하였다. 경기도 수원시 법원사거리에 일반 영상 관제를 위하여 설치된 높이 20m 카메라를 이용하였 다. 직진 2차선, 좌회전 2차선, 총 4차선의 도로에 대하여 주간과 야간 각 30분 길이의 영상을 이용하여 평가 를 수행하였으며 그 결과는 아래의 <Table 3>와 같다.

4. 교차로 교통정보

교차로 교통정보 평가는 교차로에서의 좌회전, 직진, 우회전, 유턴 교통량 측정값의 정확도에 대해 이루어 졌다. 기준값은 영상을 바탕으로 차량의 통행 방향 각각에 대해 3분 주기의 차량 통과 대수를 측정하여 산출 하였다. 정확도의 산출은 구간 교통정보와 마찬가지로 측정값과 기준값의 평균 절대오차 백분율로 산출하였 다. 경기도 수원시 인계사거리에 설치된 두 개의 CCTV 영상을 바탕으로 평가를 진행하였다. 직진 2차선, 우 회전 1차선, 좌회전 2차선, 유턴에 대한 정확도를 주간과 야간 각 30분 길이의 영상을 이용하여 측정하였으 며 그 결과는 <Table 4>에 나타난 것과 같다.

Ⅴ. 결 론

본 논문에서는 도로 위에 지능형 CCTV 등 카메라 인프라를 기본으로 구축되는 스마트시티를 가정하여 도로의 CCTV 카메라를 이용하여 도로 CCTV의 Vision Tracking을 이용한 주행 차량의 교통DB산출하는 솔루 션을 제시하였다. 특히 종래에 활용되고 있던 루프 검지기, 초음파 검지기, 영상식 검지기 등 기존 시스템에 서 수집할 수 없는 교통 밀도, 대기행렬의 길이 등 다양한 교통 DB 정보를 수집에 대한 방안을 제시하였다. 영상을 분석하기 위해 기존의 배경제거 방식이 아닌 신경망 기술을 이용하여 차량을 검출하였으며, 이에 알 맞은 추적 알고리즘을, 주행하는 차량에 대한 보다 정확한 정보를 얻기 위해 광류 흐름 기술을 적용하여 개 발하였다. 앞선 검출과 추적을 통해 검출된 차량의 이동 정보를 바탕으로 도로 지점의 속도, 교통량, 점유시 간과 구간에서의 대기행렬의 길이, 밀도, 평균 통행속도, 교차로에서의 직진, 좌회전, 우회전, 유턴 교통량 등 의 다양한 교통정보를 산출할 수 있었다. 각 교통정보 산출에 대한 검증 결과, 지점 교통정보의 경우 통행량 과 속도 각, 평균 95% 이상의 정확도를, 교차로 통행량의 경우 평균 90% 이상의 정확도를, 밀도와 대기행렬 의 경우 85% 이상의 정확도를 확인할 수 있었다. 하지만 추적 알고리즘의 경우 광류 흐름만을 이용하기 때 문에 보이지 않는 차량의 추적에 어려움이 있었으며. 고속으로 이동하는 차량의 경우 프레임 사이의 실제 이 동 거리만큼 광류 추적을 성공적으로 수행하기에 어려움이 있었다. 상기 문제를 해결하기 위해 향후 객체의 특징점 정보, 색상 정보, 분류된 속성 정보, 누적된 이동 정보 등을 종합적으로 사용하여 보다 강건한 객체의 추적 성능을 확보할 수 있는 방법에 대한 후속 연구를 진행할 필요가 있다.