Ⅰ. 서 론
CCTV 카메라를 이용하여 교통정보수집 및 돌발상황 검지, 교통소통상황 감시 등 동시 다목적으로 활용하 기 위한 요구는 지속적 대두되고 있음에도 지금까지 연구 결과는 미미한 실정이다. 1994년 영상검지기가 국 내에 도입된 이래, 현장에서 교통소통상황을 감시하는 CCTV를 이용하여 필요에 따라 혹은 동시에 교통정보 를 수집하기 위한 노력이 부단히 수행되었다. 초창기 교통정보 수집에 적용한 영상처리 기술인 트립와이어 방식은 CCTV 카메라의 자세가 변경되었을 때 이전 위치로 정확히 복귀되지 않아 CCTV를 감시와 교통정보 수집에 병행 사용이 불가능하였다. 이후 최근에는 딥러닝 모델의 적용으로 영상처리 기술이 상당 수준 고도 화되어 객체추적 기술을 기반으로 한 교통정보 수집이 가능하게 되었지만 주간, 야간 및 전이 시간대에서 비 교적 정확한 교통정보를 수집할 수 있는 기능이 개발되었을 뿐이며, 검지영역과 여러 개의 모수를 현장 상황 에 맞춰 CCTV를 설정해야 하는 등 감시와 교통정보 수집을 동시에 수행하는 영상검지기의 개발은 괄목할만 한 결과가 없는 상태이다.
CCTV를 교통상황감시 및 교통정보수집 등의 다목적으로 활용하기 위해서는 운영자가 카메라를 제어하고 이전으로 다시 복귀시켰을 때 카메라의 복귀가 정밀하게 보장되어야만 한다. 그러나 카메라를 제어할 때는 일반적으로 프리셋1) 기능을 이용하기 때문에 Pan/Tilt/Zoom 동작에 오차가 발생하고, 이는 카메라가 원래 위 치로 복귀할 수 없는 치명적인 요인으로 작용한다. 또한, 이 같은 오차로 인해 카메라의 복귀 이후에도 영상 처리에 필요한 모수 조정이 추가 발생한다.
CCTV를 기반으로 교통정보수집 및 교통소통상황 감시, 돌발상황 자동검지, 번호판인식 등의 다목적 기능 을 수행하기 위해서는 카메라 Pan/Tilt/Zoom의 오차 없는 정밀제어가 필수적으로 요구되는 기능이다. 그러나 CCTV 카메라의 Pan/Tilt/Zoom의 제어는 운영자가 수동방식으로 수행하거나 검지영역을 재설정하는 등 정밀 제어가 불가능하고 오차가 발생하여 결과적으로 CCTV의 다기능화를 구현하기 어려운 실정이다. 그나마 영 상식 교통정보 수집시스템의 경우, 모수 설정 시 운영자 부담을 줄이기 위해서 설치된 카메라의 설치환경에 서 최적 검지를 위한 검지영역 자동설정 관련 연구가 수행된 바 있을 뿐이다(Lee, 1998;Minge et al., 2010;Lee et al., 2002;KICT, 2011).
한편 최근에는 Deep Learning과 관련한 다양한 연구개발로 인해 다양한 분야에 적용 및 응용할 수 있는 수많은 모델이 제시되는 추세이며, 이들 중 객체 인식 및 추적 관련 모델들이 교통 분야에 주로 적용되고 있 다. 이러한 Deep Learning 학습모델을 교통정보 수집체계에 적용함에 따라 기존의 검지영역 및 모수 설정 요 소가 대폭 감소하여 CCTV 운영자의 부담은 감소하였으나, 운영자가 CCTV를 이용하여 교통을 감시하는 도 중에 교통정보를 수집할 수 없다는 한계성은 여전히 남아있다.
따라서 본 논문은 이와 같은 문제점을 해결하기 위하여 한 개의 CCTV 카메라로 운영자가 감시기능과 교 통정보 수집을 동시에 수행할 수 있는 CCTV 카메라 자율자세보정 알고리즘의 개발을 목적으로 한다. 제안 하는 알고리즘은 운영자가 CCTV 카메라를 이용하여 특정 영역의 교통소통상황을 감시할 때 기설정된 카메 라의 위치에서 자율적으로 CCTV의 자세(P/T/Z)를 제어하여 교통정보를 수집할 수 있는 화각과 CCTV의 본 래 기능인 소통상황 감시를 동시에 수행할 수 있는 화각의 결정을 목표로 한다.
Ⅱ. 관련 연구
1. CCTV 기반 교통정보 수집체계
CCTV를 기반으로 교통정보를 수집하기 위한 초기 연구에서는 최적 검지영역 설정에 관련한 연구가 수행 되었고 이후 최적 검지영역 자동설정과 관련한 연구가 진행되었으며, 최근에는 딥러닝 학습모델을 이용한 도로검출 관련 연구가 진행되고 있다.
1) 최적 검지영역 설정
영상을 기반으로 하는 교통정보 수집체계에서 최적 검지영역을 설정하는 연구에서는 현장에 영상검지기 를 설치하고, 교통정보 수집을 위해 검지영역을 설정하는 경우 인접 차로 간의 교합(occlusion)을 최소화하기 위한 연구가 주로 수행되었다.
Lee(1998)는 영상검지기의 검지영역을 자동 설정하기 위해 도로를 통행하는 차량을 대, 중, 소로 구분하여 3차원으로 모델링하고, 카메라의 설치 높이와 도로 위치에 따른 Pan/Tilt의 각도에 따라 인접차로 및 차량간 교합이 최소가 되는 검지영역을 시뮬레이션을 통해 결정하는 방법을 제시하였다. 이 연구는 미국 교통부와 미네소타 교통국의 의뢰로 수행된 “교통량 검지를 위한 비접촉식 기술평가” 최종보고서(Minge et al., 2010)의 결과와 일치함을 확인할 수 있다. 그러나 이 연구에서 최적 검지영역을 결정하는 Pan/Tilt의 추정 각도는 실 제 각도와 오차가 발생할 뿐만 아니라 Zoom에 의한 화각 또한 시뮬레이션 결과와 일치하지 않는 한계가 있 다. 이외 Lee et al.(2002)은 CCTV 카메라의 Pan/Tilt/Zoom의 특성을 포함하는 이상적인 조건의 이미지를 반구 상에 저장하고, CCTV 카메라에서 캡처한 현재의 영상에서 검지영역 좌표보정 여부를 판단하고 보정하기 위 해 반구 상의 저장된 이미지를 복원하여 두 개의 이미지를 비교하여 검지영역 좌표값의 오차를 계산 및 보 정 하는 방법을 제안하였다. 다만, 이 연구는 Pan/Tilt 각도 변화에 대해서는 좌표값의 오차 보정이 가능하지 만 Zoom에 의한 오차에 대해서는 검지영역의 형태 변화를 보정 하여야 하는 제약이 따른다.
2) 검지영역 자동설정
최적 검지영역 설정과 관련한 연구에서는 실시간 동작 중에 검지영역을 자동보정하는 것이 어렵다는 문 제점이 부각되었다. 이러한 문제점을 극복하기 위해 KICT(2011)는 교통정보를 수집할 때 열영상 카메라 (Thermal Infrared Camera)를 이용하여 실시간으로 최적 검지영역을 자동설정 하는 알고리즘을 제안하였다.
이 연구에서는 검지영역을 기존의 폴리곤 영역으로 설정하는 방식과 다르게 검지선(Detection Line)만으로 도 충분히 검지할 수 있게 하였으며, 인접차로 간 차량에 의한 교합을 최소화할 수 있는 검지영역은 차량이 검지선을 통과하면 검지선을 구성하는 화소에 누적시키고 누적 곡선을 좌/우로 이동시켜 누적 곡선의 교점 과 누적값의 크기 비교를 통해 실시간 검지영역을 자동조정 하는 방법을 제시하였다. 이 알고리즘은 도로를 통행하는 실제 차량을 대상으로 교합현상을 최소화할 수 있는 검지영역을 결정한다는 측면과 실시간 적용할 수 있는 특징이 있다. 그렇지만 차로 간의 교합 빈도가 매우 큰 경우는 검지영역 자동설정에 실패할 수 있다 는 한계점을 지닌다.
2. 딥러닝 객체검지 모델
1) 딥러닝 기반 객체검지 모델
Bewley et al.(2016)과 Nicolai et al.(2017), Zhengxia et al.(2019)는 딥러닝을 기반으로 하는 객체검지 모델들 을 1단계 혹은 2단계 검출기로 구분하고 있다. 딥러닝을 이용한 객체검지 모델은 크게 객체의 검출과 분류, 그리고 Bounding Box Regression을 한 번에 하는 실행하는 1단계 검출기(One-stage Detector)와 객체에 대한 예 측 위치의 후보(proposals)들을 선택한 후 객체를 분류(Classification)하고, 정확한 바운딩 박스를 구하기 위해 Bounding Box Regression을 수행하여 검출하는 2단계 혹은 다단계 검출기(Two-stage, Multi-stage Detector)로 구분한다<Fig. 1 참조>.
1단계 검출기는 이미지에서 동일한 크기의 그리드로 나누어 예측된 객체의 바운드 박스들의 신뢰도를 산 출하여 바운딩 박스에서 객체를 검지하며, 객체의 검출과 분류, Bounding box regression을 한 번에 수행하기 때문에 빠르게 처리할 수 있는 반면 정확도는 다소 떨어진다. 대표적인 모델로는 YOLO, SSD, Retina-Net, Focal Loss, DefinDet 등이 있다.
2단계 및 다단계 검출기는 2단계로 나누어 객체를 식별하는 방법으로써, 첫 번째 단계는 영역 제안 네트 워크(Region Proposal Networks, RPN)를 이용하여 개체를 포함할 가능성이 있는 위치의 수를 크게 줄여 후보 (Proposals)를 결정하며, 두 번째 단계는 후보들로부터 객체를 분류하고 Bounding Box Regression을 수행한다. 객체를 검지하는데 2단계의 과정을 수행하므로 시간이 많이 소요되지만 정확도가 높다. 대표적인 모델로는 RCNN, VGGNet, Fast RCNN, Faster RCNN, Resnet, FCFN, DenseNet, Mask RCNN 등이 있다.
2) 딥러닝 기반 교통측정 및 도로검출
최근 다양한 딥러닝 학습모델의 연구개발로 인해 이를 교통정보 수집에 적용하는 것은 일반적인 추세가 되었으며, 이와 관련하여 서로 다른 환경 및 접근방법에 따라 수많은 연구가 진행되었다. 특히 본 연구와 관 련하여 도로 추출이 포함된 대표적인 연구는 Song et al.(2019)이 수행한 바 있으며, 차량인식을 위해 YOLO v3을 적용하였다. 이 연구에서는 인식된 차량을 추적하기 위해 바운딩 박스 내의 객체 특징을 ORB(Object Request Broker, 객체요청 브로커로 추출하고 매칭 하는 방식을 적용하였는데 객체의 회전과 방향 전환에는 취약한 반면, 교합에 의한 객체추적 과정에서 객체를 망각하는 현상을 최소화하였다. 또한 차량을 인식하고 추적을 위해 탐색영역을 최소화하고 실시간성을 확보하기 위해 도로를 검출하는 방법을 적용하였다. 도로의 검출은 가우시안 혼합모델을 이용하여 배경형상을 추출하고, 추출된 배경영상에 MeanShift와 Flood Filling 방 법을 이용하여 배경색을 단순화시켜 추출하는 방식을 적용하였다. 이 연구는 도로를 추출하기 위하여 최초 에 결정한 도로 추출 영역이 변화하지 않는다는 전제하에 높은 적용성이 있다. 그러나 카메라의 Pan/Tilt/ Zoom 제어를 사용하는 환경에서는 도로검출을 다시 해야 하는 문제점이 발생한다.
한편, Park et al.(2020)은 CCTV 영상추적 기술을 이용한 교통정보 DB 구축을 위한 솔루션을 제안한 바 있 는데, 이 연구는 20m 높이에 설치된 CCTV 영상에서 차량을 탐색하고 추적하기 위하여 YOLO v3와 광류기 법(optical flow technique)을 적용하였으며, 교차로를 대상으로 교통량, 속도와 점유율에 대기길이 및 밀도 등 의 구간 교통정보를 포함하여 계측할 수 있음을 제시하였다. 그러나 이 연구에서는 운영자에 의해 언제든지 CCTV 카메라의 자세가 변경될 수 있다는 요인을 고려하지 않아 오직 CCTV의 프리셋 내지는 운영자에 의 해 설정한 상태에서만 교통정보를 수집할 수 있다는 것이 한계이다.
Ⅲ. 제안 모형
운영자 측면에서 CCTV 카메라를 이용할 때, 교통상황 감시가 용이한 카메라 화각과 교통정보 수집이 가 능한 카메라 화각에는 많은 차이가 있다. 물론 CCTV 카메라의 설치 높이에 따라 다르겠지만 운영자가 CCTV를 통해 설정하는 화각은 일반적으로 소실점이 화각 내에 존재하도록 설정해야 하며, 교통정보 수집을 위해서는 화각을 소실선과 평행이 되도록 설정하여야 한다. 그러나 본 연구에서는 특정 객체의 존재유무 판 단을 통해 도로를 추출하고, 유한차량궤적 분석 기법을 적용하여 감시 및 정보수집이 모두 가능한 화각을 위 한 CCTV 자세제어 방안을 제시한다.
CCTV는 도로의 교통상황 감시를 목적으로 운영하기 때문에 도로와 주차장을 구분하여야 하며, 도로에는 차량이 존재함과 동시에 교통류가 존재하는 반면 주차장은 차량이 존재하지만 교통류의 흐름이 없다는 것이 특징이다. 이 같은 특징을 통해 차량을 정확히 인식하고 추적할 수 있는 화각을 결정하되 소실점은 최대한 화각의 중앙점과 상단에 위치할 수 있도록 결정하고, CCTV 카메라를 이용하여 운영자의 교통감시가 용이한 화각과 동시에 교통정보 수집이 가능한 화각을 위한 CCTV 자세제어를 <Fig. 2>와 같은 절차로 구현하였다. <Fig. 2>는 카메라의 입력화면을 통해 딥러닝 모델(YOLO v4)이 객체 인식을 수행하고, 인식된 차량의 궤적 및 유효궤적영역을 이용하여 CCTV 카메라의 제어 시점과 위치를 자동제어 하는 과정을 도식화하여 설명한 것이다.
1. 차량 궤적지도(Vehicle Trajectory Map) 생성
차량 궤적지도(Vehicle Trajectory Map, VTM)는 YOLO 객체검지 알고리즘을 이용하여 검지한 차량 영역을 기준으로 차량의 이동 궤적을 누적시켜 만든 지도이다. 차량 객체검지 알고리즘을 이용하여 VTM 생성할 때 불안정한 VTM이 생성되는 원인과 그 해결 방법은 다음과 같다.
-
◦ 정지된 차량이 VTM에 연속적으로 적용되어 불안정한 VTM을 생성 : 일정 속도 이상으로 움직이는 차량만을 VTM에 적용하며, 저속의 경우 연속된 차량이 존재할 때 만 VTM에 적 용한다. 차량의 속도는 추적하는 객체의 ID를 기준으로 이전 프레임과 현재 프레임의 픽셀 차이를 이 용하여 속도를 추정한다.
-
◦ 검지된 차량의 크기가 원근에 의해 불균일하여 VTM 생성 과정에서 불안정한 궤적지도가 생성 : 원근에 무관하게 검지된 차량의 중심을 기준으로 일정한 반경의 원으로 궤적지도에 누적시켜 VTM을 생성한다.
-
◦ 교차로 등에서 접근로별 궤적 지도가 형성되어 발생하는 불안정한 궤적지도 생성 : VTM이 차량 이동 방향 정보로부터 선택적으로 VTM을 생성한다. 동일 ID로 최초 생성되어 저장된 객 체의 위치에서 현재 프레임의 위치를 이루는 각도로부터 이동 방향을 추정하여 계산한다. 차량의 이동 각도는 <Fig. 3>과 같이 해당 객체의 이동 각도가 225~315 혹은 45~135 사이에 존재하면 세로 방 향의 차량 궤적을 선택적으로 생성한다.
2. 유효 궤적영역(Effective Trajectory Region)과 무게 중심점 계산
유효 궤적영역(Effective Trajectory Region, ETR)은 VTM에서 누적 궤적 값이 일정 임계값 이상인 픽셀만으 로 이루어진 영역을 의미하며, Pan/Tilt 제어시점 결정에 사용한다. 또한 카메라 자세 이동의 중요한 인자 값 인 궤적지도의 무게 중심점은 원거리에서 간헐적인 차량 검지로 인해 발생할 수 있는 불안정한 무게 중심점 계산을 방지하기 위하여 각 픽셀에 대한 VTM의 누적 궤적값에 가중된 무게 중심점을 계산하여 이용한다. 식(1)은 2차원 영상에서 VTM 값의 누적합을 구하는 수식이고, 식(2)는 전체 누적 VTM 값에 대한 2차원 영 상의 픽셀 위치별 가중 중심점을 계산하는 수식이다. <Fig. 4>의 (a)는 VTM을 나타낸 것이고, (b)는 원본 영 상에 VTM과 식(1) 및 식(2)를 이용하여 구한 ETR의 중심을 표시한 모습이다.
3. 유효 궤적 영역(Effective Trajectory Region)과 무게 중심점 계산
Pan/Tilt 제어시점은 현장 도로의 차량 흐름에 해당하는 교통량에 따라 가변적으로 설정되며, 두 가지 방법 으로 결정한다. 첫 번째 제어시점 결정은 전체 카메라 화각 면적에 대한 ETR 영역의 점유 비율이 일정 임계 값 이상일 경우에 결정하며, 두 번째 제어시점 결정은 첫 번째 조건을 만족하지 못하는 시간 간격이 일정 이 상 지속되는 경우는 미리 정해진 프리셋 위치로 Pan/Tilt 위치를 복귀하도록 한다. 두 번째 제어시점 결정은 카메라가 차량을 검지하지 못하는 화각을 가지는 위치일 경우에 첫 번째 제어시점 결정 방식으로는 제어시 점을 결정하지 못하는 경우를 대비한 보완책이다. 제어 동작 이후에는 VTM은 모두 초기화된다. Pan/Tilt 이 동 제어값은 카메라 화각의 중심점과 ETR 가중 무게 중심점과의 가로/세로 픽셀 차이를 기준으로 <Table 1> 과 같이 Zoom 스텝에 대하여 정해진 Pan/Tilt-픽셀 매핑 테이블로부터 산출한다. <Table 1>의 Pan-Pixel 매핑 값 및 Tilt-Pixel 매핑값은 Pan/Tilt 각각에 대해서 이동제어 단위당 실질적인 중심 화각의 수평 및 수직 변위 (displacement)를 픽셀 단위로 표현한 것이며, Zoom 배율에 따라 실험치를 이용하여 구성하였다.
4. 현장 사이트 시험 결과
제안한 카메라 자동 자세제어 알고리즘을 실험하기 위해 본 연구에서는 제어시점 임계값을 10으로 설정 하고, 제어시점 간격값은 200초로 설정하여 <Fig. 5>와 같이 2021년 1월 하남시 고골사거리 시험 사이트에서 통행 차량 정보를 수집하여 적용성 시험을 하였다. 앞 절에서 설명했듯이 현장 도로의 차량 흐름에 해당하는 교통량에 따라 임계값은 가변적으로 설정하는데, 인지 편의를 위해 10으로 설정하였고 신호주기를 고려하여 제어시점 간격값은 200초로 설정하였다. CCTV PTZ 드라이브는 I사의 F모델을 사용하였으며, 돌발상황 검지 -추적-분석 프로그램에서 PTZ 카메라 제어를 목적으로 CCTV 산업에서 널리 사용되는 Pelco-D 프로토콜을 이용하여 소켓 통신으로 원격 제어하였다.
<Fig. 6>은 테스트사이트인 고골사거리의 4방향으로 임의 설정한 다수의 화각값 샘플로부터 차량의 흐름 을 최적으로 포함하는 안정된 화각을 차량 궤적지도(VTM) 및 유효 궤적영역(ETR)에 따라 자동 자세제어가 실행된 시험 결과 영상을 표현한 것이다.
Ⅳ. 성능평가
제안 알고리즘의 성능을 평가하기 위해서 알고리즘에 의해 결정된 화각과 운영자가 교통소통상황 감시를 위해 설정한 CCTV 카메라 화각과의 일치성을 비교하였고, 수집된 교통정보의 정확도를 기존의 성능평가를 통해 인증된 VDS와 비교함으로써 성능평가를 수행하였다. 또한, 적용 타당성을 검토하기 위하여 실제 도시 부 교차로에 설치된 CCTV를 이용하여 평가를 수행하였으며, CCTV 화각의 일치성은 실제 운영자에 의한 육 안 판단을 기준으로 일치성을 평가하였다. 교통정보의 정확도 평가는 ITS 성능평가 기준에 따라 평가를 수 행하였으며, 정확성 평가 관계식은 식 (3) 및 식 (4)와 같다.
단,
위의 식(3)과 식(4)는 현행 국토교통부고시 “자동차·도로교통분야 ITS 성능평가기준”에 따라 적용하고 있 는 방식으로 식(3)의 결과가 음수일 경우는 그 결과를 0으로 적용한다. 또한 평가항목에 해당하는 교통량과 속도의 기준값은 각각 5분 단위로 측정된 차량의 합과 측정된 차량의 속도를 산술평균한 값을 적용하였으 며, 기준값의 측정은 기존 성능평가를 통해 인증된 VDS에 의해서 측정된 값을 기준값으로 사용하였다.
평가를 위한 자료는 경기도 하남시의 고골사거리의 접근로를 대상으로 주간 및 야간 각각 6시간의 녹화영 상을 이용하였다. 교통정보의 정확도 평가에서 분석단위 시간은 5분으로 설정하였으며, 정확도 평가 대상은 최근 추세에 맞추어 교통량과 속도에 한정하여 수행하였다. 일치성을 평가하기 위하여 CCTV 위치 초기화 → 운영자의 화각설정 → 최적 화각 결정 → 일치성 평가 과정을 총 50회 반복 실험을 하였으며 성능평가 최종 결과는 <Table 2> 및 <Table 3>과 같다.
Ⅴ. 결 론
본 논문에서는 운영자의 교통상황 감시와 교통정보 수집을 동시에 수행할 수 있는 CCTV 자율자세제어 알고리즘을 제안하였다. 제안 알고리즘은 딥러닝을 이용하여 차량을 인식 및 추적하고, 차량 궤적지도(VTM) 의 생성을 통해 유효 궤적영역(ETR)을 결정하며, 중심점 비교를 통해 카메라의 팬-틸트-줌을 제어하여 최적 화각을 결정하였다.
성능평가는 제안 알고리즘에 의해 결정된 화각과 운영자의 감시 화각과의 일치성을 운영자 육안 판단에 의한 주관적 평가를 통해 수행하였으며 결정된 화각으로 수집된 교통정보의 정확도를 ITS 평가기준에 따라 수행하였다. 평가결과 화각의 일치성은 96%이며, 교통정보의 정확도는 교통량과 속도 각각에 대해서 주간 및 야간 평균 96%, 95%의 정확도를 보였다. 본 연구에서는 차량인식 모델로 YOLO v4를 적용하였으나 추후 성능이 우수한 모델로 전환하는 경우는 정확성이 더욱 향상될 수 있으므로 현장 적용 측면에서 본 연구 결 과의 운영 효율성을 충분히 기대할 수 있을 것으로 판단한다. 다만, 운영자의 일치성을 저해하는 요인으로 도로가 화각에서 좌/우 편향되는 현상은 운영자 감시영역과 교통정보 수집영역을 동일 화각 내에서 균형적 으로 구도를 결정하는 모델이 적용되지 않았기에 발생한 것으로 판단된다. 이러한 원인은 향후 자기강화학 습모델(Reinforcement learning model) 기반 카메라 정밀제어 등의 후속 연구를 통해 개선될 수 있을 것으로 기대된다.
한편 평가 측면에서 제안 알고리즘에 의해 결정된 화각과 운영자가 선호하는 CCTV 화각과의 일치성 혹 은 적절성에 대한 객관적인 검증 방법의 적용은 이번 연구의 한계로 남았으며, 향후 보다 객관적인 평가 및 검증을 위해 시뮬레이션 기법의 적용 등 다양한 접근 방안이 필요할 것으로 판단된다.
