Ⅰ.서 론
ICT의 발전으로 영상취득 장치를 이용한 지능화된 감시 장치의 개발 기술 또한 발전하고 있며, 이는 무인단속, 사생활 보호, 개인 및 공공 기관의 보안 등 생활 속 여러 분야에서 범죄 증거 및 억제 효과 로 다양하게 활용되고 있다. 지능화된 영상취득 장 치는 다양한 요구를 충족시키기 위하여 이 분야의 기술 영역은 감시하는 장소에 어떤 사람이나 물체 를 탐지하는 전경 분리 기술과 사람이나 물체의 이 동 경로를 파악하는 추적 기술로 나누어진다. 이런 이동체를 탐지하는 기술은 잡음이나 조도의 변화에 비교적 안정적이어야 한다. 사람이나, 동물, 또는 저속 운행 중인 차량 등의 탐지에 적합한 모델로 조도의 변화나 잡음에 안정적이면서 실시간 처리가 가능한 개선된 알고리즘도 이미 제시되었고, 많은 연구가 진행되고 있다[1, 2].
정확한 전경물체 인식을 위한 방법은 일반적으로 차 영상이 많이 이용되고 있고, 이 방법은 모델링된 영상 과 입력영상을 픽셀단위로 비교하여 전경물체를 추출 하는 방법이다[3]. 그러나 이런 방법의 문제점은 잡음 이나 대비(Contrast)가 낮은 배경 영역에서는 잘못된 전경이 추출되는 경우가 발생 할 수도 있다[4]. 이로 인해 다시점 영상에 전경물체를 추출하는 방법들이 최근 다양하게 연구되고 있다[5-7]. 또한, 카메라 영 상에 의한 방범 방제, 자동차 무인단속에서와 같이 영 상으로 객체를 탐지하는 기술은 객체의 색상과 질감 (Color And Texture)을 특징으로 추출하는 방법과 객체 의 윤곽경계(Contour Edge)를 특징으로 추출하는 방법 등 여러 가지가 방법이 제기되고 있다[8]. 그런데 고정 식 카메라에 의한 동영상으로 움직이는 객체를 탐지하 는 기술에서 가장 많이 시도되는 방식이 배경분리 (Background Subtraction) 영상에 의한 객체 영역 추출 방식이다.
이 방식은 매우 직관적이어서 알고리즘 전개과정에 관한 이해가 명확하나, 실시간으로 변화하는 입력 영상으로 가장 근접하는 배경영상을 갱신하는 것이 가장 중요한 요소 기술이며, 이런 MOT (Moving Object Tracking, 이하 MOT) 기술이 이용되는 응용 분야는 목적에 따라 크게 2가지로 나눌 수 있다. 첫 째는 객체 인식의 전처리 단계로서 MOT의 대비 (Contrast)를 추출하여 다음에 이어지는 인식 단계에 특징(Feature) 정보로 활용하기 위한 것이다. 이 경 우 객체 형상의 대비(Contrast)의 정확도에 따라 정 밀 패턴인식의 목적까지 다양하지만 대개 연산 부 하량이 큰 것이 특징이다. 그러나 이 목적의 응용은 객체의 움직임 속도가 빠르지 않고, 감시 영역에 비 해 객체의 이미지 크기(Size)가 작아서 객체의 존재 가 영상에 큰 변화를 주지 않아서 15fps 이하의 처 리 속도에서도 응용 목적을 달성할 수 있다. 두 번 째는 동영상 기반의 차량번호 인식과 같이 매우 빠 른 객체를 대상으로 할 경우에는 전혀 다른 상황을 고려할 필요가 있다.
동영상 기반 차량번호 인식기술은 기존에 센서 (Loop, 레이저 센서 등)에 의한 Trigger신호로 한 컷 의 영상을 캡쳐하여 차량 번호를 인식하던 Trigger 방식에 비해 연속되는 영상의 모든 프레임에 대한 차량 번호를 인식하여 각 결과에 대한 신뢰성을 계 산하여 최상의 인식률을 도출하려는 것이다. 따라 서 인식 엔진에 대한 부하는 프레임레이트 만큼 증 가한다. 이와 같이 번호판 후보를 추출하고 평가하 여 올바른 번호판에 대해 각 심볼 특징(Feature)을 추출하여 인식하는 과정은 일반적으로 매우 큰 부 하를 가지나, 동영상 기법을 사용하기 위해서는 이 를 경감 시킬 목적으로 각 프레임에서 차량 이미지 영역을 Clip하고, 이 영역에서 차량 번호판을 인식 하게 함으로서 프레임 전 화면을 대상으로 한 Trigger방식에 비해 부하를 줄이려는 시도를 한다. 차량번호 인식과 같이 이미지 영역이 큰 객체가 고 속으로 움직이는 동영상 처리 응용에서 위 첫 번째 객체 트래킹의 경우와 다른 문제는 처리할 프레임 레이트가 크다는 문제 말고도 연속 프레임간의 화 소 값 차이를 유발할 잡음효과가 크다는 것이다. 특 히 비교적 고속으로 움직이는 객체를 탐지해야 하 는 분야에서 무엇보다 중요한 것은 배경영상 갱신 에 대한 부하를 효과적으로 줄여 실시간으로 갱신 할 수 있어야 하는데, 현재 범용 컴퓨터 능력으로는 질감 등을 특징으로 추출하는 방법 등은 대부분 연 산처리의 부하 때문에 적용상의 한계가 있다.
본 논문에서는 프레임의 고속 처리를 1차 목표로 하되 객체 검지를 동시에 최상으로 처리하기 위한 프로세스 개발에 필요한 알고리즘을 제시한 것으로 적어도 초당 30프레임의 카메라 영상에서 주행 중 인 자동차와 같이 고속으로 움직이는 객체를 탐지 하는 응용영역에서 실시간으로 배경 영상을 갱신하 는 알고리즘을 제시하였다. 또한, 실제 도로 주행 중인 차량의 입력영상에서 객체 영역을 추출하는 시험을 통해 성능을 분석 제시한다. 논문의 구성은 다음과 같다. 2장에서는 간략하게 배경 분리 기술 동향을 설명하고 3장에서는 배경 영상을 갱신하는 알고리즘을 설명하며, 4장에서는 알고리즘을 프로 그램으로 구현한 실험결과를 제시하고, 마지막 5장 에서 결론과 향후 실용화 방안을 제시한다.
Ⅱ.배경 분리 기술동향
연속 영상으로 이동체 움직임을 파악하고 영상 내 현재 위치를 인식하는 방법으로 현재는 배경분리 (BackGround Subtraction, 이하 BGS) 방법이 주로 이 용되고 있다. 배경분리를 위해서는 이전 프레임에 서 획득된 영상의 화소 값을 저장하고 현재 프레임 에서 취득한 영상의 화소 값을 저장하여 두 영상의 값을 비교하여 차영상을 구한다. 취득한 영상은 컬 러영상이며, 영상처리를 쉽게 할 수 있도록 흑백영 상으로 변환하여 이용한다. 이 방법은 움직이는 객 체의 경계를 검출하는 특징을 가지고 있으며, <Fig. 1>은 움직이는 물체를 인식하기 위한 일반적인 흐 름도를 보여주고 있다.
BGS 방식 중에서 배경모델이 BGS의 핵심기술로서 배경모델을 어떻게 구성하고 갱신해 가는가 하는 것이 중요한 관건이 되며, 이에 따라 여러 가지 방법들이 제안되고 있다. 그 방법 중에서 영상 프레임간의 화소 값 차이에 기반 한 방법이 가장 직관적이고, 연산량이 작아서 사용되는 경우가 있으나 물체의 영역을 정확히 검출하지 못하는 단점이 있다. 이에 대해 입력되는 프 레임 자료로 부터 실시간으로 업데이트되는 배경모델 을 생성하고 유지하는 귀납적 방법이 있는데, 대표적 인 방법으로 Running Gaussian Averge(RGA), Gaussian Mixture Model(GMM), GMM with Adaptive number of Gaussian(AGMM), Approximated Median Filtering (AMF) 등이 있다[1, 2].
Ⅲ.구현된 알고리즘
본 논문에서 구현된 차량 객체 영역의 탐지 알고리 즘은 BGS를 이용하였다. 배경분리법은 직관적이고, 신뢰할 만한 결과를 보일 수도 있다. 그러나 배경 정보의 갱신과 수반되는 객체의 Edge 검출을 위한 연산 등의 부하가 많아, 차량과 같은 고속의 객체를 탐지하는 데는 적용상 문제가 있다. 그래서 논문에 서는 배경분리와 더불어 밝기(Brightness) 변화에 의 한 움직임 포착 방법을 사용하여 검출 속도를 향상 시켰다. 즉, Edge 검출에 비해 연산 부하가 적은 밝 기 레벨 변화량을 추적함으로써 움직임이 포착된 영상에 대해서만 Edge 검출을 시도하여 검출 효율 을 높이고자 하였다.
밝기 레벨은 영상의 열의 개수만큼 구성을 가지 는 벡터를 할당하고, 각 열의 화소들에 대한 밝기 레벨 값의 평균을 저장한다. 따라서 벡터 구성은 0~255범위의 값을 가진다. 밝기 레벨 벡터는 현재 입력 화상에 대한 것과 배경 화상에 대한 것 두 가 지와 이 두 가지에 벡터에 대한 차의 절대값 벡터 등 3가지를 정의한다. 프로그램에서 자료 형식은 다음과 같이 정의하였다.
typedef struct RowChannelStats { std::vector<unsigned char> vecRowDif; //차 영상 절대값 vector std::vector<unsigned char> vecRowMean; //입력 영상 vector std::vector<unsigned char> vecRowBck; //배경영상 vector } RC_STAT;
프로그램은 실행 초기에 200 프레임으로 배경 정 보를 구성하여 초기화를 마친다. 이후 매 프레임에 대해 배경 정보를 갱신하며, 배경 영상과 입력 영상 의 vector값을 구한다. 각 벡터의 i-th 구성은 식 1, 2, 3과 같다.
그리고,(3)
이다. Clij와 Blij는 각각 입력 영상과 배경 영상의 i-th 행의 j-th 열 화소 밝기 값을 나타내며, N은 Horizontal pixel 수이다. 매 입력 영상에 대해 위 연 산을 통해 벡터를 구하고 vecRowDif의 구성 요소가 일정 임계 값 이상인 경우 이 값들의 합이 특정 값 을 넘는 경우 차량이 탐지 된 것으로 판단한다.
일단 차량이 탐지되면 차량 객체가 차지하는 영 상에서의 영역을 찾아내기 위하여 다음 과정을 수 행한다. 먼저 입력 영상과 배경 영상에 대한 edge 검출을 하고 이 Edge 영상의 차를 구하여 차량 객 체의 Edge 영상을 얻는다. 위 과정에서 각 영상의 노이즈는 가우시안 분포를 이룬다고 가정하여, 가 우시안 필터를 적용하였다.
Edge 추출은 Canny 알고리즘을 이용하여 구현하 였는데, 입력 영상과 배경 영상에 대해 각각의 경계 값(Threshold)를 변경하면서 시험하였다. 배경차 Edge 영상은 다음에 침식 연산을 통하여 배경차 연 산의 결과로 생기는 잡음을 제거 하고, 다시 팽창 연산을 하여 차량 이미지가 차지하는 영역을 계산 한다. <Fig. 2>는 구현한 프로그램 실행 흐름도를 보여주고 있다.
Ⅳ.시험 결과
시험에서 사용한 컴퓨터는 Intel i7 Quad Core 3.5GHz CPU, 8MB Memory에서 수행한 것이며, 영상은 1280x960해상도 산업용 카메라로 31fps의 속도로 조도 변화가 심한 늦은 오후부터 야간에 걸쳐 녹화한 avi Video File을 이용하였다. 영상 처리는 8Bit Gray Scale 의 영상 포맷으로 시험하였는데, 대부분의 응용분야에 서 야간의 LED조명하에서 동작할 것이 요구되므로 색상 정보는 이용할 수 없다.
다음 페이지에 있는 <Fig. 3>은 <Fig. 2>의 과정 을 프로그램으로 구현하여 실행한 영상을 캡쳐한 것이다.
<Fig. 3>에서 차량이 진입한 경우 배경 영상과 입력 영상의 차(Abs(A-B))는 상당히 큰 값으로 변 화함을 알 수 있다. 또, 프레임 당 처리 속도는 32~36fps로서 실제 카메라 녹화속도 보다 상회하므 로 실용 가능성을 보여 준다. 즉, 그림 속 작은 영 상 (1)번 Current Edge는 입력 영상에 대한 edge를 실시간 추출한 결과를 나타내는 데, 차량이 영상내 로 진입하면서 주변 도로의 영상에 대한 edge들이 감지되지 않는데, 그 이유는 edge 추출하기 위해 영 상을 256 레벨의 gray scale로 변환하는 과정에서 최 고 레벨을 255로 하여 normalizing 하기 때문이다. 즉, 도로 이미지의 평균 밝기에 비해 더 밝은 이미 지의 차량이 진입하면 상대적으로 더 어두운 도로 이미지는 normalizing결과 한계점 이하의 레벨로 떨 어지므로 edge 영상에서 제외된다. 반면, (2)번은 Background 영상을 보여주고 있고, (3)번의 Background Edge는 비교적 도로 상태가 잘 반영되 어 있다. 따라서 입력영상과 배경 영상에 대한 edge 추출 한계점은 각각 다른 값을 가져야 하며, 이는 차량이 통과할 때 차이 값의 변화량을 나타내는데 차량이 존재하는 구역에서 변화량이 크다는 것을 나타낸다. 이 변화량 정도를 판단함으로써 비교적 작은 부하의 연산으로 차량 객체의 유무를 결정할 수 있다.
<Fig. 4>는 현재 입력 영상과 배경화면에 대해 화소 평균값들을 분포를 도표로 나타내었다. 도표 에서 왼쪽 수직선이 화소 값 0인 선이고, 오른쪽 수 평방향으로 값이 증가하여 8비트 gray scale에서 최 대치는 255이다. 푸른색 선은 배경화면에 대한 화 소 평균값을 나타내고, 녹색 선은 입력 영상에 대한 화소 평균값을 나타낸다. 이 두 화소 평균값의 차이 를 적색 선으로 나타내었다. 이 차이 값은 차량이 진입하는 부분 외에서는 비교적 완만한 변화량을 보인다. 아래쪽 부분에서 차이 값이 크기는 하나 잡 음이 대체로 화상 전체에 고루 영향을 미치는 경향 이 있기 때문에 결과적이 차이 값의 변화량은 급격 하게 변하지 않는다는 것을 나타내고 있다.
<Fig. 5>는 시간이 더 경과하여 야간 상황으로 변화하였을 때의 실행 영상이다. 이때에도 배경은 크게 갱신되지 않고 있어서 벡터 간 불일치가 증가 하고 있는 모습인데, 이는 배경 갱신 알고리즘의 개 선의 필요성을 의미한다. 그러나 실제로는 배경 갱 신 연산에 몇 개의 파라미터를 도입하여 배경 갱신 정도를 조정하고 있으나, 그 정도를 높이면 차량의 궤적이 점차 가중되어 도로의 영상 특징이 가려지 는 문제가 있었다.
본 논문에서 사용한 녹화 영상은 우천 후, 도로 에 약간의 물기가 남은 상태에서 촬영된 것으로 차 량 전조등에 의한 노면 반사광이 잡음으로 크게 영 향을 미침을 보였다. 예를 들어, 후속 차량에 의한 전조등 반사광이 선행 차량의 이미지 영역과 겹칠 경우 두 개의 차량 영역을 하나의 객체 영역으로 오인한다. 이 경우에는 반사광 이미지 영역에 대한 레벨 벡터의 변화량도 매우 심하여 실제 차량 영역 과 구분이 용이하지 않다. 시험 결과 약 18,000대의 차량을 포함하는 영상에 대해, 95%이상의 검지율을 얻었다. 이는 보완을 통해 실용화 가능함을 의미한 다고 생각된다.
Ⅴ.결 론
본 논문의 대상인 주행하는 차량과 같이 고속으로 움직이는 객체의 이미지 영역을 실시간으로 캡쳐하 는 기술은 객체 인식의 전 단계 과정으로 매우 중 요하다. 객체 인식은 캡쳐된 이미지 영역에서 객체 의 특징을 인식하는 것이므로 객체 인식의 선행 프 로세스로 객체 이미지 영역 추출이 주요한 역할을 한다.
본 논문에서는 실용화 가능성을 최우선 목표로 하여, 가장 중요한 요소인 처리 속도에 주안점을 두 고 알고리즘을 설계하였으며, 부분적인 수정의 필 요성에도 불구하고 처리 속도 면에서는 그 가능성 에 근접한 효과를 입증하였다. 본론에서 지적한 바 와 같이 배경 영상의 갱신 알고리즘은 크게 개선되 어야 하며, 배경 갱신 문제는 차량 통행과 같이 수 시로 변화하는 영상으로 배경을 갱신해 나가면서도 배경 자체의 특징을 유지해야 하는 데 있다. 시험을 통해 본 논문에서 실용화를 위한 과정으로 조도 변 화를 반영할 수 있는 배경 영상 갱신 알고리즘 개 선과 차량 전조등, 노면 반사광을 필터링할 수 있는 잡음 대책 알고리즘 개발이 필요한 것으로 예상되 며, 통상적인 BGS 기법에 더하여 전처리 과정을 한 단계 더함으로써 잡음에 대한 차단 효과가 있는 것 으로 본 논문에서도 확인할 수 있었다.
본 논문은 동영상 기반의 차량 번호 인식기술 개 발, 영상 기반 차량 속도 측정 기술 개발 등에 활용 될 수 있을 것으로 생각된다.
