Ⅰ. 서 론
ICT와 CCTV의 기술 발전은 교통 무인단속 및 생 활방범, 개인 보호와 공공기관의 보안 등 다양한 분 야에 이용되고 있고, 급증하는 생활 범죄, 치안 유 지, 교통사고 등 여러 분야에 범죄 억제효과와 증거 능력을 갖추고 있으며, CCTV는 목적에 따라 이동물 체의 인식이나 추적 기능 등 다양하게 요구되고 있 다. 이러한 요구를 만족하기 위하여 배경과 물체를 분리하는 방법과 물체의 추적을 위한 궤적정보 등 의 연구가 이루어지고 있고, 이와 같은 영상취득 장 치를 이용한 지능화된 감시 장치의 기술 또한 급속 하게 발전하고 있다[1]. 이 분야의 기술 영역은 감시 하고 있는 장소에 어떤 사람이나 물체를 탐지하는 전경 분리 기술과 사람이나 물체의 이동 경로를 파 악하는 추적 기술로 나뉜다.
정확한 전경물체 인식을 위해서는 영상취득 장치 로부터 복원된 영상이 입력영상으로부터 미리 정확 하게 추출되어있다고 가정하기 때문이며, 일반적으 로 차영상이 많이 이용되고 있다. 이 방법은 먼저 한 장의 고정된 영상을 이용하는 정적인 방법과 순차적 으로 입력되는 영상을 계속해서 갱신하는 동적인 방 법으로 배경 정보를 모델링하고, 모델링된 영상과 입 력영상을 픽셀단위로 비교하여 전경물체를 추출하는 방법이다[2]. 이 방법은 연산이 간단하기 때문에 많 이 이용되고 있지만, 잡음이나 대비(contrast)가 낮은 배경 영역에서 잘못된 전경이 추출되는 경우 또는 구멍(hole)과 같이 추출이 되지 않는 경우가 생길 수 있다[3]. 이로 인해 다시점 영상에 전경물체를 추출 하는 방법들이 최근 다양하게 제안되고 있다[4-6]. 또 한, Campbell 등[7]은 입력영상 중심의 특정범위 내 에 포함되어있는 색상값을 GMM(Gaussian Mixture Model:이하 GMM)으로 학습하고 영상에서 전경물체 를 자동으로 추출하기 위한 방법을 제안하였으며, 사 용자의 입력대신 ‘추출될 대상은 입력영상의 중심에 있다.’는 가정을 이용하였다[8].
본 논문에서는 이동 물체를 탐지하는 기술로서 잡음이나 조도의 변화에 비교적 안정적인 엔진개발 을 위한 개선된 알고리즘을 제안하였다. 제안 된 알 고리즘은 사람이나, 동물, 또는 비교적 저속 운행 중 인 차량 등의 탐지에 적합한 모델로서, 조도의 변화 나 잡음에 안정적이면서 실시간 처리가 가능한 방 법을 고안하는 데 주안점을 두고 제안하였다.
본 논문의 구성은 다음과 같다. Ⅱ장에서는 배경 분리 기술동향에 대해서 설명하고 Ⅲ장에서는 Local Binary Pattern(이하:LBP) 기법[9,10]을 이용한 개선된 알고리즘을 설명한다. Ⅳ장에서는 개선된 알고리즘 을 사용한 실험결과 제시하고 마지막 Ⅴ장에서 결 론과 향후 연구방향을 기술하였다.
Ⅱ. 배경 분리 기술동향
연속 영상으로 사람이나 동물, 물체의 움직임을 파악하고 영상 내 현재 위치를 탐지하는 방법으로 현재 배경분리(Background Subtraction; BGS) 방법이 주로 이용되고 있다. 이는 기본적으로 배경화면이 정지해 있다는 가정하에 연속된 영상 프레임 간에 영상정보의 차이를 통하여 움직임이 있는 영역을 추출해 내는 것이다.
이러한 기법은 <그림 1>과 같은 일련의 4단계 기 본적인 자료처리 흐름으로 구성된다.
일반적으로 이동 물체 추적을 위해서는 우선 움 직이는 물체를 인식하기 위한 배경분리 방식을 사 용한다. 배경분리를 위해서 이전 프레임에서 획득된 영상의 화소 값을 저장하고 현재 프레임에서 획득 된 영상의 화소 값을 저장하여 두 영상의 값을 비교 하여 차영상을 구한다. 획득된 영상은 컬러영상이므 로 영상처리를 쉽게 할 수 있도록 흑백영상으로 변 환하여 사용한다. 이 방법은 움직이는 객체의 경계 를 검출하는 특징을 가지고 있으며, 그림 2는 이동 하는 물체를 인식하기 위한 일반적인 흐름도를 보 여주고 있다.
배경분리 방식 중에서 배경모델이 BGS의 핵심기 술로서 배경모델을 어떻게 구성하고 갱신해 나가는 가 하는 것이 관건이 되며, 이에 따라 여러 가지 방 법들이 제안되고 있다. 그 중에서 영상 프레임간의 화소값 차이에 기반한 방법이 가장 직관적이고 연 산량이 비교적 작아서 사용되는 경우가 있으나 물 체의 영역을 정확히 검출하지 못하는 단점이 있다. 이에 대해 입력되는 비디오 프레임 데이터로 부터 실시간으로 업데이트되는 배경모델을 생성하고 유 지하는 귀납적 방법이 있는데, 대표적인 방법으로 Running Gaussian Averge(RGA), GMM, GMM with Adaptive number of Gaussian(AGMM), Approximated Median Filtering(AMF) 등이 있다.
Ⅲ. 개선된 알고리즘림
본 논문에서는 선행 알고리즘 중에서 근래 그 효 용성이 크게 입증되고 있는 GMM을 기반으로 하였 으며, 연산 속도와 신뢰성을 모두 충족할 수 있는 검출 데이터 모형을 설계하는 데에 개선 방향을 두 고 제안하였다.
1. RGB 특징량 정규화
BGS에서 영상을 비교하고 차이를 알아낸다는 것 은 각 화소를 정의하는 RGB 색 정보를 이용하는 것 으로서 이것이 화소의 특징을 나타내므로 RGB 특 징량이라 한다. 우선 BGS에서 각 화소들의 RGB 성 분 값들을 그 화소의 특징량으로서 그대로 이용하 는 방법을 생각할 수 있는 데, 이 방법에 의한 선행 결과에서는 약간의 조도 변화에도 불안정하며, 색 정보와 밝기 정보를 독립적으로 표현하지 못하는 단점이 있었다.
따라서 이점을 극복하기 위하여 식 (1)과 같이 정규화 된 RGB 특징량을 사용하는 것이 제기되고 있다.
위에서 r, g, b는 특정 화소에서 RGB 색공간의 r, g, b 성분 값이다. 실험에 의하면 이렇게 정규화 된 RGB 특징량은 화상의 밝기가 어두운 부분에서 불 안정하게 동작하는 단점이 있다. 따라서 개선된 알 고리즘에서는 이 점을 극복하기 위해, 식 (2)를 대입 하여 정규화 된 RGB 특징량으로 수정하였다.
2. 문양정보벡터생성
Texture Analysis의 기법으로 LBP는 컴퓨터를 이 용한 계산 부하가 작으면서도 신뢰성이 높아서 그 이용도가 증가하고 있다. 특히 Demensionality Reduction에 의해 Uniform Descriptor의 개수를 64개 이하로도 자연영상에서 90%이상의 신뢰 특성을 보 인다고 알려져 있다. 단, 개선된 알고리즘에서는 동 영상을 실시간으로 처리하는 것이 중요하며, 움직임 이 있는 사물의 경계의 세밀함은 상대적으로 그리 엄밀하지 않아도 되는 경우라면 계산의 부하를 줄 이기 위하여 Primitive Descriptor의 개수를 더 축소하 여 7개의 특징량 vector로 만들고, 그 순서는 다음과 같다. 먼저 원화상으로부터 Gray 화상을 얻은 다음, 매 화소에 대해 다음 식 (3)과 같은 변환을 진행한 다. 이러한 변환으로 Gray화상에서는 화소의 r, g, b 성분값이 동일하므로 계산이 단순화되고 메모리도 절약된다.
변환된 화상을 8x8의 Block으로 나누고, 각 Local Block에 대해 7차원 vector를 계산하여 특징량으로 부여하였다. vector는 식 4와 같이 계산한다.
Block k의 모든 화소에 대해 화소값 rkij 들의 RMS(Root Mean Square)를 구하고, 이를 sk 로 한다. 식 4는 sk 를 구하는 방법을 나타내고 있다.
Fourier Transform을 하고 결과의 절대값(Fourier Spectrum)을 다음 배열 형태로 얻는다.
<표 1>의 X 표시는 Fourier Spectrum의 원점(0,0) 를 나타낸다.
위 <표 2>는 Spectrum 분포에서 아래의 번호위치 에 있는 값들의 평균을 구하여 특징 vector v1~v7을 계산한다. 예를 들면, v1은 1로 표시된 위치의 Spectrum 밀도 값들을 합하여 5로 나눈 후, 다시 위 로 나누어 얻는다.
3. 알고리즘
제시한 논문에서 배경모형은 GMM을 사용하며, 매 화소에 대하여 최대 4개의 가오스 분포을 이용하 였다. 매개 가우스 분포 식은 다음과 같다.
식 (5)에서 i는 가오스 분포 모형의 번호로서 i = 0, 1, 2, 3의 값을 가지며, t는 현재 시간을 표시한다. 이 가오스 분포를 정규화 된 RGB 특징량과 문양정 보 vector에 각각 적용한다. 정규화 된 RGB 특징에 대한 공분산 행열은 3차원인데, 계산상의 효율성을 위하여 아래 형식으로 고정하였다.
또, 문양정보 vector에 대한 공분산 행열은 다음과 같이 고정하였다.
4. 배경 모형과의 matching 규칙
입력된 화소값이 그 화소에 대응하는 가우스 분 포에 따르는가를 판정하는 기준으로 다음 식 (8)을 이용한다.
W, τ는 파라미터이다. 이 파라미터들은 이전에 운동 물체 영역으로 판정된 영역에 대해서는 값을 작게 설정하여 현재에도 운동 물체 영역으로 판정 될 가능성을 크게 하며, 그렇지 않은 영역에 대해서 는 값을 크게 설정한다.
5. 배경 가우스 분포의 갱신
현재 입력된 화소값이 i번째 가우스 분포와 매치 되면 그 분포를 식 (9)와 같이 갱신한다.
그리고 매 가우스 분포의 weight는 식 (10)과 같이 갱신한다.
여기서 Mi,t는 i번째 가우스 분포와의 매칭 여부 를 나타내는 것으로 매칭 된 경우 1, 그렇지 않는 경우 0의 값을 대입한다. αi는 매 성분분포의 가중 치 파라미터를 갱신하는데 속도를 결정하는 상수로 서 값을 크게 주면 배경학습이 빨리 진행되나 움직 이던 물체가 멈춰선 경우 배경으로 되는 속도도 빨 라진다. β는 성분 분포들의 수학적 기대값과 분산을 갱신하는 속도를 결정하는 파라미터이다.
6. 새 가우스분포 생성
입력 화소가 현 가우스 분포와 매칭하지 않은 경 우 현재 화소를 기반으로 가우스 분포를 하나 더 생 성하고, 가우스 분포의 개수 k가 최대개수 4보다 작 으면 초기화 때와 마찬가지로 파라미터를 부여하고 k 를 1증가한다. k=4이면 가중치를 매우 작게(예, 0.01) 로 부여하는데, 이 분포는 바로 이전의 분포를 대신 하지 않고 새 분포의 가중치가 식 (11)에 의해 갱신된 후 일정한 임계값보다 커지면 이전의 가우스 분포 중 에서 가중치가 가장 낮은 것을 대신하게 한다.
위에서 Term은 움직이는 물체가 정지된 후 배경 으로 인식되는 시간을 결정하는 파라미터이고, c는 관측된 화소값이 새로운 가우스 분포와 매칭되는 횟수이다.
Ⅳ. 시험 결과
시험에 사용한 H/W는 컴퓨터와 영상 촬영을 위한 파나소닉 네트워크 카메라로 사양은 다음과 갔다.
아래에 있는 <그림 3>은 동영상으로 촬영한 영상 을 스틸사진으로 나타낸 원 영상이고, <그림 4>는 동영상으로 촬영한 스틸사진 중 배경을 분리하고, 전경의 변화를 특징량으로 계산하여 이동하거나 변 하는 물체는 빨간색으로 표시한 실험결과를 보여주 는 사진이다. 고정되어 있거나 변하지 않는 배경은 특징량의 변화가 없어 아무런 색의 변화가 없음을 보여주고 있다.
실험결과에서 걸어가는 사람의 형태를 포착하고, 또한 비교적 빠른 차량의 이동을 포착하였다. 배경 학습에 필요한 초기 프레임 수는 100으로 하고, αi 는 12, β는 204, Term은 75로 설정하여 <그림 4>와 같은 실험 결과를 얻을 수 있었다. αi를 매우 작게 준 경우에는 학습이 느리게 진행되어 초기에 움직 임을 검출하지 못하였으며, 시험 결과 수행 속도가 느려 실용화하기 위해서는 개선 연구가 필요하다. 다만 검출 대상의 크기를 제한하면 속도가 크게 증 가하는 것을 알 수 있었다. 실험에서는 <그림 4>의 1에서 8까지의 사진 위쪽을 보면 담장의 작은 나뭇 잎의 움직임을 변화량으로 확인할 수 있었다.
Ⅴ. 결 론
논문에서 이용한 LBP 기법은 얼굴 인식 등에서 많이 활용되고 있는 것이나, 특징 vector의 차원을 효과적으로 축소하면 색 정보 특징량과 결합하여 동영상에서 움직임 포착에도 응용 가능함을 확인하 였다. 검출 결과는 움직임이 있는 영역의 경계가 파 악이 되므로 이 영역이 화상을 Clipping하여 2차로 SVM(Support Vector Machine)같은 알고리즘을 사용 하면 객체 인식분야에도 확장할 수 있을 것으로 판 단된다. 다만, 처리 속도문제에 있어서 시험에 사용 한 카메라는 1280x960의 해상도를 가지며, 30fps로 작동하는 것인데, 비교적 보통 방범과 같은 응용에 서는 15fps도 충분하며, 고해상도 영상에 대해서는 전처리에서 화상을 1/10로 축소하여 처리하면 처리 속도를 증가 시킬 수 있음을 확인하였다.
