Journal Search Engine

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.16 No.2 pp.140-152
DOI : https://doi.org/10.12815/kits.2017.16.2.140

A Study of Sensor Fusion using Radar Sensor and Vision Sensor in Moving Object Detection

Se Jin Kim*, Ki Hun Byun**, In Su Won***, Jang Woo Kwon****
*Dept. of Computer Science & Eng., Univ. of Inha
**Dept. of Computer Science & Eng., Univ. of Inha
***Dept. of Electronic Eng., Univ. of Inha
****Dept. of Computer Science & Eng., Univ. of Inha
Corresponding author : Jang Woo Kwon, jwkwon@inha.ac.kr
March 6, 2017 │ April 4, 2017 │ April 4, 2017

Abstract

This Paper is for A study of sensor fusion using Radar sensor and Vision sensor in moving object detection. Radar sensor has some problems to detect object. When the sensor moves by wind or that kind of thing, it can happen to detect wrong object like building or tress. And vision sensor is very useful for all area. And it is also used so much. but there are some weakness that is influenced easily by the light of the area, shaking of the sensor device, and weather and so on. So in this paper I want to suggest to fuse these sensor to detect object. Each sensor can fill the other’s weakness, so this kind of sensor fusion makes object detection much powerful.


레이더 센서와 비전 센서를 활용한 다중 센서 융합 기반 움직임 검지에 관한 연구

김 세 진*, 변 기 훈**, 원 인 수***, 권 장 우****
*주저자 : 인하대학교 컴퓨터정보공학과 석사과정
**공저자 : 인하대학교 컴퓨터정보공학과 석사과정
***공저자 : 인하대학교 정보전자공동연구소 연구교수
****교신저자 : 인하대학교 컴퓨터정보공학과 교수

초록

본 논문은 레이더 센서, 비전 센서를 활용한 다중 센서 융합 기반 움직임 검지에 관한 연 구를 다룬다. 레이더 센서는 다량의 물체를 검지함에 있어 센서 자체의 움직임이 발생할 경 우 주변건물이나 주변 가로수와 같은 사물 혹은 물체를 차량으로 오인하는 경우가 생긴다. 비전 센서의 경우 저렴하고 가장 많이 쓰는 형태이지만 빛, 흔들림, 날씨, 조도 등 외부환경 에 취약하다는 문제점이 있다. 각 센서 간의 문제점을 보완하고자 센서 융합을 통한 움직임 검지를 제안하게 되었고 실험환경 내에서 매우 우수한 검지율을 보이게 되었다 센서 간 융 합에서 좌표 통일문제와 실시간 전송문제 등을 해결하였으며, 각 센서 간 필터링을 통한 비 가공데이터(raw data)의 신뢰성을 높였다. 특히 영상에서는 가우시안 혼합모델(GMM, Gaussian Mixture Model)을 사용하여 레이더 센서의 단점을 극복하고자 했다.


    Ministry of Science, ICT and Future Planning
    IITP-2016-H8501-16-1019
    R7520-16-0005

    I.서 론

    1.서 론

    현재 교통량을 측정하는 방법에는 여러 가지 방법들이 제시되고 있다. 전통적으로 가장 많이 사용하는 방 법으로 크게 루프 검지기, 레이더 검지기, 영상 검지기 등이 있다(Forest et al., 1999).

    이 센서들은 각각의 장단점을 가지고 있는데 나열하자면 아래와 같다. 루프검지기의 경우 정확도도 높고 알고리즘이 단순하여 구성하기 쉽고 날씨나 기타 외부 요인에 덜 영향을 받는다. 하지만 단점으로는 설치가 어렵고 차선 아래 매복되어있는 경우가 많아 고장 시에 수리가 어려운 문제점이 있다.

    레이더 센서를 이용한 경우 장점으로는 높은 검지율이 있다. 하지만 센서 자체에 흔들림이 존재할 경우 차량 이외에 가로수나 기타 건물 등을 움직이는 물체로 인식하여 고스트(Ghost)가 다량발생하거나 노이즈가 생겨 다른 물체를 오검지할 가능성도 높다(Haselhoff et al., 2007). 고스트란 실제로 움직이지 않는 건물이나 가로수 같은 물체가 움직이는 물체로 판단되거나 레이더 주파수 난반사에 의한 노이즈를 통해 이상 검지되 는 경우를 의미한다.

    마지막으로 영상 검지기는 실제로 가장 많이 설치되어 있으며 가장 널리 사용되는 검지기이다. 차량검지 뿐 아니라 차량 인식, 차량 속도 측정, 차량 번호판 확인 등 실생활에서 널리 사용된다. 장점으로는 설치가 단순하고 알고리즘의 영향이 크므로 다른 영상장비를 통해서도 충분히 호환성이 높다. 또 영상을 직접적으 로 확인하고 사용하기 때문에 관리자가 관리하기에 편리하고 직관적이다. 단점으로는 영상정보 기반 처리이 다 보니 영상 취득 시에 생기는 다양한 변수에 많은 문제점이 노출되곤 한다. 예를 들어 다중 차량 인식 시 의 카메라의 초점문제에 따른 해상도 저하, 예외적인 기상문제, 카메라의 흔들림에 의한 영상 전송문제, 단 일 시야에서 보이는 사각문제등이 존재한다(Choi et al., 2007).

    센서 간 융합에 있어서 융합레벨에 따라 분류할 수 있다. 저레벨(low level) 융합은 레이더 센서 데이터와 비전 센서의 데이터의 비가공데이터를 가지고 결합하여 이를 검지한다. 하지만 이는 많은 계산양을 요하는 문제점이 있다(Blackman and Popoli, 1999). 그래서 많은 연구가 복합레벨(hybrid level) 융합을 사용한다. 복합 레벨 융합은 관심영역(ROI, Region of Interest)을 지정하여 그 안에서만 레이더 센서와 영상간의 융합을 진행 한다. 이는 연산량을 줄여줄 뿐 아니라 데이터의 신뢰성 또한 향상시켜 줄 수 있다(Liu et al., 2011). 고등급 (high level) 융합은 센서별 각자 처리한 후 그 결과를 종합한다. 하지만 이는 각각 센서별 문제를 검증하는데 추가적인 연산이 필요하기 때문에 많이 사용되지 않는 방법이다(Yang et al., 2010).

    본 논문에서는 이러한 센서 간의 문제점을 해결하고자 센서 융합을 제안한다. 센서 융합을 통해 레이더 검지기와 영상검지의 문제점을 상호보완하고 움직이는 물체의 검지율을 높인다.

    II.제안하는 방법

    1.시스템 구성

    본 연구에서 레이더 센서는 Continental사의 ARS308 모델을 사용하였다. <Fig. 1>은 해당 레이더 센서이다. 이 센서는 CAN USB 네트워크를 통해 데이터를 전송하며 차량에 부착되어 차량 전후방 물체감지를 용도로 본래 제작되었다. 하지만 검지율이 좋고 반응속도가 빨라 본 연구에서 사용하기에 충분하다 생각되어 사용 하였다. 비교적 가격이 저렴하고 200m 내외의 거리에서 이동하는 물체를 감지할 수 있다. 이외 구성은 비전 센서와 처리부로 구성되어있다. 비전 센서는 노트북에 자체적으로 달린 카메라를 사용했으며 구동처리부는 Ubuntu 12.04 Qt Frame Work를 사용하였다.

    센서 융합을 통한 제안방법은 <Fig. 2>와 같다. 각 센서를 통해 들어온 데이터 값들은 각 과정에 의해 보 정을 받고 좌표 매칭을 통해 정합 및 검지가 이루어진다.

    2.레이더 센서

    레이더 센서를 통해 들어온 값들은 노이즈가 심하고 중간 중간 데이터가 누락될 수 있다. 이때 물체가 등 속직선운동을 한다고 가정을 한다면 물체의 궤적을 예측할 수 있게 된다. 즉 물체의 다음 위치를 예측하여 그 위치를 표현해 주어야 하는 필터링 작업이 칼만필터이다. 칼만필터를 사용함으로써 데이터플로우(data flow) 중간 중간 누락된 데이터를 예측하고 이에 따른 데이터의 신뢰성을 높일 수 있다. 칼만필터 적용이후 실제로 움직이지 않는 물체가 검지될 때를 제외하기 위해 고스트 제거 작업도 진행하는데 이는 5개의 파라 미터를 각각 조정하여 제거한다.

    칼만필터 필터는 루돌프 칼만에 의해 고안된 필터이다(Rudolph, 1960). 오차의 제곱의 평균의 제곱근(root mean square)을 최소화하여 시간에 따른 움직임을 예상한다. 이때, 시간에 따른 현재 상태는 바로 이전 상태 에만 의존하는 마르코프 연쇄(Markov chain)를 따른다(Yaakov et al., 2011). 바로 이전 상태는 모든 과거 정보 를 압축하고 있다고 할 수 있다. 따라서 과거 상태가 주어졌을 때 현재 상태에 대한 확률 분포를 수식으로 나타내면 식 (1)과 같다. 칼만필터의 처리 과정은 예측 단계(prediction step)와 보정 단계(update step)가 있다. 첫 번째로 예측 단계에서는 현재 추적하는 물체의 물리적 성질을 활용하여 다음 시간에 대상의 상태를 예측 한다. 보정단계에서는 기존의 물리적 성질을 이용해 예측한 상태와 현재 측정한 상태를 각각 가중치를 곱해 평균을 낸 후 새로운 상태 추정치를 추정한다. <Fig. 3>는 마르코프 연쇄에 따른 칼만필터의 처리과정을 개 략적으로 보여준다.

    p x x + 1 x 1 ,..., x k = p x x + 1 x k
    (1)

    칼만필터로 데이터의 누락 값을 채우고 움직이는 물체의 향후 움직임을 예측 한 후 고스트를 없애는 작업 이 남아있다. 이때 본 연구에서는 <Table 1>의 5가지 변수를 이용해서 고스트의 가능성을 제한한다. 첫 번째 변수인 vMV(velocity Moving object Vertical)는 움직이는 물체의 세로 속도다. 세로속도가 일정 이상 되는 것 을 검지하여 검지율을 높인다. 두 번째변수는 vMH(velocity Moving object Horizontal)이다. 이는 물체의 가로 속도를 의미한다. 물체의 가로 움직임을 파악해 일정 움직임 이하는 움직이는 물체로 인식하지 않는다. 세 번째와 네 번째는 각각 dMV(distance Moving objcet Vertical)와 dMH(distance Moving object Horiznotal)를 의미 한다. 레이더 센서에서 물체를 처음 감지하고 몇 미터를 움직여야 움직이는 물체로 인식할 것인지 정하는 변 수이다. 이를 통해 미세한 움직임을 통해 검지되는 데이터들을 거를 수 있다. 마지막 변수는 RCS(Radar Cross Section)의 분산 값을 의미한다. RCS는 레이더 센서를 통해 나간 주파수의 반사파를 측정하는 기준 중 의 하나로써 검지되는 물체의 매질, 구조, 크기 등을 알 수 있게 해주는 기준이다. 이때 움직이는 물체는 RCS 값들의 분산(Variance)의 변화량이 크고 움직이지 않는 물체는 RCS 값들의 분산의 변화량이 거의 없다. 이를 통해 고스트를 효과적으로 제거할 수 있다.

    3.비전 센서

    비전 센서의 경우 호모그래피(Homography)를 활용해 물체 검지 구간을 설정하여 계산양을 낮추고 영상 내 좌표를 레이더 센서 좌표와 비전 센서의 좌표와 일치 할 수 있도록 만들어준다. 또한 가우시안 혼합모델을 통한 MOD(Moving Object Detection)를 진행함으로써 고스트의 발생에 의한 오검지를 최소화 할 수 있다.

    앞에서 얘기한 것처럼 레이더 센서는 고스트가 발생할 우려를 가지고 있고 실제 차량이 아닌 주변 물체를 오검지할 우려가 있다. 이에 따라 비전센서를 이용한 가우시안혼합모델을 활용해 서로 일치하는 것만을 물 체로 인지한다. 가우시안 혼합 모델은 윤곽선을 추출하여 객체와 배경을 각각 분리한다. 영상 내 각 픽셀은 시간에 흐름에 따라 일정한 가우시안 분포를 가지게 된다. 이는 식 (2)를 통해 알 수 있다(Narayan, 2002). 확 률밀도 함수 f는 가우시안 분포를 따르고 μk는 전체 n개의 프레임 가운데 k번째 프레임의 평균값을 의미한 다. σ k 2 은 k번째 프레임의 분산을 의미한다(Zoran, 2004).. 이때 가우시안 혼합 모델은 이러한 전제조건 하에서 픽셀 값에 대하여 표준편차와 평균이 일정한 범위 내에 있는 부분을 일치시킨 후 데이터를 큰 순서대로 정 리하여 배경을 분리한다. 이를 통해 배경의 정확도를 높이고 움직이는 물체를 구별할 수 있게 한다(Lee et al., 2015).

    f X μ k , σ k 2 = 1 2 π n / 2 σ 1 / 2 exp 1 2 X μ k σ 1 X μ k
    (2)
    X = x 1 , x 2 ,..., x n , k = 1 , 2 ,..., n

    4.종합 모듈

    종합 모듈은 레이더 센서와 비전 센서의 영상 내 대응을 최우선으로 한다. 이때 위에서 말한 40 × 50 행 렬을 기준으로 좌표 값을 작성하여 그 좌표 값에 대응되도록 한다. 호모그래피 변환을 통해 40 × 50 행렬을 변환하고 그 변환된 이미지를 영상 내 화면에 투영시켜 비전 센서의 감지 구간과 레이더 센서의 검지구간을 동일한 좌표 내에서 대응되도록 진행한다. 레이더 센서 좌표와 실제 영상 내 좌표는 거리감에 따른 원근감의 차이가 존재할 수밖에 없다. 이를 해결하기 위해 좌표를 화면에 맞게 변환한다. 이때 호모그래피를 사용한다.

    호모그래피는 2차원 영상의 좌표를 3차원 영상에 대응시킬 수 있도록 좌표 값에 대한 변환이 가능하다. 호모그래피를 진행할 때 레이더 센서 검지구간의 4개의 가상 좌표를 실제 영상 공간 내 4개 좌표에 각각 대 응시켜 영상과 실제 측정 구간사이의 좌표 값 변동을 최소화한다. 이때 식은 식 (3)과 같다.

    x y 1 = H x y 1
    (3)
    H = h 1 h 2 h 3 h 4 h 5 h 6 h 7 h 8 h 9
    (4)
    AH = 0 where  A = x y 1 0 0 0 x x x y x 0 0 0 x y 1 y x y y y and  H = h 1 h 2 h 3 h 4 h 5 h 6 h 7 h 8 h 9 T
    (5)

    이때 H는 호모그래피 변환 행렬(homography transform matrix)이며 식 (4)와 같다. 이때 행렬 H는 식 (5)을 통해 구할 수 있다. 위와 같은 A가 있을 때 AH = 0을 만족하는 행렬 H의 각 원소들을 구하는 것이다. x, y는 레이더 센서 검지구간을 가상으로 나타낸 가상 위치 좌표이고 x’, y’는 내 영상 내 위치좌표이다(Benhimane et al., 2007). 레이더 센서 검지구간은 40 × 50 행렬(matrix)로 구성했으며 이때 좌표표현의 용이성을 증대시 키기 위해 가로좌표의 범위를 –20부터 20까지 세로 좌표의 범위를 0부터 50까지 정해 영상 내 정합성을 높 였다. <Fig. 4>는 해당 레이더 센서의 가상투영 좌표를 영상 내 좌표로 호모그래피를 이용해 변환한 모습이 다. 이때 영상 내 좌표는 레이더 센서와 마찬가지로 하단 가운데 픽셀을 (0,0)으로 하여 우측 상단의 좌표를 (영상가로크기/2, 영상 세로크기), 좌측 상단의 좌표를 (-영상가로크기/2,영상 세로크기),로 나타낸다.

    레이더 센서상의 좌표와 영상의 좌표를 일치시키기 위해선 실제 위치에 마커(marker)를 세워둬 표시한 후 진행하는 것이 가장 합리적이다. 하지만 이때 매 경우마다 마커를 세우고 표시하는 건 현실적으로 불가능할 경우가 많다. 그래서 본 연구에서는 실제 레이더 센서에서 검출하는 3D 위치에 해당하는 검지영역을 영상 내에서 자유롭게 조정하여 레이더 센서와 영사간의 정합성을 높일 수 있도록 하였다. <Fig. 5>는 그 과정을 보여주는 UI이다. 영상 내 4개점의 위치를 영상 내 좌표와 대응시켜 한번만 초기 값을 설정하면 이후에는 추 가 수정 없이 매번 정확한 대응을 보일 수 있게 한다. <Fig. 6>은 변환과정을 자세히 보여주고 있다. <Fig. 6> 의 네 점에 있는 각각의 점의 번호는 <Fig. 5>의 각각의 변수와 대응된다. 대응되는 네 점의 위치를 차량의 검지 구간에 맞춰 바꿔준다면 효율적인 계산과 영상좌표와 레이더센서 위치좌표 정합이 가능하다.

    <Fig. 7>은 종합 모듈의 프레임별 처리 흐름도이다. 우선 맨처음 프레임에서 레이더 센서의 좌표 값과 비 전 센서의 좌표값의 평균 값인 pvr을 0으로 초기화한다. 레이더 센서로부터 들어온 비가공 데이터를 이용해 x,y 좌표 pr을 구한다. 이후 직전 좌표(prt-1)와 현재 좌표(prt)간의 차이가 일정 수준 이하라면 움직이지 않 는 것으로 분류하여 차량이 아닌 것으로 판단한다.

    다음은 비전 센서를 통해 들어온 검지객체의 좌표 값(pv)을 계산하고 레이더 센서의 차량검지 좌표 값인 pr과 비교한다. 두 센서 가운데 하나의 센서에서라도 검지 값이 존재하지 않을 경우 가장 최근 검지 값으로 대신한다. 이때 둘 사이의 거리 값이 일정 이상이라면 차량으로 인식하지 않는다. 즉 이는 검지 초반에 레이 더 센서와 비전 센서 모두 같은 차량을 검지한 이후부터 공통 차량으로 검지함을 의미한다. 그 이전 개별 검 지 데이터는 차량이라고 검지하지 않는다. 이때 문제점은 각 실험 초반 레이더 센서와 비전 센서간의 검지한 객체가 상이할 경우 발생하는데 이러한 문제는 실험 초반 약 10프레임 내에서만 발생했으며 이후 동시검지 가 되는 지점이 즉시 생성되었기 때문에 전체 검지에선 큰 문제점으로 나타나지 않았다.

    초반에 동시 검지한 차량을 기준으로 pvr값을 레이더 센서의 좌표와 비전 센서의 좌표의 평균으로 나타낸 다. 이때 pvr 값은 동시검지 프레임마다 갱신된다. 이후 차량의 추적은 가장 최신의 pvr값을 이용한다. 비전 센서 좌표와 레이더 센서 좌표는 최신의 pvr값과 비교하여 차량인지 아닌지를 판단하게 되는데 판단의 근거 는 좌우폭의 변화와 방향으로서 나눌 수 있다.

    일반적으로 도로에서 차량은 한 방향으로 움직이게 된다. 본 실험의 경우 아랫방향이다. 또한 pvr의 y값은 레이더 센서의 y값 보다 항상 크거나 같다. 이유는 <Fig. 10, 11>를 통해 설명할 수 있다. <Fig. 10, 11>를 보 면 레이더 센서의 차량 검지는 항상 차량의 전면부를 향하고 있다. 하지만 비전 센서의 차량 검지는 차량 전 체를 감싸고 있다. 이때 비전 센서의 좌표인 사각형의 중심 좌표는 항상 레이더 센서 좌표보다 y좌표가 클 수밖에 없고 pvr은 이러한 두 센서 간의 평균 좌표이므로 레이더 센서의 y좌표보다 작을 크거나 같을 수밖에 없다. 그렇기 때문에 pvr의 y값이 레이더 센서의 y 좌표보다 크거나 같고 x좌표의 변동폭이 일정 이하일 경 우 차량으로 검지한다.

    비전 센서의 경우 레이더 센서와 같은 방식으로 차량의 진행을 판단하지만 같은 시점에서의 비전센서 y좌 표는 pvr좌표의 y값보다 크거나 같다. 그렇기 때문에 비전센서 검지는 pvr좌표가 아닌 동시 검지하였을 때의 즉 최신의 pvr좌표가 갱신되었을 때의 비전 센서의 검지 좌표를 기준으로 하여 위와 같이 진행한다. 이때의 y좌표를 pvyt, 현재의 y좌표를 pvyn로 한다. 즉 현재의 비전 센서 검지 y좌표 pvyn과 기존에 pvr 갱신 당시의 비전 센서의 y좌표인 pvyt를 통해 방향성을 비교한다. 또한 마찬가지로 pvr의 x좌표와 현재 비전 센서의 검 지 좌표의 x좌표와 일정이상 차이가 나는지 검지한다. 이때 위의 과정을 거친 레이더 센서와 비전 센서의 좌 표 모두 실제 차량 검지 좌표로 인식한다.

    III.실험구성 및 결과

    1.실험구성

    실험은 아래 도로에서 진행하였으며 총 5개의 비디오 5대의 차량으로 진행하였다. 이때 검지구간은 세로 50m, 가로 4m로 설정하였다.

    <Fig. 8>은 레이더 센서 좌표 데이터를 영상 내 좌표로 대응 시킨 화면이다. 화면 내 흰 점선으로 표시 한 부분이 레이더 센서의 검지구간을 호모그래피를 이용해 변환 후 이미지화 시킨 부분이다. 앞에 설명한 레이 더 센서 가상 좌표계를 화면에 투영시켜 아래 그림과 같이 설정하였다. 실제 차량의 통행 구간만을 대상으로 하여 계산량을 줄이고 레이더 센서 좌표계와의 오결합 가능성도 낮추었다. 그림 내 빨간 점이 차량의 전면부 를 가리키는 걸 확인할 수 있는데 이는 레이더 센서의 최초 측정 부분을 화면에 표시하기 때문이다.

    하지만 문제는 <Fig. 9>같은 상황에서 발생할 수 있다. <Fig. 9>은 레이더 센서가 주변 물체를 오검지한 상 황에서 비롯한다. 차량의 전면부를 레이더 센서가 정확히 포착하였지만 차량 우측 건물을 물체로 인식하여 오검지 하였다. 이런 문제는 곧 정확도의 문제와 연계되기 때문에 영상 내 차량 검출의 처리가 추가적으로 필요한 부분이다.

    <Fig. 10>은 오검지시 비전 센서와 레이더 센서 간 대응 장면이다. <Fig. 10>의 표시된 네 점 모두 레이더 센서에서 차량으로 검지된 객체이다. 화면엔 차량을 제외한 3개의 추가 검출 객체가 보인다. 이는 레이더 센 서의 오검지를 의미하며 이때 비전 센서를 통한 검지와 융합하여 검지함이 필요한 부분이다. <Fig. 10>에서 와 같이 레이더 센서 오검지 시에 영상 내 가우시안혼합모델을 통한 이동물체 검지로 얻어진 물체를 중복 검지하여 오검지된 기타 객체를 제거할 수 있다.

    <Fig. 11>는 비전 센서 오검지와 레이더 센서 오검지 모두 차량을 오검지 했을 경우를 보여준다. 영상과 레이더 센서 모두 차량을 오검지 할 수 있다. 이때 <Fig. 10>에서 말한 것과 같이 비전 센서와 레이더 센서에 서 검출한 것 중 중복되는 좌표만을 차량으로 인지한다면 차량 검출의 효용성을 높일 수 있다.

    아래는 센서별 실험결과로서 움직이는 차량을 검지한 데이터로 작성하였다. TP(True Positive)는 실제 차량 을 센서에서 차량으로 검지한 경우, FP(False Positive)는 실제 차량이 아닌데 차량으로 인식한 경우(오검지한 경우)를 의미한다. FN(False Negative)는 실제 차량인데 센서에서 차량으로 검지하지 않은 경우를 의미한다. Precision은 정밀도로서 센서에서 차량으로 검지한 차량 중 실제 차량의 비율을 나타낸다. 구하는 식은 식 (6) 과 같다. Recall은 재현율로 실제 차량 중 센서가 차량으로 검지한 비율을 의미한다. 구하는 식은 식 (7)과 같 다. F-MEASURE 은 Recall과 Precision을 조화평균 낸 값으로 각 지표를 비교하는데 유용하게 쓰인다. 구하는 식은 식 (8)과 같다. Precision, Recall 그리고 F-MEASURE 모두 1에 가까울수록 좋은 결과로 인식된다. 이때 각 데이터는 모두 프레임별로 누적된 실험결과를 종합하여 작성하였다.

    Precision = TP TP + FP
    (6)
    Recall = TP TP + FN
    (7)
    F MEASURE = 2 × Precision × Recall Precision + Recall
    (8)

    2.실험환경 및 결과

    <Table 2>는 실험환경을 나타낸 표이다. 실험은 1월 17-18, 양일간 진행하였다. video1과 video2는 실험 첫 날 오후에 실험한 데이터이다. video3-5는 이튿날 오전에 실험한 데이터이다. 이때 video1의 차량은 다른 영 상에 비해 프레임이 긴 것을 볼 수 있는데 이는 해당 차량의 속도가 다른 차량에 비해 현저하게 느리게 진 행되었기 때문이다.

    <Table 3>은 레이더 센서 실험결과이다. 프레임별로 확인하였을 경우 차량에 대한 오검지가 많이 나온 것 을 Recall이 작음을 통해 확인할 수 있다. Recall이 작은 원인은 FN이 증가했기 때문이다. video3부터 video5 까지 Precision이 급격하게 안 좋아짐을 알 수 있다. 이는 오검지 중에서도 차량이 아닌 것을 차량으로 검지 한 경우가 늘었기 때문이다. 이는 센서 자체의 흔들림을 통한 오류로 볼 수 있으며 실험 당시 강풍에 의한 레이더 센서의 움직임에 따른 노이즈로 발생된 오류로 판단된다. 이럴 경우 다량의 정지 물체를 동적 물체로 오인하여 오검지하는 경우가 다량 발생할 수 있다.

    <Table 4>는 비전 센서 실험 결과이다. 영상에 따라 Recall값이 크게 차이나는 것을 볼 수 있는데 이는 실 제차량 중 센서가 차량으로 검지한 비율로서 영상내 조도 차량의 색, 건물 그림자등의 영향이 검지에 영향을 미쳤다고 할 수 있다. 하지만 레이더 센서에 비해 Precison이 현저하게 크게 나옴으로서 레이더 센서에 비해 오검지 비율이 낮은 모습을 보인다. 오검지 비율이 낮은 이유는 사용한 비전 센서는 노트북에 부착된 센서를 사용하였으므로 레이더 센서에 비해 흔들림이 적으며 또한 조도 역시 날이 좋아 비전 센서 검지를 용이하게 하였다. 이때 오검지는 차량이 아닌데 차량으로 검지하는 경우를 의미한다.

    <Table 5>는 비전 센서와 레이더 센서를 융합한 실험 결과이다. 앞 종합모듈부분에서 말한 것과 같이 기 존의 차량움직임에 방향성과 좌우 변동폭을 조사하여 두 센서가 각각 검지한 차량 역시 차량으로 판단할 수 있는 기준을 제시했다. 이로써 차량별 검지율이 상승한 것을 볼 수 있고 특히 레이더 센서 검지에 비해 Precision 부분이 많이 증가한 것을 알 수 있다. 이는 두 센서 모두 검지한 기존 좌표를 기반으로 향 후 좌표 를 구분하기 때문에 레이더 센서에서 보이는 차량이 아닌데 차량으로 인식하는 오검지를 줄일 수 있었기 때 문이다. 또한 Recall 값 역시 상승했는데 이는 FN이 하락했기 때문이다. 두 센서를 통해 검지하므로 기존 한 센서에서 검지한 것에 비해 검지율이 상승하고 그렇기 때문에 차량인데 차량으로 검지하지 않는 오류가 감 소하였다. 이때 video5에서는 비전 센서를 이용한 검지보다 Recall이 작은데 이는 초기 검지에서 센서와 비전 센서의 복합 검지가 이루어지지 못한 프레임으로 인해 FN이 작아져서 생긴 결과이다.

    <Fig. 12>는 센서별 F-MEASURE 성능을 평가한 차트이다. 이는 각 센서별 F-MEASURE를 평균 내어 차트 로 나타내었다. video5에서는 위에서 말한 것과 같이 Recall 이 비전 센서보다 작아지기 때문에 F-MEASURE 가 비전 센서에 비해 작다. 하지만 전체적으로 두 센서를 융합함이 더 좋은 결과를 보인다. 이로써 두 센서 를 융합함으로써 전체적인 성능이 향상됨을 알 수 있다.

    IV.결 론

    본 논문에서는 레이더 센서와 비전 센서를 활용한 물체검지 장치에 대한 연구를 진행했다. 레이더 센서는 고스트나 상태변화에 따른 오검지의 우려가 있어 정확도의 문제를 보이게 된다. 비전 센서의 경우 날씨나 흔 들림 그리고 조도 등 기타 주변상황에 많은 영향을 받기 때문에 정확도의 문제점을 보인다.

    본 논문에서는 이에 센서 융합을 통한 복합검지시스템을 구상하였고 실험하였다. 복합검지시스템은 실시 간 레이더 센서 물체탐지를 화면에 보여준다. 이때 추적의 정확도를 높이기 위해 추적예측필터인 칼만필터 를 사용한다. 또한 RCS 값을 조정하여 차량의 유무를 파악하고 노이즈를 제거한다. 이러한 방법은 레이더 센서를 활용하여 차량을 검지하는데 높은 정확도를 보여줄 수 있다. 하지만 이럼에도 불구하고 오검지의 문 제는 여전히 존재한다. <Table 3>에 보면 오검지 상당히 많음을 알 수 있는데 이는 레이더 센서에서 방사하 는 펄스의 주변부에 의한 난반사와 센서 자체의 흔들림 등이 원인으로 보인다. 이는 레이더 센서만 가지고는 정확도 향상이 부족하다는 결과를 말하고 있다.

    마지막으로 비전 센서를 통한 검출은 검출의 한계를 보였다. 비전 센서를 통한 검지는 가우시안 혼합모 델을 사용하였다. 가우시안 혼합모델은 고정된 시야 내에서 각 픽셀은 시간의 흐름에 따라 가우시안 분포 를 따름을 이용한다. 만약 물체가 움직인다면 물체 내 픽셀은 기존의 가우시안 분포를 따르지 않는다. 가우 시안 혼합 모델은 이과정을 이용해 물체를 검지한다. 수많은 실험에 의해 설정된 임계치의 값으로 영상 내 검출을 꾸준히 검지하여야 하였으며 또한 중간 중간 레이더 센서와 같이 오검지의 문제 역시 보였다. 또는 중간에 물체를 놓치는 경우 역시 포착했다. 이 역시 비전 센서 하나만 가지고 물체검지는 어렵다는 문제에 다다랐다.

    본 논문에서는 센서간 융합을 이용해 차량의 검지율을 증대시켰다. 각 센서의 검지구간을 관심영역 안으 로 한정하여 계산량을 줄였고 레이더 센서 및 비전 센서의 관심영역 밖 오검지 또한 제거할 수 있게 하였다. 또한 두 센서에서 각각 검지된 차량의 정확도를 높이기 위해 차량에 방향에 따른 검지율 향상 알고리즘을 제시하였다. 이후 화면을 통해 사용자가 직관적으로 차량을 검지하고 인지할 수 있도록 호모그래피를 통해 레이더 센서의 검지영역과 비전 센서의 검지영역을 일치시켜 화면에 보여지게 하였다. 이를 통해 차량을 화 면 내에서 검지하는데 있어 각 센서의 누락값을 서로 보완하여 좀 더 높은 검지율을 보여주게 되었다. 제안 한 모형은 1차로 도로에서 검증하였다. 하지만 다차선 도로에서는 차량의 끼어듬이나 차량의 차선변경 등 다양한 도로 내 변수가 존재한다. 또한 도로 내 사정에 따른 정면시야가 아닌 경우 차량을 어떻게 검지할 것 인지에 대한 연구는 추후로 필요해 보인다. 다차로에서의 물체 검지를 통해 보다 높은 정확도를 보일 수 있 도록 하는 추가적인 연구가 필요해 보인다.

    ACKNOWLEDGEMENTS

    "본 연구는 미래창조과학부 및 정보통신기술진흥센터의 대학ICT연구센터육성 지원사업 의 연구결과로 수 행되었음" (IITP-2016-H8501-16-1019)

    이 논문은 2016년도 정부(미래창조과학부)의 재원으로 정보통신기술진흥센터의 지원을 받아 수행된 연구 임 (No. R7520-16-0005,작업자 및 사회적약자 맞춤형 근골격 안전시스템 구현을 위한 복합 3D 프린팅 활용 창의 기술 개발)

    Figure

    KITS-16-2-140_F1.gif

    ARS308 Radar sensor

    KITS-16-2-140_F2.gif

    System process flow chart

    KITS-16-2-140_F3.gif

    Kalman filter process

    KITS-16-2-140_F4.gif

    Coordinates transform

    KITS-16-2-140_F5.gif

    Homography UI

    KITS-16-2-140_F6.gif

    Homography transform process

    KITS-16-2-140_F7.gif

    Fusion module process flow chart

    KITS-16-2-140_F10.gif

    when radar sensor detect wrong object, vision sensor detection can choose which object is right object.

    KITS-16-2-140_F11.gif

    When both radar sensor and vision sensor do wrong detect, only one object is detected by both sensors.

    KITS-16-2-140_F8.gif

    Radar sensor detection

    KITS-16-2-140_F9.gif

    Radar sensor wrong detection

    KITS-16-2-140_F12.gif

    F-MEASURE performance for each sensor

    Table

    Radar sensor parameter

    Experiment environment

    Radar sensor experimental result

    Vision sensor experimental result

    Radar sensor and vision sensor experimental result

    Reference

    1. Benhimane Selim , Ezio M (2007) “Homography-based 2d visual tracking and servoing” , The International Journal of Robotics Research, Vol.26 (7) ; pp.661-676
    2. Blackman S , Popoli R (1999) Design and analysis of modern tracking system, Artech Hous, ; pp.23-25
    3. Choi Y , Lee G , Cho G (2007) “Utilizing LiDAR Data to Vehicle Recognition on the Road” , The Journal of Korean Association of Geographic Information Studies, Vol.10 (4) ; pp.179-188
    4. Foresti G L , Vittorio M , Carlo R (1999) “Vehicle recognition and tracking from road image sequences” , IEEE Transactions on Vehicular Technology, Vol.48 (1) ; pp.301-318
    5. Haselhoff A , Anton K , Georg S (2007) “Radar-vision fusion for vehicle detection by means of improved haar-like feature and adaboost approach”, ; pp.2070-2074
    6. Lee O , Won I , Lee S , Kwon J (2015) “On-Road Car Detection System Using VD-GMM 2” , The Journal of Korean Institute of Communications and Information Sciences, Vol.40 (11) ; pp.2291-2297
    7. Liu X , Sun Z , He H (2011) “On-road Vehicle Detection Fusing Radar and Vision” , Vehicular Electronics and Safety(ICVES), ; pp.150-154
    8. Narayan S (2002) “Vision-based vehicle detection and tracking method for forward collision warning in automobiles”, Vol.2 ; pp.626-631
    9. Rudolph E K (1960) “A new approach to linear filtering and prediction problems” , Journal of basic Engineering, Vol.82 (1) ; pp.35-45
    10. Yaakov B -S , Willett P K , Tian X (2011) Tracking and data fushion, YBS publishing,
    11. Yang S , Song B , Um J (2010) “Radar and Vision Sensor Fusion for Primary Vehicle Detection” , Jounal of Institute of Contorl Robotics and System, Vol.16 (7) ; pp.639-645
    12. Zoran Z (2004) “Improved adaptive gaussian mixture model for background subtraction”, Vol.2 ; pp.28-31

    저자소개

    Footnote