I.서 론

1.개 요

오늘날 교통정보 수집은 단순한 교통량 측정을 넘어 운전자의 사고예방과 도로면의 보수 및 도로의 계획 등에 활용되고 있다.(Oh et al., 2011) 이 같은 수요로 인하여 다양한 계측장비가 활용되고 적용기술 또한 고 도화되고 있다. 교통정보 수집을 목적으로 가장 보편적으로 쓰이는 장비는 루프검지기와 영상검지기를 들 수 있다. 루프검지기는 매설용 센서로 가격이 비교적 저렴하고 신뢰성 높은 정보를 수집할 수 있으나 도로의 교통량에 따라 유지보수 주기가 일정하지 않다. 또한 센서에 문제가 생길 경우 도로를 파쇄해서 보수해야 하 므로 교통흐름에 미치는 영향이 크고 현장근로자의 안전성 문제를 고려해야하는 단점이 있다.(Police Science Institute, 2012)반면, 영상검지기의 경우 그림자, 기상환경, 시야방해 등 환경요인으로 인한 잡음이 발생하여 검지 성능이 떨어진다는 단점이 있다.

현재 교통정보 수집 시스템의 연구동향은 단일 센서 시스템의 검지 효율을 향상시키는 연구와 계측정보 를 분석하여 병목현상, 사고발생 여부 등을 파악하는 연구는 활발히 진행되고 있으나 서로 다른 센서를 융합 하여 교통정보를 수집하는 연구는 미진한 수준이다. 따라서 본 연구에서는 설치 환경에 따라 생기는 잡음과 비용을 최소화하고 신뢰성 높은 교통정보를 계측하고자 환경변화에 강인한 센서 융합 기반 교통정보 수집 시스템을 제안한다.

융합 시스템은 단일 시스템을 순차적으로 작성하여 통합하는 방식으로 구현되었다. 이는 단일 센서 시스 템의 문제점을 분석하고 이에 대한 해결책과 특징을 반영하기 위함이다. 본 논문의 2장은 단일 시스템의 구 조와 각 센서의 측정치 처리과정에 대해 서술하고 실험 결과의 문제점을 도출한다. 3장은 융합 시스템의 구 조와 데이터 정합 과정, 융합 분류기의 처리 과정, 데이터 융합 시 고려되어야 할 점 등에 대해서 서술한다. 4장은 융합 기반 교통정보 수집 시스템의 구현방법과 U.I의 구성, 실험의 방법, 시스템 성능평가 등에 대해 서술한다. 5장은 결론으로 본 연구의 성과와 시사점에 대해 기술한다.

II.단일 시스템 구조

1.레이더

본 절에서는 융·복합 교통정보 수집 시스템에서의 레이더의 역할, 레이더 시스템 구성과 데이터 처리 과 정, FMCW 레이더의 신호처리 방법, 표적(관측 차량)의 동역학계 모델, 표적과 클러터(clutter)1)가 혼재된 다 중(multiple) 관측에서 확률적 데이터 연관(Probabilistic Data Association, PDA)을 활용해 표적을 구분하고 추적 하는 방법에 관해 서술한다.

교통 분야에 적용되는 레이더의 종류는 도플러 레이더, 펄스-도플러 레이더, 주파수 변조 연속파(Frequency Modulated Continuous Wave, FMCW) 레이더 등이 있다. 본 연구에서 사용하는 Continental사의 SRR-208은 FMCW 레이더의 일종으로 전파의 파장이 24Ghz로 짧고 <Fig. 1>과 같이 방위각 ±75°, 상하 ±12°에 대해 반 경 50m까지 탐지 할 수 있어 첨단 운전자 보조 시스템(Advanced Driver Assistance Systems, ADAS)의 제원으 로 활용되고 있다.

본 연구에서 레이더의 목적은 차량으로 추정되는 물체를 추적하고 추적 중인 물체의 속도를 측정하는 것 이다. 이를 달성하기 위해서 <Fig. 3>과 같은 데이터 처리 과정이 요구된다. 레이더에 내장된 신호 처리기 (Radar Signal Processor, RSP)는 수신기에서 처리한 IF(Intermediate Frequency) 신호를 받아 표적의 위치, 강도, 운동 상태 등의 변수를 추출한다. 취득한 데이터는 CAN 메시지 형식으로 통합 관제 시스템의 레이더 컴퓨 팅 쓰레드로 전송되며 확률적 데이터 연관 필터링 과정을 거쳐 표적을 추적하고 상태를 보정한다. 통합 관제 시스템은 보정된 표적의 상태와 타 센서 정보를 복합적으로 관리하고 이동 평균필터를 적용한 의사결정 방 식으로 개선된 정보를 관제사에게 제공한다.

1)문제의 설정 및 접근 방법

레이더 시스템에서 물체 추적이란, 산발적으로 발생하는 데이터 집합을 정합하고 물체의 좌표를 시시각각 측정하여 물체의 경로와 위치를 추정하는 것을 의미한다. 실제 레이더에서 계측되는 측정치는 <Fig. 2>와 같 이 한 개의 차량이 존재함에도 불구하고 클러터가 혼재되어 있는 형상을 띄고 있다. 또한 이 상태로는 t시간 에서의 데이터와 t + 1 시간의 데이터 간의 관계를 규명하기 힘들다. 이 같은 문제를 합리적으로 해결하기 위 해 본 시스템에서는 확률적 데이터 연관 필터를 활용한 물체 추적 기법을 적용한다. 확률적 데이터 연관 필 터는 데이터 연관(data association)과 칼만 필터(Kalman filter)를 응용하여 추적하는 대상 물체의 측정치를 예 측하고 이와 확률적으로 가까운 관측치를 추적에 반영하여 물체의 상태를 보정한다.

앞 서 언급한 칼만 필터(Kalman, 1960)는 루돌프 칼만에 의해 고안된 재귀적 필터로 특정 시점에서의 상태 와 이전 시점의 상태가 서로 선형적인 관계를 가지고 있는 이산시간 선형 시스템(discrete linear system)에서 적용이 가능하다. 이는 상태의 평균 제곱근 오차(root mean square error)를 최소화하는 방향으로 동역학계 (dynamical system)의 시간에 따른 움직임을 예측한다. 이 때, 시간에 따른 동역학계의 현재(t) 상태는 바로 이 전(t – 1) 상태에만 의존하는 마르코프 연쇄(Markov chain)(Bolch et al., 2006)를 가정하므로 수식 1과 같이 바 로 이전 상태는 해당 동역학계의 모든 과거 이력을 함축한다고 볼 수 있다.

칼만 필터는 추적하는 대상의 물리적인 모델을 이용하여 다음시간의 물체 상태를 추정하는 예측 단계 (prediction step), 추정된 상태와 실제 측정된 상태간의 오차를 이용해 귀납적으로 상태를 개선하는 보정 단계 (update step)로 나뉘어 확률적 데이터 연관 필터 알고리듬에 적용된다.

다음은 확률적 데이터 연관 필터를 이용한 물체 추적 과정을 도식화 한 것이다.

레이더는 일정 시간 마다 검지된 물체의 위치와 종·횡 방향 속도, 레이더 단면적 등을 포함하는 상태 측정 치를 CAN 규약에 따라 출력한다. 통합 관제 시스템의 레이더 컴퓨팅 쓰레드는 전송받은 데이터 스트림을 해석하여 배열구조로 관리한다. CAN 메시지 디코더에 의해 해석된 측정치는 이전 시간에 예측한 추정치와 의 마할라노비스 거리(Mahalanobis distance)를 계산하여 미리 정해둔 역치(threshold value)보다 작으면 유효 게이트(validation gate)에 포함(association)된다. 이 후 근접한 과거 이력을 조사하여 모든 추적 쌍(다중 추적 기)에 대해 유사도(similarity)를 계산한다. 유사도가 미리 정한 역치보다 작으면 과거 추적경험이 있는 물체로 보고 해당 쌍 중 하나를 제거(termination)하여 보정(update)한다. 만약 측정치가 어떠한 추적기의 유효 게이트 에도 포함되지 않는다면 이를 새 물체를 포착한 것으로 보고 초기화(initiation)한다. 보정 단계는 유효 게이트 에 포함된 각각의 측정치가 보정 단계에 기여하는 정도를 나타내는 가중치를 계산하여 물체의 새 상태를 보 정한다. 본 시스템은 이 같은 과정을 반복하여 차량을 추적한다.

2)동역학계 모델

표적(관측 차량)의 운동은 차원 직교좌표계에서 다음의 선형 차분 상태방정식으로 표현될 수 있다.

각 변수의 의미는 다음과 같다.

χ_k : 상태변수, (n × 1) 열벡터

z_k : 측정변수, (m × 1) 열벡터

F : 시스템 상태전이행렬, (n × n) 행렬

H : 측정 상태전이행렬, (m × n) 행렬

w_k : 시스템잡음, (n × 1) 열벡터

υ_k : 측정잡음, (m × 1) 열벡터

여기서, x_k와 x . k를 직교좌표계상의 x-축에서의 위치와 속도 y_k와 y . k를 직교좌표계상의 y-축에서의 위치와 속도라고 정의하면 특정시간 k에서의 표적의 상태(state vector)는 χ_k로 나타낼 수 있다. z_k는 계측장비를 이 용해 실제로 얻은 측정치(measurement vector)다. w_k는 시스템에 입력되어 상태변수에 영향을 주는 잡음 (process noise)이며, υ_k는 센서로부터 기인하는 측정 잡음(measurement noise)이다. 시스템에서 잡음은 가우시 안 백색 잡음(white noise)으로 통계적 추정만 가능하므로 각각 다변량 정규 분포 N(0, Q_k) 와 N(0, R_k) 를 따 른다고 가정한다. 이 때, Q_k와 R_k는 공분산 행렬을 나타낸다. F 와 H 는 모든 성분이 상수인 상태전이행렬로 써, F 는 시간에 따른 시스템의 변화를 사상하고 H 는 측정값과 상태 변수의 관계를 나타낸다.

레이더 계측장비의 샘플링 주기를 T_s 라고 하고 측정된 위치 정보만을 이용해 표적을 보정한다고 할 때 표 적의 상태전이행렬과 측정 상태전이행렬은 다음과 같이 나타낼 수 있다.

3)확률적 데이터 연관 필터

확률적 데이터 연관 필터(Bar-Shalom and Tse, 1975; Liggins et al., 2017; Bar-Shalom et al., 2009)는 유효 게 이트 안에 포함되는 각 측정치가 필터의 보정 단계에 얼마나 기여하는지를 나타내는 가중치를 구해서 그 관 계에 따라 표적의 상태를 보정한다. 이는 다음의 4단계를 거쳐 이루어진다.

(1)예측 단계(prediction step)

확률적 데이터 연관 필터의 예측 단계는 칼만 필터의 예측 과정과 다르지 않다. 표적의 상태는 이전 시간 에 추정된 위치와 속도정보를 반영하여 다음과 같이 예측한다.

여기서, P_k|k-1 는 k–1 시점의 측정값을 토대로 한 k시점의 상태 공분산행렬이다.

(2)측정치 유효성 검증(measurement validation)

확률적 데이터 연관 기법은 표적과 클러터가 혼재된 환경에서 연관성이 높은 측정치를 추출하기 위해 마 할라노비스 거리를 활용한다. 이는 측정치가 이미 추정된 표적과 그 분포를 고려해서 멀리 떨어진 경우라면 실제 표적과 연관되어 있을 가능성이 적은 것에 기인한 것이다.

본 논문은 샘플링 주기마다 수신되는 모든 측정치들과 표적의 추정 위치들 간의 마할라노비스 거리를 계 산하여 적절한 유효 게이트 역치를 설정하고 게이트 내에 포함되는 측정치만을 추출하는 방법으로 다음의 수식을 이용한다.

여기서, γ는 유효 게이트의 역치이고 ν_k은 혁신(innovation), S_k^-1 은 혁신 공분산(innovation covariance), m_k 은 유효 측정치 개수를 의미한다.

위의 혁신과 혁신 공분산은 다음과 같이 정의된다.

즉, 혁신은 측정치와 예측 측정치간의 오차를 의미한다. 여기서, 수식 10을 다시 해석하면 Z는 측정치와 예측 측정치(predicted measurement) 간의 마할라노비스 거리가 일정 역치보다 작은 측정치들의 집합임을 알 수 있다. 혁신 공분산은 상태 공분산 행렬 P_k|k-1 의 앞뒤에 측정 상태전이행렬 H 와 이의 전치 행렬 H^T 의 곱 으로 표현된다.

예측 측정치 z ˆ k | k − 1 는 다음과 같이 정의된다.

여기서, 측정치의 예측 과정이 상태의 예측 과정과 정확히 대칭을 이루고 있는 것을 확인 할 수 있다.

(3)데이터 연관(data association)

데이터 연관은 측정치 유효성 검증을 통해 추출한 의미 있는 측정치를 표적과 클러터의 차원 밀도에 기인 한 비율에 따라 연관 확률(association probability) 즉, 가중치를 구하는 단계다.

여기서, i = 0일 경우 유효 게이트 내에 포함되는 측정치가 하나도 없음을 의미하고 P_D 는 검출 확률 (detection probability), P_G 는 게이트 확률(gate probability)로 게이트 내 표적이 포함될 확률을 의미한다. L_i,k는 클러터가 아닌 표적으로부터 기인하는 측정치의 가능도(likelihood)로 다음과 같이 정의된다.

여기서, λ는 클러터 밀도(density)로 측정 공간(measurement volume)에서 거짓 측정치가 차지하는 공간적 밀도(spatial density)를 나타낸다. 이는 다음과 같이 정의된다.

여기서, C_nz 는 n_z 차원 단위 초구의 체적(the volume of the dimensional unit hypersphere)이며 C_nz|γS_k|^1/2 는 유 효 게이트 영역의 체적(the volume of the validation region)이다.

(4)보정 단계(update step)

확률적 데이터 연관 필터는 칼만 필터의 상태 추정치 보정 과정을 응용하여 물체의 새 상태를 보정한다. 칼만 필터의 상태 보정 과정은 과거 이력을 토대로 한 상태 추정치에 칼만 이득과 혁신의 곱의 선형 결합으 로 새 상태를 보정하는 반면 확률적 데이터 연관 필터의 상태 보정은 혁신 대신 합성 혁신(combined innovation)을 이용한다.

여기서, W_k 는 칼만 이득(Kalman gain)이고 c.ν_k는 합성 혁신을 의미한다.

합성 혁신과 칼만 이득은 다음의 수식으로 구할 수 있다.

또한, 수식 17의 새롭게 추정된 상태에 대한 공분산은 다음과 같이 구해진다.

여기서, β₀ 는 모든 측정치가 게이트에 포함되지 않을 확률 즉, 표적으로부터 기인하지 않았을 확률을 1–β₀ 는 표적으로부터 기인하는 확률을 의미한다. P_k|k는 이들의 선형결합으로 이뤄진 형태로 볼 수 있다. 이 로써, 확률적 데이터 연관 필터는 유효 게이트 내에 포함되는 측정치들의 거리 척도에 따라 가까운 것에는 높은 가중치를 부여하고 상대적으로 거리가 먼 측정치에는 낮은 가중치를 부여함으로써, 상태를 보정한다.

<Fig. 5>는 레이더 시스템의 이론을 적용한 소프트웨어 구현결과를 나타낸다.

여기서, 회색은 클러터를 의미하고 흑색은 추정된 물체를 의미한다. 도표를 보면 많은 수의 클러터를 상쇄 시키는 것을 확인할 수 있다. 그러나 추적차량을 새로운 차량으로 오인하는 문제와 실제는 차량이 없으나 표 류하는 것으로 오인하는 현상이 관측되었다.

2.적외선거리계

본 절에서는 융·복합 교통정보 수집 시스템에서의 적외선거리계의 역할, 적외선거리계 시스템 구성과 데 이터 처리 과정, 잡음 제거 및 객체 검출 방법에 대해 서술한다.

본 연구에서 사용된 Leddar사의 sensor-evaluation-kit(이하, SEK)은 <Fig. 6>과 같이 반지름이 50m, 중심각 이 45°인 부채꼴 공간을 16분할한 점의 거리를 계측할 수 있다. 최대 측정주기는 0.01sec이나 외부 환경에서 실험한 결과 0.12sec로 설정하는 것이 가장 좋은 결과를 보여 이를 채택하였다. SEK을 도로 환경에 적용하기 위해서는 차선의 간격을 고려하여 설치 높이와 기울기를 조정해야 한다. 이는 곧 설정된 구간을 통과하는 차 량의 정보만 계측되고 검출된 정보가 하나 또는 다수 차량에 대한 정보인지가 불분명하다는 것을 의미한다. 그러므로 본 연구에서 적외선거리계의 목적은 검지구역에서 특정 시점에 검출된 타 센서의 검지가 실제 이 동 객체가 진입해서 발생한 것인지 아니면 오검출된 것인지를 파악하는 것이다.

적외선거리계의 데이터 처리 과정은 <Fig. 8>과 같다. SEK은 근적외선(near infrared ray)을 발광한 뒤 물체 에 반사되어 복귀하는 시각 차(time to flight, ToF)를 측정해 거리를 계측하고 이를 Modbus 형식으로 부호화 (encoding)하여 시리얼 데이터 통신 표준인 RS-485 통신으로 전송한다. 통합 관제 시스템의 적외선거리계 컴 퓨팅 쓰레드는 이를 해석하여 배열형태로 관리하고 잡음 제거 및 객체 검출 필터를 이용해 차량을 검출한다. 통합 관제 시스템은 이를 타 센서 정보와 융합하여 간선도로의 교통량을 파악한다.

1)잡음 제거 필터

적외선거리계는 전파 특성에 따라 태양광과 주변광(ambient light), 습도 등의 대기 간섭에 노출될 경우 잡 음으로 인해 계측거리 값이 튀는 현상이 나타날 수 있다. 이를 보완하고자 본 연구에서는 이전 이력과 현재 측정값의 차이를 계산하는 방식으로 잡음을 제거한다.

k시점의 계측 거리를 다음과 같이 정의하면,

다음과 같이 잡음 제거 필터를 표현할 수 있다.

여기서, w는 역치를 x_i,k는 k시점의 i검지영역에 대한 계측 거리를 의미한다. 즉, n_i,k는 두 번의 직전 이력 의 차가 모두 역치보다 클 경우 참값을 갖고 그렇지 않은 경우 거짓 값을 갖는다. 이는 객체 검출 필터에 적 용되어 적외선거리계의 잡음을 제거한다.

2)객체 검출 필터

교통 분야에서 적외선거리계는 광다이오드2)를 사용하여 검지 할 수 있는 영역을 미리 설정해 두고 이 영 역을 통과하는 차량을 검출하는 데 이용된다. 본 연구에서는 근적외선을 발광하여 반사되는 ToF를 측정해 거리를 계측하고 이를 이용해 도로 표면으로부터 계측한 거리와 통과한 차량으로부터 계측된 거리의 차이를 계산하는 방식으로 차량을 검지한다.

차량 검지 수식은 다음과 같다.

여기서, γ는 역치를 C_i 는 적외선거리계부터 도로표면까지의 거리를 x_i,k는 현재 측정치를, z_i,k는 k시점의 i 검지영역의 검출상태를 표현하는 논리 값을 나타낸다.

적외선거리계부터 도로 표면까지의 거리는 다음과 같이 구할 수 있다.

여기서, C_i 는 초기 시스템이 설치되면 상수화 되는 값으로 r시간 동안 i검지영역의 거리를 계측해 얻은 거리의 평균값을 의미한다.

<Fig. 7>은 차량과 센서를 동일 선상에 두고 두 대의 차량이 진입하는 단계에서 얻게 된 결과다. 여기서, 청색은 객체검출 필터만 적용한 데이터에 해당되고 적색은 2가지 필터 모두를 적용한 사례를 나타낸다. 관 측결과 두 차량 모두 관측되었고 측정값이 튀는 잡음을 제거한 것을 확인할 수 있다.

3.단안카메라

본 절에서는 융·복합 교통정보 수집 시스템에서의 카메라의 역할과 차량 영상을 학습하여 차량 검출 분류 기를 설계하는 과정 즉, 영상에서 특징을 추출하고 추출된 특징을 기반으로 다단계 분류기(cascade classifier) 를 설계하는 과정에 대해 서술한다.

교통 분야에서 영상을 이용한 차량 검지 기술(Police Science Institute, 2012)은 가상 루프(virtual line) 방법과 영상 추적(video image tracking) 방법(Hadi et al., 2014)으로 발전되어 왔다. 가상 루프 방법은 루프검지기의 차량검지 방식을 응용한 것으로 차선에 가상의 영역(zone)을 설정하고 차량이 그 위를 통과할 때 발생하는 픽셀의 변화를 분석하여 차량의 속도와 통과 시간, 통행량 등을 산출하는 방법이다. 영상 추적은 검지영역을 주행하는 차량으로 인해 발생되는 픽셀의 움직임을 추적하는 방법으로 역주행, 교통사고 등에 의한 돌발 상 황 감식, 교통량 파악 등에 활용된다. 영상 추적을 구현하는 방법은 윤곽 기반, 3차원 모델 기반, 특징 기반, 패턴 기반 추적 등으로 나뉠 수 있다.

본 연구에서 단안카메라는 융합 알고리즘의 파라미터로서의 역할과 최종 검지된 차량을 찍는 용도로 활 용된다. 이 같은 목적을 달성하기 위해 본 연구에서는 특징 기반 모델에 속하는 Haar-like feature와 기계학습 알고리즘에 속하는 Adaboost를 이용한다.

영상의 특징 기반 분류과정은 <Fig. 9>와 같이 도식화 할 수 있다. 본 연구에 사용된 단안카메라는 Microsoft사의 Lifecam studio로 최대 1920x1080 해상도로 비디오 녹화가 가능하다. 내장 CMOS 이미지 센서 에 의해 캡처된 영상은 H.264방식으로 인코딩된다. 본 시스템은 실시간 처리를 고려하여 640x480 해상도의 영상을 15 FPS(frames per second) 속도로 전송한다. 통합 관제 시스템의 카메라 컴퓨팅 쓰레드는 이를 수신 받아 복호화하고 학습된 Adaboost 분류기를 이용하여 차량을 검출한다. 통합 관제 시스템은 검출된 영역정보 와 타 센서 정보를 융합하여 개선된 교통정보를 관제사에게 제공한다.

1)Haar-like feature 추출

Haar-like feature(Viola and Jones, 2001)는 C.P. Papageorgiou와 M. Oren 등에 의해 고안된 Haar wavelet(Papageorgiou et al., 1998)을 확장시킨 방법으로 두 개 이상의 인접한 사각형 영역의 밝기차가 일정 역 치를 넘으면 객체가 있다고 가정하고 해당 특징을 추출한다. 이는 <Fig. 10>과 같이 다양한 형태의 특징으로 확장될 수 있으며 영상 내 특정 영역에 대한 특징들의 조합으로 객체를 구분한다.

2)적분 영상을 이용한 연산시간 단축

적분 영상(integral image)이란 수식 27과 같이 특정 영역의 밝기 합을 구하는 것으로 이를 Haar-like 특징 값 계산에 활용하면 영역 크기와 상관없이 단일 특징 값을 상수 시간에 계산할 수 있다.

Haar-like 특징은 동일한 특징이라 할지라도 객체 내에서의 크기와 위치에 따라 상이한 특징으로 간주되기 때문에 거의 무한대에 가까운 특징 조합이 가능하다. 만약 시행 때마다 단일 영역의 RGB값을 이용하여 특 징 값을 계산하면 다항 시간이 소요된다. 그러므로 본 시스템에서는 적분 영상을 활용해 <Fig. 11>과 같이 특정 위치마다 누계된 적분 영상을 활용하여 Haar-like 특징 값을 효과적으로 계산한다.

3)Adaboost 알고리듬을 이용한 특징 선택

본 연구에서는 차량 검출을 위해 Adaboost (adaptive boosting) 알고리듬을 활용한다. Adaboost 알고리듬 (Freund and Schapire, 1997)은 Y.Freund와 R.Schapire에 의해 고안된 메타학습 알고리듬3)의 한 종류로 다단 계 구조를 가진다. 이는 예측 성능이 낮은 약 분류기(weak classifier)들을 선형적으로 결합하여 좋은 검출 성능을 발현하는 강 분류기(strong classifier)를 생성한다. Adaboost 알고리듬의 전체적인 수행과정은 다음과 같다.

위 알고리듬은 부여된 번호에 따라 절차적으로 실행된다. 우선 차량영상과 배경영상을 구분지어 학습영상 을 입력하고 학습영상의 중요도를 나타내는 가중치를 초기화한다. 이 후 단계는 약 분류기를 생성하는 단계 로 잘못 분류한 영상의 가중치를 증가시켜 다음번 학습에서 이 영상에 더욱 집중할 수 있도록 하는 역할을 한다. 즉, 이전 분류기의 결점을 보완하는 방향으로 학습이 이뤄지도록 하는 것이다. 이를 반복적으로 수행 하여 학습과정에서 유효특징으로 판단된 약 분류기들을 도출할 수 있고 이를 직렬로 연결하여 다단계 구조 의 강 분류기를 설계한다. 이는 영상에서 차량영상이 포함되지 않는 영역을 제외시켜 차량과 유사한 영역에 연산을 집중할 수 있도록 한다.

본 논문에서는 <Fig. 12>와 같이 고속도로 이미지에서 150x150 미만의 해상도를 갖는 1024개의 positive 영상과 1500개의 negative 영상을 기반으로 관심영역(sub-window) 내에서 Haar-like 특징의 크기와 위치를 바 꿔가며 학습을 지속한다.

학습된 분류기로 차량검지 테스트를 한 결과 <Fig. 13>과 같은 결과를 얻을 수 있었다. 그림의 좌측은 중 첩(overlap)검출된 사례에 해당되고 중간은 오분류된 사례, 우측은 정확히 검출한 사례에 해당한다. 초기 시 스템을 640x480 해상도와 15FPS 전송속도로 설정하여 연산량 초과로 인한 지연현상은 발생되지 않았으나 다량의 오분류와 중첩이 발생하는 것을 확인할 수 있었다.

III.통합 시스템 구조

본 절에서는 단안카메라, 레이더, 적외선거리계의 검출 정보를 융합하여 환경변화에 강인한 검지기를 설 계하는 방법에 대해 서술한다.

본 연구에서는 <Fig. 14>와 같이 3개의 서로 다른 센서에 기인한 검지 정보를 정합하기 위해 동차좌표 (homogeneous coordinates)를 이용한다. 동차좌표는 n차원의 사영공간 좌표를 n + 1차원 좌표로 나타내는 것으 로 투영변환을 활용해 동치좌표를 구하게 된다. 이 후 다중 센서 정보를 융합하여 의사결정을 시행하고 개선 된 교통정보를 관제사에게 제공한다.

1.호모그래피

호모그래피(homography) 또는 투영변환(projective transformation)이란, 한 평면을 다른 평면에 투영시켰을 때 투영된 대응점들 사이에 일정하게 성립하는 변환관계를 가리킨다. 이를 이용하면 지면좌표로 대응되는 레이더의 계측 좌표를 영상좌표로 투영시킬 수 있다.

투영변환 수식(Dubrofsky, 2009)은 다음과 같다.

여기서, s는 0이 아닌 크기 요소(scale factor)이고 H 는 호모그래피 행렬(homography matrix), x, y는 지면좌 표로 대응되는 레이더의 추적 좌표, x’, y’는 추적 정보를 투영시키기 위한 영상좌표에 해당한다.

수식 28을 만족시키는 행렬 H 를 구하기 위해 다음의 DLT(Direct Linear Transformation) 수식을 이용한다.

여기서, 호모그래피 행렬을 구하는 것은 관계행렬 A가 주어졌을 때 수식 30을 만족시키는 h를 구하는 것 으로 대응된다.

<Fig. 15>는 직교좌표계를 지면을 고려한 좌표계로 투영변환 한 것이다. 직교좌표계는 레이더의 계측영역 을 고려하여 영상 내에 가상의 40x50 행렬을 생성했다. 이 때 원점은 가로 축 중심선과 세로축 최하단선이 만나는 지점으로 설정했다. 이 때 투영변환은 실험환경을 고려하여 계측 값을 조정(calibration)한 뒤 지면 좌 표계로 투영되게 되고 동시에 관심영역(Region of Interest, ROI)으로 지정된다.

2.빈도 기반 이동 평균 필터

다중 센서의 융합은 센서 간의 측정 주기가 서로 맞지 않아 발생되는 동기화 문제와 다량의 연산으로 인 한 지연 문제를 고려해야 한다. 본 시스템에 적용한 빈도 기반 이동 평균 필터(frequency-based moving average filter)는 이동 평균 필터를 변형한 것으로 동기화 문제를 가장 빠른 센서의 측정주기를 융합 분류기 의 갱신주기로 설정하고 갱신 시점에 취하고 있는 값을 재갱신하는 방법으로 해결한다.

융합 분류에서 다량의 연산으로 인한 지연문제는 공유자원의 제어권을 동시에 취득한다는 점에 있어서 신속한 처리가 요구된다. 이 같은 문제는 상수시간에 연산이 가능한 다음 수식으로 해결하고자 한다.

각 변수의 의미는 다음과 같다.

r : 레이더의 논리값

f : 적외선거리계의 논리값

c : 카메라의 논리값

i : 검지영역의 식별번호

j : i에 이웃한 검지영역

s : 윈도우크기

w : 가중치

γ : 역치

여기서, 수식 33은 t가 갱신될 때 마다 누계되며 각 센서의 논리 값은 검지여부를 의미한다. 수식 34는 i 영역에 대한 적외선거리계의 검지결과가 참일 때 실행되는 수식으로 각각의 누계된 검지 결과의 중요도에 따른 가중치를 부여하고 이를 윈도우 크기로 나눈다. 만약 연산의 결과가 미리정한 역치보다 크면 차량이 검 지된 것으로 분류하고 해당하는 검지구역의 영상과 차량의 속도, 통과시간, 검지영역(차로)을 최종 기록하게 된다.

IV.구현 및 평가

본 절에서는 센서 융합 기반 시스템의 프로세스 구조와 단일 시스템에서 발생되었던 문제를 해소하기 위 한 방법, U.I 구성에 대해 설명하고 단일 센서의 검지 성능과 융합 시스템의 성능을 비교 평가하고자 한다.

1.융합 기반 교통정보 수집 시스템 구현

본 시스템은 환경에 따른 파라미터 수정 및 관측결과를 실시간으로 확인하기 위해 Qt 프레임워크로 개발 되었다. 프로세스 구조는 총 4개의 독립적인 멀티쓰레드로 구성되고 각 센서의 쓰레드는 측정주기 마다 측 정된 원자료(raw data)를 규약에 따라 파싱하고 분류기 또는 추적기에 의해 검지된 차량정보를 공유자원 (shared resource)에 전송한다. 메인 쓰레드는 사용자 이벤트 처리, 프로세스 이벤트 처리, 관측정보 업데이트, 융합 분류기의 계산 등을 관장하게 된다. 이는 초기 시스템 설치 시 환경에 맞춰 설정된 검지영역 내에 검출 이벤트가 발생하면 이동 평균 필터를 호출하여 공유자원의 제어권을 넘겨받는다. 이 때, 공유자원은 세마포 어(semaphore)를 사용하여 데이터의 무결성을 확보했다.

융합 시스템은 단일 시스템을 순차적으로 작성하여 통합하는 방식으로 구현되어 단일 센서 만을 이용한 검지 또는 추적결과가 어떠한 문제가 있고 통합시스템에서 그 문제를 어떻게 해결할 수 있을지를 분석하였 다. 그 결과 실험환경의 높이, 기울기, ROI, 기상환경, 복잡성 등에 따라 적외선거리계의 불안정성 증가, <Fig. 5>와 같은 레이더 추적기의 표류 물체와 클러터의 증가, 영상의 특징 분류가 <Fig. 13>과 같이 중첩되 거나 오분류되는 문제가 발생하는 것을 확인할 수 있었다. 융합 시스템 작성 시 이 같은 환경 변수에 의한 문제를 최소화하고 관제사가 현장에서 당면한 문제를 능률적으로 해결할 수 있도록 센서의 역치와 높이, 기 울기 등을 수정할 수 있는 입력란과 현장의 도로면 상태에 따라 수정이 요구되는 호모그래피를 신속히 수정 할 수 있도록 <Fig. 16>과 같이 설정 탭을 작성하였다. 여기서, 녹색 사다리꼴 형태는 호모그래피를 이용해 지면좌표를 영상좌표로 변환한 결과이고 적색 점은 레이더 추적결과, 적색 사각형은 영상 검지결과, 원의 호 형태를 하고 있는 흰색 띠는 적외선거리계의 검지영역을 나타낸다.

2.실험 및 평가

본 연구의 실험은 환경에 강인한 시스템의 성능을 평가하기 위하여 보행자의 통행이 가능한 도로(인천광역 시 남구 인하로 100)에서 ‘17년 1월 2~4일 주간 3시간 40분 동안, 10~11일 야간 2시간 20분 동안 진행되었다.

융합 시스템과 단일 시스템의 성능 비교평가를 위해 센서들간 상이한 측정영역을 <Fig. 17>과 같이 적외 선거리계 검지구역과 ROI의 교차영역으로 통일시켰다.

평가의 기준은 다음과 같다.

<Table 1>은 위의 평가 기준을 적용하여 135대의 통과차량을 관측 조사한 결과이다.

여기서, V.D는 차량검지 횟수를 O.D는 비 대상 객체의 검지횟수, Stab.는 안정성 즉, 분류 정확도를 의미 하고, V.D.R은 차량 검지율을 의미한다. 분석결과 레이더는 보행자가 지나갈 경우 이를 차량으로 오인하는 문제가 간혹 발생했다. 반면, 카메라의 경우 객체가 없는데도 불구하고 오인하는 문제와 보행자가 지나갈 경 우 이를 차량으로 판단하는 문제가 복합적으로 발생하였고 적외선거리계의 경우 잡음발생으로 인해 48회의 오측이 일어났다.

융합 시스템은 다른 분류 시스템에 비해서 비교적 안정적으로 분류기가 작동하는 것을 확인할 수 있다. 0.887의 분류 정확도와 0.955의 차량 검지율이 가지는 의미는 분류된 1000대의 객체 중 887대가 차량에 속하 고 이외의 나머지는 비 대상 객체라는 것이며, 만약 1000대가 검지구역을 통과하면 955대는 검지 할 수 있다 는 의미이다. 이 같은 결과는 적외선거리계가 객체를 검지했을 경우 융합 분류기가 실행되어 검지 객체가 차 량인지 비 대상 객체인지를 과거 이력을 토대로 계산하는 방식으로 도출할 수 있었다.

<Fig. 18>은 융합 분류기와 ROI의 설정효과가 측정결과에 어떠한 영향을 미치는 지를 대변한다. 왼쪽 영 상은 융합 분류기와 ROI설정이 되지 않은 상황으로 Haar-like 특징 분류기가 차량을 포착하기는 하지만 다발 적이고 산발적인 오분류를 범하는 것을 확인할 수 있다. 반면 본 논문에서 제안하는 방식을 채택한 영상에서 는 ROI영역 밖의 오분류된 요소를 고려하지 않아 차량이 정확히 검지되는 것을 확인 할 수 있다.

V.결 론

본 연구는 차량검지기의 분류 안정성과 검지율이 측정환경에 따라 현저히 떨어지는 점에 문제를 착안하 여 이를 개선시키고자 단안카메라, 레이더, 적외선거리계를 융합한 교통정보 수집 시스템을 제안하였다. 이 에 대한 일환으로 기존의 단일 센서 검지기가 갖는 문제를 각각의 검지기 구현을 통해 파악하고 이들의 특 징과 장점을 활용하는 융합 분류기를 설계하였다. 이는 다중 센서 융합 시 발생되는 동기화 문제와 다량의 연산으로 인한 지연 문제를 제안 방법에 따라 개선한다.

구현된 소프트웨어는 초기 시스템 설치 시 실험자가 설정 값을 실험 환경에 맞춰 쉽게 설정할 수 있도록 하였고 관측결과를 보며 실험높이, 기울기, 역치 등을 즉각적으로 설정할 수 있게 하였다.

본 시스템을 보행자의 통행이 가능한 도로에서 주·야간 실험한 결과 분류 안정성과 차량 검지율의 개선을 이끌어 낼 수 있었다. 향후 관련 연구는 현재 설정이 필요한 파라미터를 환경에 따라 오류율을 줄여가며 학 습되도록 하는 방식의 접근이 필요할 것으로 생각된다.