Ⅰ. 서 론

최근에 교통사고의 주된 원인은 운전자의 부주의, 돌발 상황, 환경적 요인 등으로 다양하게 나타나고 있다. 그러나 다양한 이미지 센서와 카메라를 사용 하면 운전자의 상황인식 능력이 향상되고, 주행 안 정성에 도움을 줄 수 있다. 차량에 사용되는 영상정 보는 더욱 진보되어 가고 있으며, 이러한 추세는 갈 수록 뚜렷해 질 것으로 기대되기 때문에 영상정보 를 통한 주행 상황 및 도로 조건 인식의 필요성과 영상 안정화 알고리즘의 구현 및 칩 개발과 운전자 상황인식을 통한 안정성을 향상하기 위한 요구가 증가 되고 있다[1].

차량 영상 안정화 기술은 바람이나 진동, 손 떨림 등의 외부 요인으로 인해 카메라가 흔들릴 때 영상 보정을 통하여 선명하고 흔들림이 없는 영상을 얻 을 수 있는 기술로서, 차량용 카메라의 필수 기능으 로 각광 받고 있다. 또한 최근 자동차 관련 기술은 저연비, 친환경, 지능형 운전자 보조 시스템(driver‘s assistance systems)에 그 중점을 두고 있기 때문에 영 상 안정화 보정 기술은 자동차의 자동 주행, 차선 감지, 보행자 및 자동차의 탐색과 추적과 같은 다양 한 운전자 보조 시스템에 있어서 그 중요도가 증가 하고 있다. 영상 안정화 관련 분야의 기술 현황으로 는 기구 설계를 이용한 영상 안정화, 센서를 이용한 영상 안정화, 영상처리를 통한 영상 안정화가 있다. 기구설계를 통한 영상 안정화 방법은 카메라를 팬/ 틸트 고정 장치 위에 카메라를 위치시켜 외부로부 터의 흔들림을 상쇄하기 위해 지속적으로 제어하여 카메라의 흔들림을 최소화하는 방식이다. 센서를 이 용한 영상 안정화 방법은 카메라 외부에 자이로 센 서를 부착하고, 외력이 발생할 때 자이로 센서로 부 터 얻게 되는 각속도 데이터를 각도 데이터로 변환 하여 이 각도 데이터에 따라 영상을 보정한다[2, 3].

이미지 안정화 관련 분야의 기술을 기반으로 자 이로 센서를 사용하는 루카스- 카나데 옵티컬 플로 우(Lucas-Kanade Optical flow)는 이전 프레임과 이후 프레임 사이의 픽셀 이동 량을 계산하고 이동 방향 의 역방향으로 영상을 이동시켜 영상을 안정화 하 는 방법이기 때문에 지속적으로 오차가 누적되어 회전 각도에 대한 정확도가 떨어지는 문제점이 있 다. 이러한 영상처리 기법을 통한 영상 안정화기법 을 차량에 적용할 경우, 영상 보정 시 카메라는 흔 들림의 절대위치를 모르기 때문에 영상 보정의 정 확한 값을 구하기 어렵게 된다. 이러한 문제를 해결 하기 위하여 영상이 복합적으로 조합된 방식의 연 구가 최근 진행되어 오고 있다[4-7].

본 논문에서는 기존의 차량 영상 안정화 방법에 서 발생하는 문제점 해결을 위하여 운전자 상황인 식을 위해 영상 처리를 복합적으로 적용하여 흔들 림을 제거하는 고성능 차량 영상 정보 시스템을 제 안한다. 제안하는 시스템은 움직임 추정 (Motion Estimation)과 움직임 보정 (Motion Compensation)으 로 나누어 알고리즘을 설계하고, 움직임 추정부는 지역 모션 벡터 추정 (Estimation of Local Motion Vector) 및 불규칙 지역 모션 벡터 검출 (Detection of Irregular Local Motion Vector), 글로벌 모션 벡터 추 정 (Estimation of Global Motion Vector)으로 구성을 하며, 움직임 보정부는 추정된 글로벌 모션 벡터 (GMV)를 사용하여 차량용 흔들림의 흔들림을 보정 하기 위해 4개의 방향에 대해 보정을 한다. 설계된 알고리즘은 차량 주행 중에 차량 영상 안정화를 위 하여 IP에 적용하여 움직임 보정 기술 칩을 설계한 다. 움직임 보정 기술 칩은 입력으로 받은 흔들림 프레임을 색상 분리를 통해 변환하고, 분리정보에 대해 누적 히스토그램을 계산하며 ,흔들린 차량용 영상을 보정한 결과에서 색상 정보를 맞추기 위해 히스토그램 매칭 기능을 제공한다. 또한, 실험을 통 하여 기존의 차량 영상 안정화 시스템과 비교하고, 효율성을 분석하여 성능을 평가한다.

Ⅱ. 고성능 차량 영상 정보 시스템

본 논문에서 제안하는 고성능 차량 영상 정보 시 스템은 객체의 흔들림과 배경의 흔들림을 제외한 차량용 카메라의 흔들림으로 인한 영상 정보를 보 정하는 시스템이다. <그림 1>은 차량 영상 정보 시 스템에서 사용하는 카메라의 기본 구성을 나타낸다.

효율적인 차량 영상 안정화를 위하여 차량용 카 메라에서 얻은 영상정보를 다수의 영역에서 움직임 을 예측하도록 각 매크로 블록 영역에서 픽셀 값들 을 이용하여 이전 프레임과 현재 프레임을 비교하 고, 어떠한 이동과 변화를 했는지 추정하여 차량용 영상의 흔들림을 보정하기 위해 4방향으로 보정하 는 알고리즘을 설계하였다. 또한, 설계된 알고리즘 은 차량 주행 중에 차량용 카메라의 영상 안정화를 위해 IP에 적용하여 움직임 보정 기술 칩을 설계하 였다.

<그림 2>는 고성능 차량 양상 정보 시스템을 위 한 차량 영상 안정화 보정 알고리즘의 구성을 나타 낸다. 알고리즘은 움직임 추정과 움직임 보정으로 나누고, 움직임 추정은 지역 모션 벡터 추정 및 불 규칙 지역 모션 벡터 검출, 글로벌 모션 벡터 추정 으로 구성하였다. 지역 모션 벡터 추정을 통하여 다 수의 영역에서의 움직임을 예측하기 위해 각 매크 로 블록 영역에서의 픽셀 값들을 이전 프레임과 현 재 프레임을 비교 하고, 어떠한 이동과 변화를 했는 지 추정을 하였다. 측정된 지역 모션 벡터(LMV)들 의 평균과 표준편차를 사용하여 불규칙 지역 모션 벡터(ILMV)를 판단하고, 적은 횟수의 계산으로 정 확한 글로벌 모션 벡터의 판단을 위해 불규칙 지역 모션 벡터를 제외한 지역 모션 벡터들을 대상으로 중간 필터를 사용한다. 측정된 글로벌 모션 벡터를 사용하여 차량 영상의 흔들림을 보정하기 위해 4개 방향으로 보정을 하였다.

1. 지역 모션 벡터 추정

흔들림 추정을 위해 미리 지정한 다수 영역에서 모션 벡터를 추정하여 지역 모션 벡터로 지정하였 다. 지역 모션 벡터는 다양한 정보를 종합한 대표 모션 벡터인 글로벌 모션 벡터를 구하기 위해 필요 하고, 목적은 연속 프레임들의 백그라운드 흔들림을 인식하여 찾아내는 것으로 감지 영상의 백그라운드 영역은 연속 프레임에서 항상 동일하게 유지가 되 어야 한다. 하지만, 카메라가 흔들리면 백그라운드 의 물체 위치도 일정한 모션 벡터를 갖고 변하기 때 문에 이미지 프레임에서 백그라운드의 모션 벡터를 찾아서 처리하였다. 이때, 블록 정합을 사용할 경우 보다 매칭오류를 감소시키기 때문에 차량 영상 흔 들림이 발생하는 경우, 블록 정합 모션 벡터 확산을 감소시키고, 과도한 연산 횟수를 줄였다.

<그림 3>은 매크로 블록의 크기 지정과 지역 모 션 벡터 추정 과정을 나타낸다. 영상에서 움직이는 물체는 일반적으로 프레임의 중앙에 위치하며, 영상 이미지의 배경이 되는 부분은 프레임의 가장자리에 위치하는 경우가 많다. 움직이는 물체보다 영상 이 미지의 배경으로 영상 이미지의 흔들림을 판단하는 것이 정확성이 매우 높기 때문에, 영상 이미지 안정 화 기술의 지역 모션 벡터를 추정하기 위해 한 프레 임 내에서 각 매크로 블록은 <그림 4>와 같이 영상 이미지의 배경이 위치하는 프레임의 가장자리에 위 치하게 설정하였다.

다수의 영역에서 흔들림을 예측하기 위해 각 매 크로 블록 영역 위치의 픽셀 값들은 이전 프레임과 현재 프레임을 비교하였을 때, 어떠한 이동과 변화 를 했는지 추정해야 하므로 식 (1)과 같이 매크로 블록 별로 현재 프레임과 이전 프레임에서의 픽셀 값의 차이들의 합을 구하여 각 매크로 블록 별로 지 역 모션 벡터를 추정하였다. 여기에서 M은 매크로 블록의 사이즈를 뜻하며, C와 P는 각각 현재 프레임 과 이전 프레임에서의 매크로 블록을 의미한다.

2. 불규칙 지역 모션 벡터 검출

영상 이미지 프레임에서 영상 이미지 배경의 모 션 벡터를 통해 구한 지역 모션 벡터 중, 전체 영상 이미지배경이 찍히는 카메라의 이동 방향과 무관한 방향으로 이동하는 물체들로 인해 생기는 지역 모 션 벡터들인 불규칙 지역 모션 벡터는 종합적인 차 량용 카메라의 흔들림 방향과는 무관한 방향을 가 리키므로 측정된 지역 모션 벡터와 지역 모션 벡터 평균의 차이가 표준편차 보다 크게 벗어나면 모션 벡터들을 불규칙 지역 모션 벡터로 판단하기 위해 식 (2)를 사용하였고, 종합적인 차량용 카메라의 흔 들림을 측정할 때에 제외시켰다. LMVi는 i번째 지 역 모션 벡터, m과 σ은 각각 지역 모션 벡터들의 평균과 표준편차를 의미한다.

3. 글로벌 모션 벡터 추정

글로벌 모션 벡터 추정은 글로벌 모션 벡터를 결 정하기 위해서 각 지역 모션 벡터의 흔들림을 연속 되는 이미지 프레임에서 추정하고, 글로벌 모션 벡 터는 각 지역 모션 벡터의 동일한 방향으로 결정이 되기 때문에 정합에 사용되는 판단 조건들은 점, 에 지패턴, 위상, 다중 해상도의 특징 등을 가진다. 성 공적인 정합의 조건으로 해당 영역에 의미 있는 패 턴이 존재한다는 것이 보장되도록 하였다.

<그림 5>는 글로벌 모션 벡터 추정상태를 나타낸 다. 글로벌 모션 벡터는 흔들림이 연속되는 이미지 프레임을 통해 각 매크로 블록에서 구한 지역 모션 벡터들을 종합하여 전체 차량용 카메라의 흔들림을 판단하였고, 적은 계산 횟수로 정확한 글로벌 모션 벡터를 판단하기 위해 불규칙 지역 모션 벡터를 제 외한 지역 모션 벡터들을 대상으로 중간필터(median filter)를 사용하였다. 중간필터는 불규칙 지역 모션 벡터를 제외한 지역 모션 벡터들을 크기 순서로 정 렬하여 가장 중앙에 나열된 지역 모션 벡터 값을 전 체 차량용 카메라의 흔들림인 글로벌 모션 벡터로 결정한다. 이때, 글로벌 모션 벡터는 각 지역 모션 벡터의 동일한 방향으로 결정이 되기 때문에 정합 에 사용되는 성공적인 판단 조건(점, 에지패턴, 위 상, 다중 해상도)으로 해당 영역에 의미 있는 패턴 이 존재한다는 것이 보장되어야 한다.

4. 흔들림 보정 (Motion compensation)

흔들림 보정은 측정된 글로벌 모션 벡터를 사용 하여 차량용 영상 이미지의 흔들림을 보정하고, 이 전 화면과 현재 화면을 비교하여 다음 화면을 추정 하는 보정 방법을 사용하였다. <그림 6>은 영상을 많은 셀로 나누어 각 셀의 흔들림 변화가 있는 부분 만 다시 그려주는 MPEG-2 압축 기술을 적용한 흔 들림 보정 과정을 나타낸다. 글로벌 모션 벡터의 방 향은 측정된 글로벌 모션 벡터를 사용하여 차량용 영상 이미지의 흔들림을 보정하기 위해 크게 네 방 향에 대해 보정을 하였다.

5. 흔들림 보정 기술 칩

움직이는 자동차에서는 흔들림 없는 선명한 영상 을 실시간으로 인식하기 위해 실시간 처리가 가능 한 영상 흔들림 보정 기술이 필요하다. <그림 7>은 고영상 흔들림 보정 기술 칩 개발을 위한 하드웨어 IP 제작의 세부 사항을 나타낸다. 실시간 RGB2YCbCr 의 YCbCr은 RGB에 비해 색상 분리효과는 약하지만 적은 데이터로 보다 많은 색상을 표현 가능하여 하 드웨어 IP에 더 용이하기 때문에, 입력으로 받은 영 상 이미지 프레임을 RGB에서 YCbCr로 변환위해 식 (3)을 사용하였다. Y는 빛의 양인 휘도를 뜻하고, Cb 와 Cr은 각각 blue와 red에 대한 색차 정보를 나타 낸다.

차량용 영상은 흔들림과 노이즈로 인해 선명하지 않기 때문에, 노이즈를 제거하는 잡음제거 과정을 거 쳐야 한다. 영상 이미지의 전체 노이즈는 일정한 분 산을 갖는 가우시안 모델로 가정하고, 식 (4)로 계산 하였다. σ은 노이즈의 표준 편차를 의미하고, μ는 노 이즈 분포의 평균값을 의미한다. 가우시안 모델은 계 산횟수가 많고 하드웨어 IP에 적용하기 힘들기 때문 에, 이와 유사한 형태를 가지지만 계산이 단순한 식 (5)를 사용하고 식 (6), 식 (7)을 이용하여 양측필터 (적응 공간톤 노이즈 제거)를 설계하여 사용하였다.

I_p 와 F(I_p)는 각각 입력 픽셀과 출력 픽셀, g는 공 간(spatial) 가우시안 마스크, f는 색조(tonal) 가우시 안 마스크, N_s 는 픽셀 p의 공간적 이웃을 나타낸다. 공간 가우시안 마스크와 색조 가우시안 마스크는 식 (7)을 이용하여 계산하였다. d i s 와 d i t 는 각각 공간 (spatial)과 색조(tonal) 거리, x_i 와 y_i 는 3*3 윈도우의 좌표, p_i 는 3*3 윈도우 사이에 픽셀 값을 나타낸다. q는 영상 이미지 프레임 내에 에지를 부드럽게 해주 기 위한 양을 조절하는 파라미터 값을 나타낸다.

누적 히스토그램에서는 YCbCR 각각의 정보에 대 해 누적 히스토그램을 계산하였다. 히스토그램을 계 산하는 식은 식 (8)과 같다. W와 H 는 각각 영상 이 미지 프레임의 너비(width)와 높이(height)이고 1 i [ i , j ] 은 픽셀(i,j)의 밝기 값을 의미한다. 누적 히스토그램 을 계산하는 식은 식 (9)와 같다. C p 1 은 영상 프레임 P₁ 의 누적 히스토그램, L_k 는 밝기 신호 크기, h p 1 은 히스토그램의 값을 의미한다.

히스토그램 매칭 기반의 룩 업 테이블에서는 흔 들린 차량용 영상 이미지를 보정한 결과에서 색상 정보를 맞추기 위해 히스토그램을 매칭 하였다. 히 스토그램 매칭은 계산 횟수가 많기 때문에, <그림 8>과 같이 미리 룩 업 테이블로 히스토그램 값들을 저장시켜두어 사용함으로써 하드웨어 IP의 계산 량 을 줄였다. 히스토그램 매칭 할 때에는 노란색 영역 과 같이 하나의 누적 히스토그램 값이 두 개의 밝기 값을 가질 경우, 밝기 값들 중에서 최댓값을 선택하 였다. 초록색 영역과 같이 하나의 누적 히스토그램 값이 두 개보다 많은 밝기 값을 가질 경우, 밝기 값 들의 중간 값을 선택하여 차량용 영상 이미지의 밝 기로 정하였다.

차량 주행 중에 흔들리는 차량용 카메라의 흔들 림을 보정하기 위한 IP의 개발공정은 디지털 (0.18um)이고, 파운드리는 TSMC를 통해 개발하였 다. 검증은 DE2-70 FPGA Board를 이용하였다. <표 1>은 본 논문에서 제안하는 효율적인 차량용 영상 안정화 IP의 세부 정보를 나타낸다.

Ⅲ. 실험결과

제안된 고성능 차량 영상 정보 시스템의 성능을 평가하기 위해 차량용 카메라에서 얻은 영상정보를 다수의 영역에서 흔들림을 예측하도록 각 매크로 블록 영역에서 픽셀 값들을 이용하여 이전 프레임 과 현재 프레임을 비교하고, 어떠한 이동과 변화를 했는지 추정을 하였다. 측정된 지역 모션 벡터들의 평균과 표준편차를 사용하여 불규칙 지역 모션 벡 터를 판단하고, 낮은 계산 량으로 정확한 글로벌 모 션 벡터 판단을 위해 불규칙 지역 모션 벡터를 제외 한 지역 모션 벡터들을 대상으로 중간필터를 사용 하였다. 측정된 글로벌 모션 벡터를 사용하여 차량 용 영상 이미지의 흔들림을 보정하기 위해 4방향에 대해 보정을 하였다. 결과적으로 성능 및 시간, 이미 지의 차이점을 사용하여 평가하였다.

<그림 9>는 영상의 흔들림 보정을 알고리즘을 적 용하여 구현된 IP의 검증 결과를 나타낸다. 첫 번째 미리보기 이미지와 두 번째 미리보기 이미지를 비 교하여 변화된 내용을 캡처하였다. 캡처한 이미지를 색상을 4방향에 대해 보정을 하고 출력하였다. <그 림 10>은 고성능 차량 영상 정보 시스템의 MPW IP 실장 테스트 결과를 나타내었다. 입력 비디오 시퀀 그가 들어오면 모션 벡터를 구분하고 흔들림 영상 이 보정된 결과 비디오 시퀀스가 정상적으로 출력 되는 것을 확인할 수 있었다. <그림 11>은 움직임 보정 기술 칩을 실제 차량용 카메라에 적용하여 영 상의 흔들림 현상을 보정한 차량 영상 안정화 검증 결과를 나타낸다.

<표 2>은 기존의 방법들과 제안한 방법의 메모리 사용량 및 시스템 요구사항을 비교하여 나타내었다. 기존의 방법들과 비교하여 제안한 알고리즘은 H/W 방식으로 구현하여 FPGA방식의 시스템이 요구되었 고, 영상 이미지 흔들림 보정은 실시간으로 이루어 졌기 때문에 메모리를 사용하지 않는 결과를 얻었다.

Ⅴ. 결 론

본 논문에서는 기존의 차량용 흔들림 보정 방법 이 문제점을 보완한 영상 처리를 복합적으로 적용 하여 흔들림을 제거하는 고성능 차량 영상 정보 시 스템을 제안하였다. 제안된 시스템은 이전 프레임과 현재 프레임을 비교하여 어떠한 이동과 변화를 했 는지 추정을 하고, 측정된 지역 모션 벡터들의 평균 과 표준편차를 사용하여 불규칙 지역 모션 벡터를 판단하며, 보정영역의 상관관계에서 발생되는 오류 를 방지할 수 있었다. 측정된 글로벌 모션 벡터를 사용하여 4방향에 대해 영상 이미지 흔들림을 보정 하는 알고리즘을 설계하여 차량 주행 중에 차량용 카메라의 흔들림을 보정하기 위한 IP에 적용하고, 흔들림 보정 기술 칩을 설계하였다. 흔들림 보정 기 술 칩은 입력된 영상 프레임을 색상 분리를 통해 변 환하고, 분리정보에 대해 누적 히스토그램을 계산하 여 흔들린 차량 영상을 보정한 결과에서 색상 정보 를 맞추기 위해 히스토그램을 매칭 시켰으며, 실험 과 실제 카메라 적용을 통해 기존 시스템과 비교 및 효율성을 분석하여 성능을 평가하였다.

결과적으로 흔들림 추정을 할 때, 블록 정합을 통 한 연산으로 계산 시간 감소 효과를 얻었으며 움직 이는 물체에 대한 흔들림도 보정을 하면서 메모리 를 사용하지 않고 실시간으로 처리하였기 때문에 다른 방법과 비교하여 효율성을 입증하였다.