Journal Search Engine

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.11 No.5 pp.125-135
DOI : https://doi.org/10.12815/kits.2012.11.5.125

Development of Vehicle and/or Obstacle Detection System using Heterogenous Sensors

Jeong-Ah Jang*, Giroung Lee**, Dong-Yong Kwak***
*Main author: Senior Researcher, Automotive / Chosun IT Convergence Research Department, Korea Electronics and Telecommunications Research Institute
**Co-author: Ph.D. Program, Department of Electronic Engineering, Ajou University, Graduate School
***Co-author: Korea Electronics and Telecommunications Research Institute Senior Researcher, Automotive / Chosun IT Convergence Research Department

본 연구는 지식경제부 “메가컨버전스 핵심기술개발” 과제의 2세부 “IT융합기반 차량 자동유도기술개발”과제에 의해 수행되었습니다.


20120511 │ 20120802 │ 20120905

Abstract


This paper proposes the new object detection system with two laser-scanners and a camera for classifying the objects and predicting the location of objects on road street. This detection system could be applied the new C-ITS service such as ADAS (Advanced Driver Assist System) or (semi-)automatic vehicle guidance services using object’s types and precise position. This study describes the some examples in other countries and feasibility of object detection system based on a camera and two laser-scanners. This study has developed the heterogenous sensor’s fusion method and shows the results of implementation at road environments. As a results, object detection system at roadside infrastructure is a useful method that aims at reliable classification and positioning of road objects, such as a vehicle, a pedestrian, and obstacles in a street. The algorithm of this paper is performed at ideal condition, so it need to implement at various condition such as light brightness and weather condition. This paper should help better object detection and development of new methods at improved C-ITS environment.



이종센서를 이용한 차량과 장애물 검지시스템 개발 기초 연구

장 정 아*, 이 기 룡**, 곽 동 용***
*주저자 : 한국전자통신연구원 자동차/조선 IT융합연구부 선임연구원
**공저자 : 아주대학교 일반대학원 전자공학과 박사과정
***공저자 : 한국전자통신연구원 자동차/조선 IT융합연구부 책임연구원

초록


본 연구는 도로 위의 객체를 분류하고 그 위치를 추정하기 위해 카메라와 레이저스캐너를 이용한 이종센서 검지 시스 템의 연구를 다루고 있다. 이러한 도로인프라에서의 검지시스템은 ADAS(Advanced Driver Assist System) 및 (반)자동제어 서비스 등의 새로운 C-ITS 서비스에서 요구되는 객체의 위치 정보를 검지할 수 있다. 본 연구에서는 국외 관련 사례를 살펴보고, 카메라와 레이저스캐너를 이용한 검지시스템의 가능성을 살펴보았다. 그 후 이종센서 처리 알고리즘을 제안하 고, 실 도로환경에서 몇 가지 도로상황 시나리오를 설정하여 시험검증을 실시하였다. 그 결과 이종센서 검지시스템으로 차량, 보행자 및 기타 장애물에 대한 검지 및 위치 추정에 대하여 비교적 용이하게 이용될 수 있음을 확인할 수 있었다. 본 연구의 경우 매우 이상적인 조건에서 실험이 실시되었으며, 조도, 날씨 등의 외부환경 조건의 변화에 따른 알고리즘 의 평가가 필요하다. 이러한 연구는 향후 미래의 C-ITS 환경 하에서 객체 검지 기술로 활용될 수 있을 것으로 기대한다.



    Ⅰ. 서 론

    최근 C-ITS (Cooperative Intelligent Transportation System; 이하 C-ITS)의 개념, 표준화 및 관련 연구개 발이 활발히 이루어지고 있다. 기존 ITS에서는 도 로 중심의 단독 지능화 혹은 차량단독 지능화만을 추구하여 적소성, 적절성 및 적시성 등에 대해 취약 한 문제점들이 있었다. 2010년대로 들어서면서 현 재의 ITS는 Cooperative라는 지향점을 가지고 차량 과 도로와의 상호소통적인 지능화와 소프트웨어의 플랫폼화 및 클라우드화하는 환경으로 진화하고 있 다. 미국의 Connected Vehicle 프로젝트1)나, 유럽의 SAFESPOT2), COOPERS (Co-operative Systems for Intelligent Road Safety)3) 프로젝트, INTERSAFE, 및 INTERSAFE-2 프로젝트 등이 대표적인 사례가 될 수 있다. 이 중에서 유럽의 INTERSAFE-2 프로젝 트4)의 경우 협력형 교차로 안전시스템 (CISS, Cooperative Intersection Safety System)을 개발하는데 있어 차량에 장착된 센서 이외에 도로에 장착된 센 서들을 이용하여 협력형 센싱 시스템을 제시한 바 있다.

    그동안 검지 기술은 지능형 자동차에서 널리 활 용되는 차량기반 센싱 기술과 도로 위의 인프라기 반 센싱 기술로 각각 진행되어 왔다. 특히 도로인프 라에 설치된 센서는 도로 위의 차량 흐름을 검지한 후 그 정보를 노변장치나 정보센터에 전달, 이를 가 공하여 교통정보를 생성하거나 신호제어 정보로 활 용하는 등 주로 교통관리의 목적으로 활용되어 왔 다. 여기서 개별 서비스의 특성에 따라 센서의 요구 사항이 변화될 수도 있고, 혹은 센서의 기능/성능적 요구사항에 따라 서비스의 적용에 한계가 발생하기 도 한다. 이에 새로운 C-ITS 서비스를 위해서는 기 존의 차량기반 검지 기술이나 도로 인프라기반 검 지 기술 역시 서비스의 기능적 성능적 요구조건을 만족하기 어려울 수 있다. 다시 말하여, 새로운 C-ITS의 서비스의 등장으로 인해 기존의 ITS에서 사용되었던 센서가 그 역할을 충분히 하지 못할 수 있다는 것이다. 이에 따라 C-ITS 서비스의 연구와 함께 새로운 센서 기술 개발 및 적용에 대한 연구 또한 반드시 지속적으로 수행되어야 한다.

    본 연구의 경우 이러한 측면에서 C-ITS 서비스 중 하나인 ADAS (Advanced Driver Assist System; 이하 ADAS)의 경고정보 및 차량의 (반)자동제어 서비스 에 대하여 주목하였다. 운전자에 대한 경고정보 제공 이나 이를 활용하는 (반)자동 제어 서비스의 경우 기 존의 ITS 센서를 활용할 경우 기능적/성능적 부문에 만족할 만한 결과를 보여주기 어렵다. 예를 들어 도 로상의 객체를 차량과 장애물 등으로 분류하고 각 위치를 수십 cm 이내로 정확하게 검지해야 하는 요 구사항이 존재하는데, 기존의 검지시스템으로는 이 를 반영하기 어려운 실정이다. 이에 본 연구에서는 도로상의 객체의 분류와 함께 수십 cm 이내의 위치 추정을 위해 두 가지 이종 센서 (heterogeneous sensors) 를 주목하였다. 본 연구에서는 이종 센서로서 카메라 와 레이저스캐너를 이용하여 도로 상에서 객체에 대 한 분류 및 위치 측위가 가능한 시스템을 구성하고 자 하였다. 본 연구는 이종센서를 이용한 인프라기반 검지시스템의 도입 연구로서 ADAS 용 경고정보 서 비스, 혹은 차량의 (반)자동제어 서비스의 적용을 목 표로 두고 있다. 본 논문의 구성으로 2장에서는 레이 저스캐너와 카메라를 이용한 인프라기반 검지 시스 템과 관련한 국내외 연구 사례를 살펴보고, 3~4장에 서는 이종센서 기반 알고리즘설계 내용과, 실 도로환 경에서의 주요 시험 결과를 제시한다. 본 연구는 영 상 카메라를 이용하였음에도 밤, 낮, 흐림 등의 광조 건의 변화에 따른 알고리즘의 평가가 이루어지지는 못하였다. 즉 실험실 수준의 필드 테스트가 이루어져 서 매우 제한적인 환경하에 알고리즘의 평가가 이루 어졌다. 물론 향후 신규 검지시스템의 도입을 위해서 는 알고리즘과 이에 대한 평가 방법이 표준화되어 이를 기반으로 재현 가능한 연구 결과가 진행되어야 한다. 이러한 한계 사항에도 불구하고 지속적으로 신 규 검지 기술들에 대한 도입과 관련 연구가 활발히 진행되기를 기대하는 바이다.

    Ⅱ. 관련 연구 고찰

    본 장에서는 국내외 연구 현황을 개략적으로 살 펴본다. 먼저 본 연구에서 주목하여 살펴보는 레이 저스캐너와 카메라와 관련된 도로 적용 연구 내용 의 사례를 살펴보았고, 이종 센서의 퓨전과 관련된 연구를 살펴보기로 한다.

    1. 레이저스캐너와 카메라에 대한 도로적용연구

    도로인프라 센서 기술은 루프검지기, 초음파검지 기, 초단파검지기 및 영상검지기 등의 기술로 활발 히 적용되어 왔다. 본 연구에서 주안점을 둔 카메라 와 레이저스캐너를 동시에 활용한 연구는 국내에서 비슷한 사례를 찾아보기 어렵다. 해외의 경우 대표 적 사례로 H. Zhao[1]와 L. Alexander[2]의 연구에서 관련 내용을 살펴볼 수 있다.

    H. Zhao의 연구에서는 레이저스캐너와 비디오 카 메라들을 이용한 네트워크를 이용하여 교차로에서의 검지 시스템을 제안하였다. 교차로에 진입하는 각 움 직이는 객체의 위치 궤적을 이용하여 각 클래스(차 량, 버스, 자전거 및 보행자)를 추정하였다. 이를 위 해 교차로의 노변에 6개의 레이저스캐너들을 설치하 여 객체의 위치 정보를 수집하고, 이후 카메라 영상 정보와 퓨전하여 객체에 대한 정보를 추정하였다. 관 련 연구 개념은 <그림 1>과 같다. 이러한 연구에서 는 20분 동안 실제 관찰 결과 2867개의 궤적이 관찰 되어 이중 1585개가 차량으로 분류되었고 실측 위치 추정에 대한 성능치에 대한 실험결과는 없다.

    이러한 연구보다 선행되어진 L. Alexander(2006) 연구의 경우 레이더와 3차원 레이저스캐너를 이용 하여 부도심의 교차로의 감시 시스템인 MMISS (Minnesota Mobile Intersection Surveillance System)를 제시하였다. 이 경우에는 비신호 교차로의 의사결 정지원시스템을 위하여 각 진입 차량의 차량간격 (gap)을 검지하기 위해 객체의 정확한 위치, 속도, 가속도를 측정하기 위한 시스템을 구성하였다. 오 토바이/승용차, SUV/소형트럭, 중형트럭/학교버스, 중차량/세미트럭/모터 코치/농기구 장비 등의 네 가 지 카테고리로 구분하였고, 10Hz마다 교차로의 “상 태”(위치, 속도, 가속도, 차선)를 검지하는 기술을 보여주었다. <그림 2>는 이러한 MMISS에서 이용한 센서의 배치도를 나타낸 것이다. MMISS의 연구의 경우는 차량의 대수, 속도, 점유율이라는 기본적인 검지 데이터 이외에 차량/보행자/장애물들에 대한 분류와 정확한 속도, 가감속도 및 위치추정을 통하 여, 기존의 교통정보의 형태 이상의 고부가 정보를 생성하여 이를 도로상의 안전을 높이는데 활용하고 있음을 볼 수 있다. MMISS의 시스템에서는 객체분 류나 위치 추정 결과에 대한 성능치는 제시되어 있 지 않았지만, 상기 시스템이 3시간동안 상시 전원 없이 응용서비스가 가능함을 보여주었다.

    2. 이종 센서의 퓨전 알고리즘 연구

    ITS에서 활용된 센서 퓨전에 대한 연구는 ATIS (Advanced Traveler Information System) 분야, AID (Automatic Incident Detection) 분야, ADAS (Advanced Driver Assistance System) 분야, 네트워크 제어, 사고 분석과 방지 기술, 교통수요예측 분야, 교통예측 및 모니터링, 정확한 측위 시스템 등 그 어플리케이션 마다 다양하게 활용되고 있다[3]. 이 중에서 본 연 구와 관련된 센서 퓨전 알고리즘에 대한 관련 연구 에 대하여 살펴보면 다음과 같다.

    유럽의 6번째 프로그램 중 하나인 SAFESPOT 프 로젝트에서는 CPDF (Cooperative Pre-Data-Fusion)이 라 지칭하는 방법을 제안하였다[4]. 차량 주변의 정 보를 취득하기 위해 레이저스캐너의 퓨전 알고리즘 과 무선네트워크 기술과의 연동을 통한 협력적 시 스템 개발을 진행하였다[5]. 또한 차로나 지도 정보 와의 융합을 통해 퓨전알고리즘을 고도화하기도 하 였다. INFRASENSE를 위한 교차로 모니터링 기술 은 V2I 및 레이저스캐너 시스템을 근간으로 진행되 었다[6]. 스테레오 비전과 레이저스캐너를 이용한 융합기법이 운전자 안전지원시스템에 활용되기도 하였다[7]. 이러한 퓨전 관련 연구는 ADAS에서 더 욱더 활발히 진행되어 왔다[8][9]. 이를 위하여 퓨전 방법은 확률적 방법, 인공지능제어 모듈의 활용 등 활발한 기법들을 적용하였다[10]. 또한 무인차량기 술(unmaned autonomous ground vehicle, UGV)에서도 레이저스캐너, 비전, 레이더 등의 다양한 센서의 활 용 및 적용이 이루어져왔다[11][12]. 그리고 로봇 분 야나 사람 검지 등의 인식지원 기술에서 관련 연구 들이 활발히 진행되어 오고 있다[13]~[15].

    Ⅲ. 시스템 및 알고리즘

    본 장에서는 이종센서를 이용한 인프라기반 검 지시스템에서 활용되고자 하는 서비스 아키텍처에 대하여 개략적으로 살펴본 후, 본 연구에서 제안하 는 알고리즘에 대하여 설명한다.

    1. 서비스 아키텍처

    ITS, 텔레매틱스, 지능형자동차, 무인자동차 등에 다양한 센서, 통신 및 제어기술을 적용한다면 여러 가지 실현 가능한 서비스들을 발굴할 수 있다. 본 연구에서는 차량의 자동유도를 위해 인프라기반 차 량과 장애물의 식별 및 위치 추정을 위해 레이저스 캐너와 카메라를 활용하는 방법을 고안하고 있다 [16]. 차량자동유도서비스는 <그림 3>에서 볼 수 있 듯이 도로상에 레이저스캐너 2대와 카메라 1식을 설치 운영 중일 때 도로노변에서 검출된 실시간 정 보가 무선통신을 통해 차량과 인프라 사이를 오가 며, 차량은 센싱 정보를 이용하여 주행 경로 생성 및 장애물이 존재할 경우 회피경로 생성 등을 통해 차량의 운행 경로를 설정할 수 있는 형태이다. 이를 위해 요구되는 주요 기술 항목으로는 첨단화된 도 로인프라 환경(인프라 센싱시스템과 서버시스템), 차량에 설치된 적절한 센서 및 제어 시스템(자동유도 가능한 IT 차량)을 통한 V2I(Vehicle to Infrastructure) 통신기술이다. 이러한 기술들은 주차장의 자동유도 및 주차시스템, 교차로에서의 충돌방지 및 자율주 행교차로, 위험지역(굴곡도로 및 사고다발지역 등) 에서의 차량제어, 고속도로와 같은 주행 상황에서 의 차량이탈제어 서비스 구현이 가능한 원천 기술 로 사용이 가능하다.

    2. 센서퓨전 알고리즘

    본 연구는 레이저스캐너 2식과 카메라 1식에 대 한 인프라기반 센싱 시스템에 대한 센서퓨전 알고 리즘을 제안한다. 일반적으로 도로상의 센서 퓨전은 크게 physical model, feature-based inference model, cognitive-based model로 나눌 수 있다. 데이터 퓨전 절 차는 데이터에 대한 detection, orientation, classification, identification 과정을 거치게 된다. 이를 위해서는 각 센서 데이터에 대한 시간 동기화, 공간에 대한 동기 화 과정(alignment), 이종의 센서에 대하여 관계가 되 는 후보자들을 결정하는 단계(association), 객체에 대 한 검지, 분류, 트래킹 성능을 향상시키는 조합단계 (correlation), 그리고 실제 상태벡터와 오차에 대한 공 분산 매트릭스를 업데이트하면서 위치를 예측하는 단계(estimation), 물체의 유형 등을 판단하는 분류 (classification), 더 나은 결과를 얻기 위해 데이터 프 로세싱 변수나, 임계치, 통합 시간 등에 대한 피드백 과정(cueing) 등의 절차를 통해 센서 데이터의 가공이 이루어지게 된다[17][18]. 이러한 센서퓨전 과정은 실 증적 현장 데이터들을 통해 지속적인 검증을 통해 알 고리즘을 고도화시켜야 한다. <그림 4>는 본 연구에 서 제시하는 레이저스캐너와 카메라의 데이터를 실 시간으로 활용하기 위해 소프트웨어적으로 활용한 방법이 센서퓨전 알고리즘이다.

    센서 퓨전 알고리즘은 A. 레이저스캐너 특징 추 출 파트, B. 카메라 특징 추출 파트, C. 센서퓨전 파 트로 구성이 된다. <그림 4>와 관련된 세부 설명은 다음과 같다.

    1) 레이저스캐너의 특징 추출 파트

    본 연구에서 사용한 레이저스캐너는 SICK사의 LMS291 모델이다. LMS 291 모델은 전방 180도의 영역을 0.5도의 간격으로 스캔할 수 있으며, 37.5Hz 의 샘플링 주기를 가진다. 도로 노변에 위치한 두 개의 레이저스캐너로부터 수집된 거리와 각도 데이 터는 <그림 5>와 같이 x좌표와 y좌표로 이루어진 직교좌표계(cartesian coordinate)로 변환하여 그리드 맵의 세부 격자에 매핑한다.

    이후 <그림 6>과 같이 외부 노이즈 제거 및 각 개체의 정확한 인식을 위해 팽창연산 기법을 적용 하였다. 그 결과 <그림 5>의 좌측과 같은 데이터를 획득할 수 있으며, 다시 이 데이터는 동일한 객체라 고 판단되어지는 그리드 맵 세부 격자에 동일한 숫 자를 라벨링(labelling)하여 <그림 5>의 우측과 같이 표현된다. 위와 같은 알고리즘을 사용하여 레이저 스캐너 데이터 기반으로 각 객체의 특징점을 추출 할 수 있으며, 라벨링된 동일 객체의 정보(위치, 크 기)는 카메라 정보와 퓨전하는데 활용한다.

    2) 카메라 특징 추출 파트

    도로 영상 데이터는 <그림 7>과 같이 도로 지면 을 기준으로 약 3.5m 높이의 폴 끝에 카메라를 설 치하여 1280*960 해상도로 초당 24프레임의 속도로 취득하였다. 실시간 영상 처리의 원활한 성능을 위 해 위의 영상 데이터는 720*480 해상도로 압축하였 으며, OpenCV에서 제공하는 기본 함수를 활용하여 객체 인식을 하였다. 도로 영상 데이터에서 비올라- 존스(Viola-Jones) 알고리즘을 사용하여 영상내에서 객체의 위치 및 크기 정보를 취득하였다. 정보를 추 출한 이후 객체의 대략적 위치는 카메라의 위치와 실측 거리 정보를 이용하여 레이저스캐너에서 이용 된 그리드 좌표로 객체 위치 정보를 변환하여 데이 터퓨전 파트의 입력데이터로 활용하였다.

    3) 센서퓨전 파트

    센서퓨전 파트는 레이저스캐너로부터 취득한 라 벨링된 번호, 객체 위치 및 ID와 카메라로부터 추정 된 객체 분류결과 값과 위치 정보를 그리드 매핑한 두 가지 입력 데이터를 근간으로 퓨전을 실시한다. 이때 두 센서에서 취득된 특징점의 위치를 기반으 로 그리드 맵에 매핑할 경우 그리드 셀에 매핑되는 부문에 위상의 차이가 존재한다. 각 셀에 매핑된 결 과를 동일하게 처리하기 위해 다음의 비용함수(cost function)를 이용하여 이종 센서의 데이터를 매핑한 다. 즉 비용함수를 근간으로 매 샘플링 타임마다 생 성된 i개의 레이저스캐너 레이블링 객체와 j개의 비 전센서 객체의 위치데이터를 이용하여 계산한다.

    D i j = l j 2 + l i 2 2 l j d i , j cos ( θ j + π / 2 )

    여기서,

    • li : i번째 레이저스캐너 레이블링 객체의 위치정보

    • lj: j번째 카메라 객체의 위치정보

    • θj: j번째 카메라 객체의 방향각

    • di,j : i번째의 레이저스캐너 레이블링 객체와

      • j번째 카메라 객체 사이의 거리

    • 이러한 객체의 위치간의 비용함수를 최소화하도 록 하여 그리드 맵상의 두 개의 이종센서 중 레이 저스캐너의 위치 객체 분포에 카메라의 객체 정보 의 위치를 동질화하여, 카메라로부터 처리된 객체 의 유형 정보를 사용하도록 매핑하였다. 이후 매핑 된 객체의 유형에, 레이저스캐너의 위치정보를 사 용하여 각 객체에 대한 정확한 위치정보 등의 추정 을 수행하였다. 객체의 위치정보는 상대 그리드 좌 표를 WGS84형태의 절대좌표로 변환하여 차량에서 이러한 도로상의 객체정보와 위치 정보를 이용하여 ADAS 경고정보나 (반)자동제어를 위한 정보로 활 용할 수 있도록 하였다. 또한 위치정보는 각 객체의 중심점의 포인트 정보와 객체면의 면 정보(MBR, Minimum Boundary Rectangular) 모두를 이용할 수 있는 형태를 가진다. 이러한 퓨전의 결과는 검지시 각, 객체유형, 그리고 객체 위치정보(x, y)를 기본 값으로 가진다.

    Ⅳ. 시험 적용 결과

    본 장에서는 연구에서 제안하는 이종센서 융합 알고리즘의 시험검증을 위한 실외 테스트베드 환경 구축, 하드웨어의 구성형태, 시험검증 방법 및 시험 검증 결과에 대하여 설명한다.

    1. 테스트베드 환경 및 하드웨어 구성

    실험통제가 가능한 실외 도로 구간을 테스트베 드로 설정하고, 도로상에 레이저스캐너 및 카메라 를 설치한 뒤, 차량, 보행자 및 자전거 등의 운행을 통하여 알고리즘의 시험검증을 위한 데이터를 취득 하였다. <그림 8>은 테스트베드 환경과 센서의 설 치 위치를 나타낸 것이다.

    테스트베드 구간에 설치된 레이저스캐너와 카메 라의 하드웨어의 구성은 <그림 9>와 같다. 두 대의 레이저스캐너는 PCI형태의 멀티시리얼 인터페이스 를 가지고 있으며, 카메라는 BNC 케이블로 캡쳐보 드와의 하드웨어 인터페이스로 구성을 한 후, 단일 의 PC에서 센서퓨전 알고리즘을 수행하였다.

    2. 시험시나리오 및 검증 방법론

    객체검지시스템의 목표인 객체유형(차량, 보행자, 자전거)의 분류와 위치를 추정하기 위하여, 다음과 같은 다섯 가지 시나리오를 설정하고 센서퓨전 알 고리즘을 적용하였다. 각 시나리오를 5회씩 반복하 여 알고리즘의 적용 결과를 확인하였으며, 그 결과 로는 총 25개의 수행결과가 생성이 된다.

    • ① 차량단독시나리오: 한 대의 차량을 주행

    • ② 차량교차운행시나리오: 두 대의 차량을 교차로 주행

    • ③ 차량연속운행 시나리오: 두 대의 차량을 연속으로 주행

    • ④ 보행자 시나리오: 한명의 보행자가 도로를 횡단함

    • ⑤ 자전거 시나리오: 한 대의 자전거가 횡단함

    객체의 유형에 대한 분류는 25가지 경우에서 각각 차량, 보행자, 자전거에 대한 데이터 상의 분류가 가능하다. 객체에 대한 위치 추정 값의 검증을 하기 위해서 위성기반 절대위치 측정 장비인 GPS-RTK 장비(Real Time Kinematic satellite navigation)를 이용한 평가를 수행하였다. 여기서, GPS-RTK장비는 Trimble 사의 R5 제품을 이용하였다. 이를 위하여 <그림 10>과 같은 장비 수신기, 컨트롤러, 안테나, 수집하 기 위한 노트북, 그리고 네트워크 연동을 위한 스마 트폰을 이용하였다. 상기 장비의 오차범위는 종방 향으로 ‘8mm+1ppm RMS’와 횡방향 ‘15mm+1ppm RMS’ 값을 가진다. 이러한 GPS-RTK 장비는 차량 에서는 정중앙 위치에 안테나를 설치하였고, 보행 자와 자전거의 경우 가방을 이용하여 실제로 장비 를 들고 이동하여 실측 위치를 수집하였다. 실제 실 험은 전술된 5가지의 시나리오에 따라 객체들을 운 행한 후 레이저스캐너의 데이터와 카메라로부터의 영상 데이터를 수집 및 저장하였다. 이후 RTK장비 의 컨트롤러와 연결된 노트북의 로깅 데이터(참 값) 과의 비교 및 검증을 실시하였다. 여기서 자전거 시 나리오의 경우 최종 데이터 분석시 5가지 시나리오 중 3가지 경우에 RTK 장비 데이터의 장비 에러로 인하여 시험결과를 확인할 수 없어 실제 검증에 수 행된 결과는 22가지이다.

    3. 알고리즘 수행 결과

    제시된 알고리즘의 수행결과 영상 데이터에서 인식된 객체는 100% 정확도로 차량/보행자/자전거 로 분류하였다. 실제적으로 날씨, 조도 등의 외부 환경에 이상적인 상황이 아닐 경우에 시험이 이루 어지면 상기 객체분류의 성능치는 변화될 것으로 예상이 된다. 각 시나리오별로 주요 수행결과는 <그림 11>과 <표 1>과 같다.

    <표 1>을 살펴보면 본 알고리즘을 기반으로 하 는 인프라기반 검지 시스템의 경우 위치오차의 평 균 분포가 40~60cm 내외로 분포함을 확인할 수 있 다. 여기서 RTK장비와의 평균 위치오차는 검지영 역 지역에서 주행한 매 초마다, RTK 위치값과 알고 리즘의 추정 결과를 산술 평균한 값이고 표준편차 는 각 초마다의 차이에 대한 변이 값을 의미한다. <표 1>의 결과를 상세히 분석하여 보면, 차량 시나 리오의 경우 차량의 중심점에 RTK 장비 안테나를 설치하여 이를 참 값으로 추정하였는데, 영상카메 라와 레이저스캐너의 융합센서 알고리즘의 적용 결 과 위치 오차가 보다 크게 나타나는 구간이 존재하 다. 이는 검지시스템의 검지영역의 범위에 따라 차 량 중심점에 대해 정확하게 추정하지 못함으로 발 생하였으며 이에 따라 표준편차들의 값에 영향을 주었다. 즉 레이저스캐너의 검지영역이 방향별 60~80m 인데 영상카메라와 레이저스캐너로부터의 거리가 각각 먼 지역에서 접근할 때의 차량의 중심점을 정 확하게 추정하지 못하였다. 둘째로 RTK 장비에서 수집된 절대시각(초당)과 알고리즘의 결과에서 태 그된 검지시각(초당)이 일부 동기화 오류가 존재하 였다. 즉 알고리즘이 수행하는데 있어 영상 처리 및 레이저스캐너 데이터의 처리상 시간지체가 발생하 였는데 이를 검지시스템에서 반영하지 못하여 위치 오차에 이러한 부문이 일부 포함되었다. 이러한 두 가지 문제로 인하여 위치오차의 평균이나 표준편차 가 본 연구자가 예상한 초기 위치오차 수치인 30cm 보다는 좋지 않은 결과를 얻었다(초기 예상한 수치 의 경우는 레이저스캐너만을 이용하여 상기 지역에 서의 차량에 대한 위치오차 테스트를 실시하였던 결과를 기반으로 30cm를 위치오차를 예상 치로 설 정하였었다).

    이상적 환경에서 본 연구가 진행되었고 알고리 즘의 성능이 예상한 결과만큼 우수하지는 못하였지 만, 본 시스템에 대한 연구 결과는 의미가 있다고 사료된다. 기존의 ITS에서 수행하였던 검지성능평 가나 검지기 기준의 경우 ‘교통량, 속도, 점유율’이 검지되어 이를 교통정보수집이나 교통제어에 활용 이 되었다. 이러한 방식과는 달리 본 연구에서 활용 된 검지 시스템은 검지시각별로 객체의 유형, 실측 위치정보 및 그 오차를 제공할 수 있다. 이러한 형 태는 위성기반 GPS 프로브 방식 등에서도 이러한 유형을 찾을 수 있지만, 차량이 아닌 도로인프라에 서 검지한다는 측면과 위치오차가 40~60cm 내외로 나타나고 있어 고정밀 위치 추정 및 추적도 가능함 을 알 수 있다. 이는 향후 기존 ITS 검지방식이 아 닌 인프라기반 검지시스템이 도로 위의 객체를 분 류하고 위치 정보를 제공하는데 유용하게 사용되어 도입이 될 수 있는 가능성을 시사하는 것이다.

    Ⅴ. 결론 및 향후과제

    본 연구는 두 대의 레이저스캐너와 한 대의 카메 라를 이용하여 이종 센서의 데이터의 융합을 통해 도로상의 객체에 대한 유형 분류와 그 위치를 추정 하는 방법에 대하여 제안하고 있다. 이러한 인프라 기반 검지 시스템은 기존의 루프검지기, 자기검지 기 등의 지점검지 방식에서 검지되는 차량분류와 속도, 점유율을 산정을 목표로 하는 형태와 상이하 고, GPS 구간검지 방식과 같이 각 객체의 위치를 추적하여 위치를 산출하는 검지 시스템이다. 이러 한 형태는 향후 ADAS 용 장애물 등의 위치 경고 제공이나 차량의 인프라기반 (반)자동제어 서비스 등에 활용될 수 있는 검지 기술이 될 수 있다. 이러 한 이종 센서를 이용한 인프라기반 검지시스템의 도입을 위해 관련 하드웨어를 구성하고, 센서별 특 징점 추출 및 융합 알고리즘을 설계하여 이를 실 도로환경에서 도입하여 보았다. 그 결과 도로 인프 라에서의 검지시스템으로 차량, 보행자 및 기타 장 애물에 대한 검지 및 위치 추정에 대하여 비교적 용이하게 이용될 수 있음을 확인할 수 있었다.

    본 연구의 한계를 간단히 정리하면 다음과 같다.

    첫째, 알고리즘 평가 방법의 경우 기존의 ITS 검 지기술의 표준화된 지침과는 달리, RTK 장비를 도 입하여 위치의 측위 방법을 수행하였다. 이는 본 연 구에서 제시하는 객체검지시스템은 표준화된 ITS검 지 변수와는 다르기 때문이지만, 기존 검지기와의 비교를 위해서는 동일 지표로 확인해볼 필요성이 존재한다.

    둘째, 본 연구에서 문제가 된 것은 성능 측면에 서, 초기 예상한 결과(30cm내외)보다는 좋지 않은 값을 결과물을 얻은 것이다. 이는 두 센서의 융합 처리시 원시데이터(raw data)의 수집시각, 융합처리 시각, 그리고 RTK 장비의 실측 위치시각 등의 시각 동기화 측면에서 오차가 없이 평가되도록 하여야 하는데 이 부문에서 결측 데이터가 존재하였다. 향 후에는 이를 자동으로 수정되는 시스템의 설계가 필요하다.

    셋째, 본 연구는 낮과 밤의 조도에 대한 영향이 나, 비와 눈과 같은 날씨의 영향을 고려하지 않은 이상적인 환경에서 실험이 이루어졌다. 따라서 객 체의 분류 및 위치 추정 결과가 이상적인 상황에서 이루어졌다. 본 연구 아이템이 영상을 융합한 시스 템이기 때문에 조도, 날씨 등의 환경적 조건을 고려 한 민감도 분석이 이루어져야 하며 알고리즘의 설 계에서도 이를 고려한 수행이 되어야 한다.

    그럼에도 본 연구와 같이 다양한 센싱 시스템에 대한 도입 및 적용을 통해 지속적인 C-ITS의 서비 스의 확장과 고안정성이 확보될 수 있는 미래적 도 로 환경으로 발전하기를 기대하는 바이다.

    Figure

    KITS-11-5-125_F1.gif

    System Concept of H. Zhao

    KITS-11-5-125_F2.gif

    Sensor deployment of L. Alexander

    KITS-11-5-125_F3.gif

    Service Concept

    KITS-11-5-125_F4.gif

    Flow of sensor fusion algorithm

    KITS-11-5-125_F5.gif

    Object labeling at local grid map

    KITS-11-5-125_F6.gif

    Noise filtering by dilation operation

    KITS-11-5-125_F7.gif

    Object classification and location estimation from camera

    KITS-11-5-125_F8.gif

    Test bed environment and sensors deployment

    KITS-11-5-125_F9.gif

    Hardware configuration of detection system

    KITS-11-5-125_F10.gif

    GPS-RTK Receiver, Controller, Antenna

    KITS-11-5-125_F11.gif

    Algorithm S/W GUI

    Table

    Algorithm Implementation Results

    Reference

    1. H. Zhao, J. Cui and H. Zha, “Sensing an intersection using a network of laser scanners and video cameras”, IEEE Intelligent Transportation Systems Magazine, vol. 1, no. 2, pp.31-37, 2009.
    2. L. Alexander, P. Cheng, A. Gorjestani, A. Menon, B. Newstom, C. Shankwitz, and M. Donath, “The minnesota mobile intersection surveillance system”, Proc. of IEEE Intelligent Transportation Systems Conference, pp.139-144, 2006.
    3. L. A. Klein, “Sensor Technologies and Data Requirements for ITS”, Artech House, 2001.
    4. F. Ahlers, and Ch. Stimming, “Laserscanner based cooperative Pre-data-fusion”, in Proc. IEEE in Intelligent Vehicles Symposium, pp.1187- 1190, 2008.
    5. M. Tsogas, N. Floudas, P. Lytrivis, A. Amditis, and A. Polychronopoulos, “Combined lane and road attributes extraction by fusion data from digital map, laser scanner and camera”, Information Fusion, vol. 12, pp.28-36, 2011.
    6. M. Jokela, M. Kutila, J. Laitnen, F. Ahlers, N. Hautiere, and T. Schendzielorz, “Optical road monitoring of the future smart roads – preliminary results”, World Academy of Science, Engineering and Technology, vol. 34, pp.52-57, 2007.
    7. R. Labayrade, C. Royere, D. Gruyer, and D. Aubert, “Cooperative fusion for multi-obstacles detection with use of stereovision and laser scanner”, Autonomous Robots, vol. 19, pp.11-140, 2005.
    8. N. Kaempchen and K. C. J. Dietmayer, “Fusion of laserscanner and video for advanced driver assistance systems”, in Proc.11th World Congress on Intelligent Transportation Systems, Nagoya, Japan, 2004.
    9. S. Wender and K. C. J. Dietmayer, “A feature level fusion approach for object classification”, in Proc. IEEE Intelligent Vehicles Symposium, Istanbul, Turkey, 2007.
    10. A. Soloviev, and M. M. Miller, “Navigation in difficult environments: Multi-sensor fusion techniques”, RTO-EN-SET-116, Nato Otan Science and Technology Organization publication, 2011.
    11. C. h. Cuan, J. W. Gong, Y. D. Chen, and H. Y. Chen, “An application of data fusion combining laser scanner and vision in real-time driving environment recognition system”, in Proc. 8th International Conference on Machine Learning and Cybernetics, Baoding, 12-15 July 2009.
    12. H. Cramer, U. Scheunert, and G. Wanielik, “Multi sensor data fusion using a generalized feature model applied to different types of extended road objects,” in Proc. 7th International Conference on Information Fusion. Stockholm, Schweden, June 2004.
    13. A. Fod, A. Howard, and M.J. Mataric, “Laser-based people tracking”, in Proc. IEEE Robotics, pp.3025-3029, 2003.
    14. J. Blanco, W. Burgard, R. Sanz, and J.L. Fernandez, “Fast face detection for mobile robots by integrating laser range data with vision”, in Proc .IEEE Robotics, 2003.
    15. J. Cui, H. Zha, H. Zhao, and R. Shibasaki, “Multi-modal tracking of people using laser scanners and video camera”, Image and vision computing, vol. 26, pp.240-252, 2008.
    16. 장정아, 곽동용, 임동선, “자동차-IT서비스를 위한 인프라기반 이종센서의 융합기술연구”, 2011년도 한국융합소프트웨어학회 추계학술발 표대회 논문집, 제1권 1호, 2011.
    17. E. Waltz and J. Llinas, “Multisensor data fusion norwood”, MA: Artech House, 1990.
    18. N. E. Faouzi, H. Leung, and A. Kurian, “Data fusion in intelligent transportation systems: progress and challenges- a survey”, Information Fusion, vol. 12, pp.4-10, 2011.

    저자소개

    • 장 정 아 (Jeong-Ah Jang)
    • 2004년 5월 ~ 현 재 : 한국전자통신연구원 자동차/조선 IT융합 연구부 선임연구원
    • 2002년 3월 ~ 2009년 2월 : 아주대학교 일반대학원 건설교통공학과 졸업(공학박사)
    • 2000년 3월 ~ 2002년 2월 : 아주대학교 일반대학원 건설교통공학과 졸업(공학석사) ~ 2000년 2월 : 아주대학교 환경도시공학부 졸업(공학사)
    • 관심분야 : 교통정보수집/생성/가공서비스 및 기술, 자율차량서비스 및 기술

    • 이 기 룡 (Giroung Lee)
    • 2008년 3월 ~ 2010년 8월 : 아주대학교 전자공학과 박사과정 수료
    • 2006년 3월 ~ 2008년 2월 : 아주대학교 전자공학과 석사 졸업(공학석사) ~ 2006년 2월 : 아주대학교 전자공학부 졸업(공학사)
    • 관심분야 : 지능형 로봇 기술, path planning, formation control, vision algorithm, behavior-based control, mobile robot

    • 곽 동 용 (Dong-Yong Kwak)
    • 2010년 ~ 현 재 : TTA 텔레매틱스/ITS PG 부의장
    • 1985년 9월 ~ 현 재 : 한국전자통신연구원 책임연구원, 자동차/인프라융합연구팀장
    • 2004년 : 한국정보통신대학 박사(정보통신공학전공)
    • 1985년 : 동국대학교 대학원 석사(전산학전공)
    • 관심분야 : 운전자지원시스템, 차량통신, 교차로자율주행시스템

    Footnote

    • www.its.dot.gov/connected_vehicle/connected_vehicle.htm
    • www.safespot-eu.org/
    • www.coopers-ip.eu/
    • www.intersafe-2.eu/