Journal Search Engine

Volume/Issue :

Year(s) : to

Search :

Title :

Author :

Keyword :

Abstract :

Figure :

Table :

Reference :

Search Advanced Search

Adode Reader(link)

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer

The Journal of The Korea Institute of Intelligent Transport Systems Vol.21 No.5 pp.218-232
DOI : https://doi.org/10.12815/kits.2022.21.5.218

Doppler Velocity-based Dynamic Object Tracking and Rejection for Increasing Reliability of Radar Ego-Motion Estimation

Yeong Sang Park^*, Kyoung-Wook Min^**, Jeong Dan Choi^***

^*Autonomous Driving Intelligence Research Section, ETRI
^**Intelligent Robotics Research Division, ETRI
^***Co-author: Head of Intelligent Robotics Research Division, Electronics and Telecommunications Research Institute, Korea

^† Corresponding author : Yeong Sang Park, pys0728k@etri.re.kr

Received 3 August 2022 │ Revised 30 August 2022 │ Accepted 20 October 2022

Abstract

Researches are underway to use a radar sensor, a sensor used for object recognition in vehicles, for position estimation. In particular, a method of classifying dynamic and static objects using the Doppler velocity, the output from the radar sensor, and calculating ego-motion using only static objects has been researched recently. Also, for the existing dynamic object classification, several methods using RANSAC or robust filtering has been proposed. Still, a classification method with higher performance is needed due to the nature of the position estimation, in which even a single failure causes large effects. Hence, in this paper, we propose a method to improve the classification performance compared to existing methods through tracking and filtering of dynamic objects. Additionally, the method used a GMPHD filter to maximize tracking performance. In effect, the method showed higher performance in terms of classification accuracy compared to existing methods, and especially shows that the failure of the RANSAC could be prevented.

Key Words : Autonomous driving , Radar sensor , Dynamic object tracking , PHD filter

레이더 에고 모션 추정 신뢰성 향상을 위한 도플러 속도 기반 동적 물체 추적 및 제거

박 영 상^*, 민 경 욱^**, 최 정 단^***

^*주저자 및 교신저자 : 한국전자통신연구원 자율주행지능연구실 연구원
^**공저자 : 한국전자통신연구원 자율주행지능연구실 실장
^***공저자 : 한국전자통신연구원 지능로보틱스연구본부 본부장

초록

차량의 물체 인식에 사용되던 센서인 레이더 센서를 위치 추정에 사용하기 위한 연구들이 진행되고 있다. 특히 레이더 센서에서 출력되는 도플러 속도를 이용하여 동적 물체와 정적 물 체를 분류하고, 정적 물체만을 이용하여 에고 모션을 계산하는 방법이 연구되었다. 기존의 동 적 물체 분류에서는 RANSAC을 사용한 방법이 제시되었는데, 단 한 번의 알고리즘 실패가 큰 영향을 미치는 위치 추정의 특성상 더 높은 성능을 가진 분류 방법이 필요하다. 본 논문에서는 동적 물체의 추적 및 필터링을 통해 기존 방법보다 분류 성능을 높이는 방법에 대해 제안한다. 추가적으로 GMPHD 필터를 사용하여 추적 성능을 최대로 향상시킨다. 제안된 방법은 기존의 방법과 비교하여 분류 정확도에서 더 높은 성능을 보였으며, 특히 알고리즘의 실패를 방지할 수 있다는 것을 보인다.

키워드 : 자율주행 , 레이더 센서 , 동적 물체 추적 , PHD 필터

This article has been cited by 0 article in crossref

Cited-By

Funding:

Ⅰ. 서 론

1. 개요

최근 자율주행 자동차는 하드웨어의 발전 및 수십 년에 걸쳐 축적된 많은 연구 들을 통해 제품화가 실현 되고 있으며, 실제로 자율주행 자동차를 사용해 본 사람들의 인식 또한 긍정적으로 변화하고 있다. 이러한 인식을 바탕으로 IT 업체 및 완성차 업체에서는 부분 자율주행에서부터 완전 자율주행까지 전방위적인 연구 를 진행하고 있는데, 이와 같은 자율주행 연구의 핵심적인 부분 중의 하나는 센서를 사용하여 주변 환경을 인식하는 연구이다. 일반적으로 자율주행 자동차는 미리 생성되어있는 사전 지도(prior map)로 지역화 (localization)를 수행하여 위치와 주변 환경을 파악하게 된다. 그러나 주변 차량이나 보행자 및 장애물과 같은 실시간 주변 환경에 대한 정보 없이는 변화하는 도로 환경에 대한 즉각적인 대처를 할 수 없다. 실시간 환경 인식을 위해 사용되는 센서로는 카메라, 라이다(LiDAR), 그리고 레이더(Radar)가 있다.

먼저 카메라는 인간의 눈과 같이 주변 환경에 반사된 가시광선을 받아들여서 환경의 색 및 명도를 측정할 수 있다. 카메라는 정보량이 많음에도 불구하고 가격이 매우 저렴하므로, 많은 연구자가 카메라를 사용하여 연구를 진행하고 있다. 라이다는 주변 환경의 거리를 높은 정확도로 측정할 수 있는 센서이다. 센서 중에서 는 가장 고가이지만 환경 인식 및 장애물 회피에 중요한 거리 정보가 나온다는 장점 때문에 주로 사용되는 센서이다. 이 두 가지의 센서들은 각각의 장단점이 명확하며 융합하여 사용하는 경우도 많다.

자율주행 자동차의 상용화를 위해서는 어느 환경에서도 동작하는 신뢰성(reliability) 및 강인성(robustness) 이 보장되어야 한다. 카메라와 라이다는 높은 성능으로 인해 주로 사용되는 센서지만 두 센서 모두 가시광선 및 적외선 대역의 빛을 사용한다는 공통점이 있다. 특히 폭우, 폭설, 심한 안개 등 시야가 좋지 않은 상황에 서는 두 센서 모두 물리적인 한계를 극복할 수 없으며 측정에 실패하게 된다.

레이더는 본래 주변의 물체 인식에 주로 사용되던 센서이다. 라이다처럼 주변 물체의 거리를 측정할 수 있으나 정확도가 낮고 측정 데이터가 희소(sparse)하므로 지도를 만들거나 에고 모션(ego-motion)을 추정하는 데에는 사용되지 않았다. 측정된 데이터에서 정적 물체는 클러터(clutter)로 인식하여 제거하고 동적 물체를 인식 및 추적하게 된다.

그러나 센서의 발전으로 인해 레이더의 측정 데이터도 점점 정확하고 밀집(dense)되었으며, 특히 도플러 속도를 측정할 수 있다는 장점으로 인해 레이더 센서를 에고 모션 추정에 사용하는 연구도 진행되었다. 특히 다른 센서들이 여러 스캔의 차이(differential)를 사용하여 모션을 계산하는 것과는 달리 도플러 현상에 의한 주파수 변화로 속도를 측정하는 방법이기 때문에 순간 모션을 추정할 수 있다는 장점이 있다.

2. 관련 연구

레이더는 강인하게 물체를 측정할 수 있다는 장점으로 인해 차량 분야에서 많이 사용되던 센서이다. 이에 따라 차량용 레이더의 연구 또한 활발하게 진행되었는데, 주로 진행되었던 분야는 MOT1) 혹은 DATMO2) 라 고 하는 동적 물체 추적 용도로서의 연구이다. Vivet et al.(2012)은 스캐닝 레이더와 칼만 프로세스(Kalman process)를 사용하여 동적 물체를 추적하는 방법을 제시하였다 (Vivet et al., 2012). 최근에는 딥러닝(deep learning)을 사용한 방법이 주로 연구되고 있다. Nobis et al.(2021)는 레이더 측정값을 복셀(voxel)상에서 라이 다, 카메라와 융합하여 딥러닝으로 학습하는 방법에 대해 제안하였다 (Nobis et al., 2021).

레이더 오도메트리(odometry) 및 SLAM3) 분야는 동적 물체만을 추적하는 기존의 방법과는 달리 정적 물체 를 사용해야 하므로 레이더의 특성과 맞지 않아서 비교적 적은 수의 연구로 시작되었다. 레이더는 라이다, 카메라와 비교해서 적은 특징점(feature)을 가졌다는 특성 때문에 데이터 연관(association)이 어렵고 잡음에 취 약하다. 이러한 부분을 해결하기 위해 Lundquist et al.(2010)는 PHD filter4)를 적용한 도로 반사 강도(intensity) 기반 맵핑을 제안하였다 (Lundquist et al., 2010).

이렇게 희소한 레이더 데이터를 사용하여 정확한 위치 정보를 계산하기 위한 노력 이후, 레이더 하드웨어 기술의 진보가 이루어지면서 밀집된 측정값을 출력하는 레이더 센서가 출시되기 시작하였다. 이러한 새로운 레이더의 특징은 고성능의 1-D 레이더를 물리적으로 360도 회전시켜 라이다와 비슷한 화각(FoV)을 달성하였 다는 것이며, 조감도(bird’s-eye view) 이미지와 같은 측정값을 얻을 수 있다는 것이었다. 이와 같은 특징은 SLAM 분야의 레이더에 관한 관심을 끌어올렸으며, SLAM의 성능 또한 향상되는 결과를 낳았다. Vivet et al.(2013)은 초기 스캐닝 레이더를 사용하여 추가적인 센서 없이 높은 정확도의 지역화 및 지도화(mapping)를 수행하였다 (Vivet et al., 2013). Cen and Newman(2018)은 스캐닝 레이더의 데이터를 기존의 적응형 임계처리 (adaptive thresholding) 기법이 아닌 필터링 기법으로 특징점을 추출하여 특징점 기반 모션 추정을 수행하였다 (Cen and Newman, 2018). 또한 Cen and Newman(2019)에서는 특징점 추출 기법을 1-D 신호에서 2-D 이미지 기반으로 변경하여 더 높은 성능을 달성하였다 (Cen and Newman, 2019).

이와 다른 방향의 레이더 모션 추정 방법으로는 본 논문에서 사용되는 레이더 도플러 속도를 사용한 모 션 추정 방법이 있다. 도플러 속도를 사용하는 방법은 레이더 모션 추정 방법에서 주로 연구되는 분야는 아 니었으나, 적은 데이터만으로도 오도메트리 기준 높은 정확도를 보여준다는 장점 때문에 최근에 많은 연구 가 시도되고 있다. Kellner et al.(2013)는 레이더 포인트 클라우드의 기하학적 정보를 사용하는 것이 아닌 도 플러 속도를 사용하여 에고 모션을 추정하는 방법에 대해 제시하였다 (Kellner et al., 2013). 제안된 방법은 희 소하고 부정확한 레이더의 기하학적 정보를 이용하지 않고 비교적 정확하며 데이터 밀도에 영향을 적게 받 는 도플러 속도를 사용한다는 점에서 큰 장점을 보여주었다. 해당 알고리즘을 기반으로 Kramer et al.(2020)는 레이더와 IMU가 결합된 속도 추정 방법을 제시하였다 (Kramer et al., 2020). 또한 Park et al.(2021)은 레이더 의 바이어스를 고려한 순간 속도 팩터 (factor)를 제안하고 IMU와 결합하여 그래프 기반 최적화를 수행하는 새로운 방법을 제시하였다 (Park et al., 2021).

이처럼 도플러 속도를 사용하여 에고 모션을 추정하는 기존의 연구들은 측정된 레이더 데이터에 RANSAC이나 cauchy norm과 같은 이상치(outlier) 필터링 알고리즘을 사용함으로써 완벽하게 동적 물체를 제 거한다는 가정을 세우고 연구를 진행하였다. 그러나 실제 주행 시 측정 데이터에 동적 물체가 지배적이고 정 적 물체가 아주 적은 상황이 생길 수 있으며, 기존의 이상치 필터링 알고리즘으로는 이와 같은 상황에 완전 히 취약하다.

본 논문에서는 기존의 레이더 에고 모션 추정 방법에서 고려되지 않았던 대량의 동적 물체로 인한 모션 추정 실패를 보완하는 방법에 대해 제안한다. 먼저 동적 물체에 대한 사전 정보를 필터링 알고리즘에 사용하 기 위해 동적 물체 추적 알고리즘을 새로 제안한다. 다음으로는 물체 추적의 정확도를 올리기 위해 기존에 주로 사용되는 방법인 GMPHD 필터를 적용한다. 마지막으로 실험을 통해 제안된 알고리즘의 성능을 보인다.

Ⅱ. 도플러 속도 기반 레이더 에고 모션 추정

도플러 속도는 레이더에서 측정할 수 있는 물체의 직접적인 모션 정보이다. 이러한 도플러 속도를 사용한 레이더 에고 모션 추정은 기존 여러 논문에서 제안한 방법들이 있으나, 본 논문에서는 (Kellner et al., 2013)에 서 제안한 방법을 기반으로 한다.

1. 레이더 에고 모션 추정 모델

레이더의 에고 모션은 측정된 정적 물체들의 속도 벡터와 같은 크기를 가진 반대 방향의 벡터로 생각할 수 있으므로 정적 물체들의 센서 좌표계에서의 속도를 계산하는 방법으로 레이더의 모션을 추정할 수 있다. 레이더의 측정값 X = {r, θ, υ_r}∈R³ 는 물체의 거리 r, 방위각 θ , 도플러 속도 υ_r 로 이루어져 있다. 도플 러 속도는 측정된 물체 속도의 원심 방향 속도 성분인데, 이를 수식으로 표현하면

υ_{r} = υ_{x} cos (θ) + υ_{y} sin (θ)

(1)

이며, 여기에서 υ_x , υ_y 는 센서 좌표계에서의 각 축에 대한 속도 벡터이다. 측정된 물체가 모두 정적 물체 라고 가정하면 측정 셋(set) X = {X₁,⋯,X _N }에 대하여 식 (2)와 같이 나타낼 수 있다.

[\begin{matrix} υ_{r, 1} \\ ⋮ \\ υ_{r, N} \end{matrix}] = [\begin{matrix} cos (θ_{1}) & sin (θ_{1}) \\ ⋮ & ⋮ \\ cos (θ_{N}) & sin (θ_{N}) \end{matrix}] [\begin{matrix} υ_{x} \\ υ_{y} \end{matrix}]

(2)

측정값이 2개 이상일 경우 SVD5)를 통해 υ_x , υ_y 를 계산할 수 있다. 헤딩(heading) 각도 α 는 속도 벡터의 방향이며, 식 (3)과 같이 계산할 수 있다.

α = arctan(\frac{υ_{y}}{υ_{x}})

(3)

2. 동적 물체 필터링

지금까지 정적 물체의 상대적 모션을 통해 에고 모션을 추정할 수 있다는 것을 보였다. 그러나 일반적인 환경에서 동적 물체는 필수적으로 고려하여야 한다. 기존 논문에서는 RANSAC을 사용하여 정적 물체와 동 적 물체를 구분하였다. RANSAC으로 피팅(fitting)하는 모델은 식 (2)와 같으며 가장 consensus가 큰 υ_x , υ_y 를 해(solution)로 볼 수 있다.

Ⅲ. 도플러 속도 기반 동적 물체 추적 및 제거

상기 Ⅱ.2에서 소개된 RANSAC을 사용한 동적 물체 필터링 방법은 cauchy norm과 같은 robust filtering 방 법과 비교해 더 좋은 성능을 보여주며 안정적이다 (Park et al., 2021). 그러나 여전히 문제점들이 남아있으며, 그중 가장 큰 문제점으로는 동적 물체의 방위각–도플러 속도 모델과 정적 물체의 모델이 사인파(sinusoidal) 함수로 같은 모양을 가지고 있다는 것이다. 이는 식 (2)가 정적 물체뿐만 아니라 동적 물체에서도 성립한다 는 것을 통해 알 수 있다. RANSAC은 정상치(inlier)가 적은 데이터에서도 비교적 잘 동작하는 것으로 알려져 있으나, 정상치와 이상치가 모두 같은 모델을 가지고 있다면 단순히 둘 중 어떤 포인트가 많이 측정되는지에 따라 알고리즘의 성공 또는 실패가 결정된다.

본 논문에서는 <Fig. 1>은 radarScenes 데이터 셋 (Schumann et al., 2021)에서 RANSAC을 사용하였을 때 피팅 에 성공한 경우이며, <Fig. 2>는 실패한 경우이다. <Fig. 1>에서 녹색 점선으로 표현된 물체는 레이더 센서에 가장 많이 측정된 동적 물체이다. 동적 물체가 센서에 접근하면서 넓은 범위의 차단(occlusion)이 발생함에 따 라 알고리즘이 실패할 수 있는 상황이나, 주변에 측정된 많은 정적 물체로 인해 모델이 잘 추정되는 것을 확인 할 수 있다. <Fig. 2>는 <Fig. 1>과 비슷하게 동적 물체에 의한 차단이 생겼으나 주변의 정적 물체들이 나무처럼 측정되기 어려운 환경이기 때문에 추정된 모델이 실제 모델과 많은 차이를 보이는 것을 알 수 있다.

<Fig. 1>

Successful case of radar ego-motion estimation

<Fig. 2>

Failure case of radar ego-motion estimation

이와 같은 알고리즘의 한계를 극복하기 위하여 동적 물체를 추적(tracking) 및 필터링하는 방법을 제안한 다. 레이더의 포인트 클라우드에서 동적 물체를 제거하면 정적 물체의 비율이 상대적으로 높아지며 알고리 즘이 실패하는 것을 막을 수 있다. <Fig. 3>은 이를 위한 전체적인 알고리즘에 대한 흐름도(flowchart)이다. 본 방법은 크게 동적 물체 추적과 필터링으로 이루어져 있으며, 재귀적인 구조를 통해 이전 스텝의 동적 물체의 정보를 현재 스텝의 추정치로 사용하는 방법으로 구현하였다.

<Fig. 3>

A flowchart of entire algorithm

1. 동적 물체 추적 및 필터링

<Fig. 4>는 임의의 포인트 클라우드에서 알고리즘이 동작하는 순서를 표현한 도식이다. 레이더의 측정값 X 는 점 p = {x, y, υ_r}= {r cos (θ ), r sin (θ ), υ_r}∈R³ 로 변환할 수 있으며, 한 스캔에서의 레이더 측정값 은 점군(pointcloud) P = {p₁, p₂,⋯, p_n}로 나타낼 수 있다. 먼저 RANSAC을 통해 정적 점군 P ^s 와 동적 점 군 P ^d로 구분할 수 있는데, 동적 점군에 군집화(clustering) 알고리즘을 적용하여 동적 물체 인식을 수행한다.

<Fig. 4>

An example case of proposed tracking and filtering

군집화 알고리즘은 레이더의 잡음이 심하고 물체가 잡음에 비해 비교적 높은 밀도로 측정된다는 특성을 반영하기 위해 DBSCAN (Ester et al., 1996)을 사용하였다. 군집화 알고리즘은 동적 물체의 인식에 사용될 뿐 만 아니라 단일 동적 포인트를 제거함으로써 잡음을 일차적으로 필터링하는 역할까지 수행하게 된다.

동적 포인트 셋(set) P ^T 는 하나의 타겟(target) 물체 $p^{o} = {x^{o}, y^{o}, υ_{x}^{o}, υ_{y}^{o}} \in R^{4}$ 를 나타내게 되는데, 타겟 물체의 좌표 x^o , y^o 는 포인트들의 평균 위치이며, 타겟 물체의 센서 좌표계에서의 속도 $υ_{x}^{o}, υ_{y}^{o}$ 는 동적 포인 트 셋의 도플러 속도를 식 (2)에 대입하여 계산할 수 있다. 추가적으로, 타겟 물체들 전부를 나타내는 타겟 물체 셋은 $P^{o} = {p_{1}^{o}, p_{2}^{o}, \dots, p_{l}^{o}}$ 로 정의하였다. 다음 시간의 타겟 물체 셋 $\hat{P_{t}^{o}}$ 에 속한 물체들의 위치 $\hat{x_{t}^{o}}, \hat{y_{t}^{o}}$ 를 추정하기 위해 식 (4)와 같은 등속(constant velocity) 모델을 사용하였다.

\begin{array}{l} \hat{x_{t}^{o}} = x_{t - 1}^{o} + (υ_{x, t - 1}^{o} - υ_{x, t - 1}) d t \\ \hat{y_{t}^{o}} = y_{t - 1}^{o} + (υ_{y, t - 1}^{o} - υ_{y, t - 1}) d t \end{array}

(4)

여기에서 타겟 물체들의 속도 υ^o 는 센서의 에고 모션이 포함된 속도이므로 센서의 에고 속도 υ 를 빼주어 야 실제 속도를 얻을 수 있다.

레이더의 원시(raw) 포인트 클라우드 P _t 에서 추정된 타겟 물체의 위치를 seed 포인트로 하여 실제 주변에 어떤 포인트들이 타겟에 속해 있는지 데이터 연관(association)을 수행한다. 에고 모션의 변화량이 급격하지 않다고 가정했을 때, 시간 t - 1에서 RANSAC을 통해 계산한 사인파(sinusoidal) 모델에서 속도가 임계값 (threshold) ϵ 보다 더 많은 차이가 나면 동적 포인트 후보, 더 작으면 정적 포인트 후보로 고려하게 된다. 이 후 동적 포인트 후보를 제거하고 정적 포인트 및 정적 포인트 후보를 사용하여 RANSAC을 계산하면 더 강 인하고 안정적으로 에고 모션 모델을 계산할 수 있게 된다.

2. Gaussian Mixture Probabilistic Hypothesis Density (GMPHD) 필터

식 (4)에서는 단순하게 등속 모델을 사용하여 다음 시간에서의 타겟 물체의 위치를 추정하였다. 그러나 실 제 물체의 추적은 동일한 물체인지 판별하는 데이터 연관 또한 수행되어야 한다. PHD 필터는 RFS6)를 통해 데이터 연관을 자동으로 수행하게 되며 복잡한 데이터 연관에 필요한 계산 로드가 적어지게 된다.

제안된 방법에서 사용되는 GMPHD 필터와 다른 PHD 필터들의 차이는 가우시안 혼합 모델(Gaussian Mixture Model)로 타겟을 표현한다는 것이다. 여러 타겟의 상태 (state) 및 관측 (observation)을 필터에서 계산 하면 비효율적일 수밖에 없으며, 타겟들을 가우시안 분포로 가정하여 pruning, elimination 하면 중요한 타겟 만을 계산에 활용할 수 있어서 계산 효율이 높아진다. 본 논문에서는 PHD 필터가 모션 추정을 위한 전처리 역할을 하기 떄문에 계산의 효율성을 중시하여 GMPHD 필터를 사용하였다.

PHD 필터에서는 birth 타겟과 existing 타겟의 가중치를 유저 파라미터로 사용한다. 식 (5)는 birth 타겟의 가중치 업데이트 수식이며, 식 (6)은 existing 타겟의 가중치 업데이트 수식이다.

w_{k | k - 1}^{(i)} = w_{k - 1}^{(l)} w_{β, k}^{(j)}

(5)

w_{k | k - 1}^{(i)} = p_{S, k} w_{k - 1}^{(j)}

(6)

여기에서 $w_{β, k}^{(j)}$ 는 시간 k에서 새로 생성되는 j 번째 타겟의 가중치, p_{S , k}는 시간 k에서 기존에 존재하고 있는 타겟이 여전히 존재할 확률(probability)이다. 제안된 방법에서는 타겟 존재 확률 p_{S , k} ∼N (μ, σ )를 레 이더 측정 1 스캔에 대해 정규화된 rcs7)δ에 대한 함수 p_{S , k} (δ)로 정의하였다. 이는 직관적으로 레이더 반사 율이 높은 물체일수록 존재할 확률이 높다는 것으로 이해할 수 있다.

GMPHD 필터의 pruning은 일정 범위에 있는 타겟들을 가우시안 혼합을 통해 복잡도를 줄이는 과정이다. 여러 타겟을 하나로 혼합하는 수식은 다음과 같다. 식 (7)은 pruning 후, 타겟의 가중치를 업데이트하는 수식 이며, 식 (8)은 가우시안 혼합으로 표현된 타겟의 평균(mean)을 업데이트하는 수식, 그리고 식 (9)는 타겟의 공분산(covariance)을 업데이트하는 수식이다.

{\tilde{w}}_{k}^{(l)} = \sum_{i \in L} w_{k}^{(i)}

(7)

{\tilde{m}}_{k}^{(l)} = \frac{1}{{\tilde{w}}_{k}^{(l)}} \sum_{i \in L} w_{k}^{(i)} x_{k}^{(i)}

(8)

{\tilde{P}}_{k}^{(l)} = \frac{1}{{\tilde{w}}_{k}^{(l)}} \sum_{i \in L} w_{k}^{(i)} (P_{k}^{(i)} + ({\tilde{m}}_{k}^{(l)} - m_{k}^{(i)}) {({\tilde{m}}_{k}^{(l)} - m_{k}^{(i)})}^{T})

(9)

마지막으로 pruning 수행 도중 가중치가 일정 이하인 타겟은 elimination 과정을 통해 완전히 제거함으로써 잡음에 의한 오검출(false detection)을 제거한다. 상기한 설명 이외의 자세한 GMPHD 필터의 이론 및 구현에 대해서는 (Vo and Ma, 2006)에서 확인할 수 있다.

GMPHD 필터는 현재 표적의 수 및 최대 예측 범위에 따라 계산 복잡도 및 성능이 크게 달라지는 특성이 있다. 그러나 본 논문에서는 GMPHD 필터의 파라미터를 세부 조정하는 방법이 아닌, Ⅲ.1에서 소개된 사전 필터링 및 추적 알고리즘을 통해 단순화된 타겟 물체 셋을 사용하는 방법으로 파라미터 의존도를 줄이면서 도 더 좋은 성능을 보여주도록 하였다. 또한 PHD 필터는 오검출에 매우 강인하지만, 미검출(missing detection)로 인한 영향을 크게 받는 것으로 알려져 있다 (Yoon et al., 2016; Yang et al., 2022). 레이더 센서는 오검출, 미검출이 기존 라이다, 카메라 센서에 비해 더 많기 때문에 미검출로 인해 추적 성능 자체는 떨어질 수 있다. 그러나 본 논문의 목표는 높은 추적 성능이 아니라 RANSAC으로 동적 물체와 정적 물체를 분리하 고 정적 물체의 도플러 속도를 통해 에고 모션을 추정할 때, 동적 물체를 제거 함으로써 모션 추정 알고리즘 이 안정적으로 수행되도록 만드는 것이다. GMPHD 필터는 타겟의 위치를 등속 모델로 추정한 방법에 비해 더 좋은 성능을 보여주었으며, 다음 장에서 이에 대해 설명하도록 한다.

Ⅳ. 실험 결과

1. 데이터 셋

제안된 알고리즘을 실험하기 위하여 radarScenes 데이터 셋 (Schumann et al., 2021)을 사용하였다. 기존에 주로 사용되던 레이더 관련 데이터 셋은 nuScenes, Mulran 그리고 Oxford Radar RobotCar 데이터 셋 등이 있 으나, 각각 제안된 알고리즘을 적용하기 어려운 특징들을 가지고 있다. nuScenes 데이터 셋은 모션 추정의 성 능을 확인하기에는 너무 짧은 길이를 가지고 있으며, Mulran 및 Oxford 데이터 셋은 스캐닝 레이더를 사용하 여 레이더의 속도 정보를 얻을 수 없다. 결국 모션 추정의 성능을 확인할 만큼 길이가 길면서 레이더의 속도 정보를 알 수 있는 radarScenes 데이터 셋을 선택하였다.

radarScenes 데이터 셋은 물체 인식용 레이더 연구를 위해 만들어진 데이터 셋으로써, 총 158개의 sequence 로 이루어져 있으며 도시 지역, 시골길 및 도로 등 여러 가지 환경에서의 데이터 셋을 담고 있다. 센서는 전 방 290도 화각을 커버하는 4대의 레이더 센서, 그리고 물체 인식을 위한 카메라 1대가 실험용 차량에 장착되 어 있다. 장착된 레이더에서 측정된 포인트들은 차량의 에고 모션을 뺀 순수한 속도를 가지고 있으므로, 본 논문에서 수행하는 동적 물체와 정적 물체의 분류에 관한 결과 분석을 정량적으로 수행할 수 있다.

해당 데이터 셋은 차량의 모션이 없는 상태에서 물체를 인식하는 시퀀스도 있으나, 본 논문에서는 알고리 즘 실패를 극복하는 상황을 실험하기 위해 주변 동적 물체가 많으면서도 차량이 움직이는 고난도의 시퀀스 10개를 선정하였다.

2. 정량적 비교 메트릭 (metric)

각 방법의 정량적 비교를 수행하기 위하여 두 가지의 비교 메트릭을 사용하였다. 또한 비교군은 RANSAC, 제안된 방법과 등속 모델을 사용한 물체 추적, 제안된 방법과 GMPHD 필터를 사용한 물체 추 적 및 RANSAC과 GMPHD만을 적용한 방법의 총 네 가지 방법을 사용하여 성능을 비교하였다.

먼저 첫 번째 비교 메트릭은 f-1 점수(score)이다. f-1 점수는 정밀도(precision)와 재현율(recall)의 조화 평균 (harmonic mean)으로써 두 변수에 모두 영향을 받는다. 부분적으로 실패 사례를 확인할 수는 없으나, 전체적 인 분류 성능을 평가할 수 있는 지표이다.

다음으로 실패 사례의 횟수는 일정 임계치를 만족하지 못하는 정확도(accuracy)에서는 알고리즘의 실패 확 률이 커지므로 적용된 알고리즘을 통해 얼마나 안정적인 분류가 되는지를 정량적으로 보여주는 수치이다. 에고 모션 추정의 실패 사례는 이상치를 제거하는 RANSAC모델이 정적 물체가 아닌 동적 물체에 잘못 피팅 되었을 때 나타나며, 추정된 모션이 참값(ground truth)와 비교하여 큰 오차를 보인다. 그러나 모션 추정 알고 리즘 또한 정확한 모션을 추정할 수 있는 것이 아니기 때문에 참값과 단순 비교한다고 하더라도 추정 알고 리즘의 오차와 실패 사례에 대한 오차를 구분할 수 없다. 본 논문에서는 이렇게 잘못 추정된 모션을 실제 참 값과 직접적으로 비교하는 것이 아닌, RANSAC을 통해 동적 물체와 정적 물체가 잘 분류되었는지를 표현하 는 정확도 수치를 통해 실패 사례를 판별하여 추정 알고리즘의 오차가 분리된 정량 분석을 수행하였다.

분류 알고리즘의 정규화된 비교 메트릭은 일반적으로 성공하면 매우 높게 나오며, 실패하면 매우 낮게 나 오므로 중간 정도의 값을 가지는 경우는 드물다. 그러나 레이더의 경우 노이즈가 다른 센서에 비해 크다는 특성 때문에, 정적 물체도 마치 동적 물체처럼 속도가 측정되는 경우가 있다. 이런 경우에는 분류 알고리즘 에 영향이 미미하면서도 제대로 분류가 되지 않기 때문에, 중간 정도의 메트릭이 계산될 수 있다. 이에 대한 정확한 기준을 설정하기는 어려우나, 경험적인 판단을 통해 임계치를 0.5로 설정하였다. 실제 절반 이상 분 류에 실패하더라도 알고리즘이 정상적으로 동작하는 경우가 있으나, 이전 추적 타겟을 다음 스텝의 사전 예 측값으로 사용하는 알고리즘의 특성상 다음 추적에도 영향을 미치기 때문에 알고리즘이 실패하였다고 간주 하였다.

3. 결과 분석

<Table 1>에서는 모든 시퀀스에서 제안된 방법이 좋은 성능을 보여줌을 알 수 있다. 예외적으로 시퀀스 8 에서는 제안된 모듈에 GMPHD 필터를 사용하지 않은 쪽이 더 좋은 성능을 보여주었는데, 시퀀스 8은 레이 더 센서의 데이터에 노이즈 및 데이터 부족으로 사용할 수 없는 샘플이 많아서 GMPHD 필터를 통한 추적 성능이 떨어지기 때문이다. 또한 f-1 점수가 높을수록 실패 사례 또한 감소하는 반비례 관계를 형성하였는데, 이는 추적 정확도가 높아질수록 실패 사례를 제거하는 데 도움이 된다는 것을 뜻한다. 이를 통해 제안된 알 고리즘이 본 논문의 목표에 적합하게 설계되었음을 알 수 있다.

<Table 1>

Averaged f-1 score, number of failure cases and averaged execution time from selected sequences

평균 실행 시간은 알고리즘의 모듈이 추가될수록 늘어났으나, 단순히 RANSAC에 바로 GMPHD를 적용하 였을 때보다 최대 13ms 이상 평균 실행 시간이 감소함을 확인하였다. 이는 제안된 방법으로 인해 물체 추적 에 사용되는 동적 물체 데이터들이 필터링 되어 적은 수의 비교적 정확한 데이터만 남았기 때문에 최적화 속도가 빨라지는 것으로 분석된다.

주목할만한 점으로는 GMPHD 필터를 적용하지 않고 제안된 필터링 및 추적 모듈만을 적용하였을 때, 증 가하는 연산량에 비해 성능의 증가량이 비약적으로 높다는 것을 확인할 수 있었다. 평균적으로 27개의 실패 사례를 제거하였고 실행 시간이 평균 1.3ms 증가한 것에 반해 GMPHD만을 사용한 방법은 12개 제거, 18ms 증가, 그리고 제안된 방법에 GMPHD 필터를 적용하였을 때는 27개 제거, 8.8ms 증가하였다.

<Fig. 5>와 <Fig. 6>은 시퀀스 2, 8에서 레이더 샘플에 따른 정밀도와 f-1 점수 그래프를 나타낸 그림이다. <Table 1>에서 확인할 수 있듯이 정밀도가 임계값을 만족하지 못했던 샘플에서 제안된 방법을 통해 좋은 성 능을 보여 준다는 것을 알 수 있다.

<Fig. 5>

Result graphs at sequence 2; left: accuracy – samples graph, right: f-1 score – samples graph

<Fig. 6>

Result graphs at sequence 8; left: accuracy – samples graph, right: f-1 score – samples graph.

<Fig. 7>과 <Fig. 8>은 추정된 경로에서 RANSAC에 실패가 생겼을 때, 제안된 알고리즘에서 추적 및 필터 링을 통해 피팅 성능을 높이는 상황을 보여주는 그림이다. RANSAC은 동적 물체에 사인(sine) 피팅을 하여 알고리즘이 실패하였으나, 제안된 방법은 초록색 마커로 표시된 타겟을 제외하고 피팅함으로써 정적 물체에 맞는 피팅 결과를 확인 할 수 있다. 또한 GMPHD 필터를 사용한 방법은 사용하지 않은 방법에 비해 더 많은 동적 물체를 타겟으로 추정하여 더 강건한 피팅을 할 수 있도록 한다.

<Fig. 7>

Failure case of RANSAC at sequence 102

<Fig. 8>

Failure case of RANSAC at sequence 108

<Fig. 9>는 시퀀스 102, 108에서 각 알고리즘의 샘플별 실행 시간을 나타낸 그래프이다. 본 논문에서 사용 한 데이터 셋에서 레이더의 측정 주기는 약 77ms로써 알고리즘 실행 시간이 77ms를 넘으면 실시간성을 잃 는다. 평균 실행 시간은 모두 77ms를 넘지 않지만, <Fig. 9>에서 볼 수 있듯이 GMPHD 필터만을 사용한 방 법은 실시간성을 잃는 빈도가 높았으며, 제안된 방법들은 실시간성을 잃지 않았다.

<Fig. 9>

Execution time for compared methods; left: sequence 102, right: sequence 108

마지막으로 <Fig. 10>은 제안된 방법이 실패하는 상황을 보여주는 그림이다. 제안된 알고리즘은 기존의 RANSAC에 비해서는 높은 안정성을 보여주지만, <Fig. 10>과 같이 너무 많은 동적 물체가 측정된다면 일부 동적 물체 후보인 타겟을 제외하더라도 알고리즘이 실패할 수 있다.

<Fig. 10>

Failure case of proposed method at sequence 8

Ⅴ. 결 론

본 논문에서는 레이더 에고 모션의 신뢰도를 향상하고 효율적으로 계산하기 위해 도플러 속도 기반 동적 물체 추적 및 제거 방법에 대해 제안하였다. 제안된 방법은 이전 스텝에서 추정된 타겟 물체를 사용하여 현 재 스텝의 동적 물체를 추적하며, 군집화 및 필터링을 통해 계산 복잡도를 감소시킨다. 제안된 방법을 공개 데이터 셋에 적용하였을 때, 기존의 RANSAC에 비해 물체 판별에 대한 정확도가 더 높았으며, 실패 사례 또 한 감소하는 효과를 보여주었다. 이는 레이더 모션 추정에서의 신뢰도를 더 높게 함으로써 안정적인 추정 성 능을 보여줄 수 있다는 것을 알 수 있다. 그러나 일정 범위를 벗어나서 대량의 동적 물체가 측정된다면 여전 히 실패 사례가 생길 수 있다. 추후 연구는 이와 같은 실패 사례를 더욱 방지하기 위해서 정밀한 추적 성능 이 더 높아져야 하며, 그러면서도 실시간성이 보장되는 알고리즘에 대하여 진행할 예정이다.

ACKNOWLEDGEMENTS

본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었음(과제번호 21AMDP-C160548-01).

Figure

<Fig. 1>.

Successful case of radar ego-motion estimation

<Fig. 2>.

Failure case of radar ego-motion estimation

<Fig. 3>.

A flowchart of entire algorithm

<Fig. 4>.

An example case of proposed tracking and filtering

<Fig. 5>.

Result graphs at sequence 2; left: accuracy – samples graph, right: f-1 score – samples graph

<Fig. 6>.

Result graphs at sequence 8; left: accuracy – samples graph, right: f-1 score – samples graph.

<Fig. 7>.

Failure case of RANSAC at sequence 102

<Fig. 8>.

Failure case of RANSAC at sequence 108

<Fig. 9>.

Execution time for compared methods; left: sequence 102, right: sequence 108

<Fig. 10>.

Failure case of proposed method at sequence 8

Table

<Table 1>.

Averaged f-1 score, number of failure cases and averaged execution time from selected sequences

Reference

Cen, S. H. and Newman, P. (2018), “Precise ego-motion estimation with millimeter-wave radar under diverse and challenging conditions”, In 2018 IEEE International Conference on Robotics and Automation(ICRA), pp.6045-6052.
Cen, S. H. and Newman, P. (2019), “Radar-only ego-motion estimation in difficult settings via graph matching”, In 2019 International Conference on Robotics and Automation(ICRA), pp.298-304.
Ester, M. , Kriegel, H. P. , Sander, J. and Xu, X. (1996), “A density-based algorithm for discovering clusters in large spatial databases with noise”, ACM SIGKDD(The Association for Computing Machinery’s Special Interest Group on Knowledge Discovery and Data Mining) International Conference on Knowledge Discovery & Data Mining(KDD), vol. 96, no. 34, pp.226-231.
Kellner, D. , Barjenbruch, M. , Klappstein, J. , Dickmann, J. and Dietmayer, K. (2013), “Instantaneous ego-motion estimation using doppler radar”, 16^th International IEEE Conference on Intelligent Transportation System(ITSC 2013), pp.869-874.
Kramer, A. , Stahoviak, C. , Santamaria-Navarro, A. , Agha-Mohammadi, A. A. and Heckman, C. (2020), “Radar-inertial ego-velocity estimation for visually degraded environments”, In 2020 IEEE International Conference on Robotics and Automation(ICRA), pp.5739-5746.
Lundquist, C. , Hammarstrand, L. and Gustafsson, F. (2010), “Road intensity based mapping using radar measurements with a probability hypothesis density filter”, IEEE Transactions on Signal Processing, vol. 59, no. 4, pp.1397-1408.
Nobis, F. , Shafiei, E. , Karle, P. , Betz, J. and Lienkamp, M. (2021), “Radar voxel fusion for 3D object detection”, Applied Sciences, vol. 11, no. 12, p.5598.
Park, Y. S. , Shin, Y. S. , Kim, J. and Kim, A. (2021), “3D ego-motion estimation using low-cost mmWave radars via radar velocity factor for pose-graph SLAM”, IEEE Robotics and Automation Letters, vol. 6, no. 4, pp.7691-7698.
Schumann, O. , Hahn, M. , Scheiner, N. , Weishaupt, F. , Tilly, J. F. , Dickmann, J. and Wöhler, C. (2021), “RadarScenes: A real-world radar point cloud data set for automotive applications”, 2021 IEEE 24^th International Conference on Information Fusion(FUSION), pp.1-8.
Tilly, J. F. , Haag, S. , Schumann, O. , Weishaupt, F. , Duraisamy, B. , Dickmann, J. and Fritzsche, M. (2020), “Detection and tracking on automotive radar data with deep learning”, 2020 IEEE 23^rd International Conference on Information Fusion(FUSION), pp.1-7.
Vivet, D. , Checchin, P. and Chapuis, R. (2013), “Localization and mapping using only a rotating FMCW radar sensor”, Sensors, vol. 13, no. 4, pp.4527-4552.
Vivet, D. , Checchin, P. , Chapuis, R. , Faure, P. , Rouveure, R. and Monod, M. O. (2012), “A mobile ground-based radar sensor for detection and tracking of moving objects”, EURASIP(European Association For Signal Processing) Journal on Advances in Signal Processing, vol. 2012, no. 1, pp.1-13.
Vo, B. N. and Ma, W. K. (2006), “The Gaussian mixture probability hypothesis density filter”, IEEE Transactions on Signal Processing, vol. 54, no. 11, pp.4091-4104.
Yang, J. , Ni, P. , Miao, J. and Ge, H. (2022), “Improving visual multi object tracking algorithm via integrating GM-PHD and correlation filter”, IET(The Institution of Engineering and Technology) Image Processing, vol. 16, no. 5, pp.1349-1358.
Yoon, J. H. , Hwang, Y. , Choi, B. and Yoon, K. J. (2016), “Fusion of local and global detectors for PHD filter-based multi-object tracking”, Journal of Institute of Control, Robotics and Systems, vol. 22, no. 9, pp.773-777.

저자소개

Footnote

1)MOT : moving object tracking
2)DATMO : detection and tracking of moving objects
3)SLAM : simultaneous localization and mapping
4)PHD filter : probabilistic hypothesis density filter
5)SVD : singular value decomposition
6)RFS : random finite set
7)rcs : radar cross section

Doppler Velocity-based Dynamic Object Tracking and Rejection for Increasing Reliability of Radar Ego-Motion Estimation

Abstract

레이더 에고 모션 추정 신뢰성 향상을 위한 도플러 속도 기반 동적 물체 추적 및 제거

초록