Journal Search Engine

Volume/Issue :

Year(s) : to

Search :

Title :

Author :

Keyword :

Abstract :

Figure :

Table :

Reference :

Search Advanced Search

Adode Reader(link)

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer

The Journal of The Korea Institute of Intelligent Transport Systems Vol.20 No.5 pp.186-201
DOI : https://doi.org/10.12815/kits.2021.20.5.186

Vehicle Localization Method for Lateral Position within Lane Based on Vision and HD Map

Rinara Woo^*, Dae-Wha Seo^**

^*Center for Embedded Software Technology, Univ. of Kyungpook National
^**School of Electronics Engineering, Univ. of Kyungpook National

^† Corresponding author : Dae-Wha Seo, E-MAIL: dwseo@ee.knu.ac.kr

Received 28 April 2021 │ Revised 19 May 2021 │ Accepted 14 October 2021

Abstract

As autonomous driving technology advances, the accuracy of the vehicle position is important for recognizing the environments around driving. Map-matching localization techniques based on high definition (HD) maps have been studied to improve localization accuracy. Because conventional map-matching techniques estimate the vehicle position based on an HD map reference dataset representing the center of the lane, the estimated position does not reflect the deviation of the lateral distance within the lane. Therefore, this paper proposes a localization system based on the reference lateral position dataset extracted using image processing and HD maps. Image processing extracts the driving lane number using inverse perspective mapping, multi-lane detection, and yellow central lane detection. The lane departure method estimates the lateral distance within the lane. To collect the lateral position reference dataset, this approach involves two processes: (i) the link and lane node is extracted based on the lane number obtained from image processing and position from GNSS/INS, and (ii) the lateral position is matched with the extracted link and lane node. Finally, the vehicle position is estimated by matching the GNSS/INS local trajectory and the reference lateral position dataset. The performance of the proposed method was evaluated by experiments carried out on a highway environment. It was confirmed that the proposed method improves accuracy by about 1.0m compared to GNSS / INS, and improves accuracy by about 0.04m～0.21m (7～30%) for each section when compared with the existing lane-level map matching method.

Key Words : Localization , HD map , Lane detection

비전 및 HD Map 기반 차로 내 차량 정밀측위 기법

우 리 나 라^*, 서 대 화^**

^*주저자 : 경북대학교 임베디드 소프트웨어 연구센터 선임연구원
^**교신저자 : 경북대학교 전자공학부 교수

초록

자율 주행 기술이 발전함에 따라 주행 주변 환경을 인식하는 데 차량 위치의 정확성은 매우 중요하다. 측위의 정확도를 높이기 위해 정밀지도를 사용한 지도 정합 측위기술(map-matching localization)이 연구되고 있다. 기존의 지도 정합 기법은 지도에서 차선의 중심으로 표현된 데이 터를 기반으로 차량 위치를 추정하기에 차선 내 측면 거리의 편차를 반영하지 않는다. 따라서 본 논문에서는 정밀한 측위를 제공하기 위해 영상처리를 통한 차선 검출 기법과 정밀지도의 차선 위치 정보를 이용한 기법을 제안한다. 영상 처리 기법으로 IPM(inverse perspective mapping)과 다중 차선 검출 기법, 중앙선 검출 기법을 통하여 차선 번호를 검출하고 차선 이탈 감지 방법으로 차선 중심으로부터 차량의 측면 거리를 추정한다. 최종적으로 영상처리로 검출 한 차선 번호와 GNSS / INS의 위치를 기반으로 정밀지도에서 위치 링크정보를 추출하고 추출 된 링크에 측면 거리를 반영하여 차선 내 차량의 위치를 추정한다. 제안된 방법의 성능을 평가 하기 위하여 실제 도로에서 실험하였다. 제안하는 방법은 GNSS / INS와 비교 시 약 1.0m 정도 정확도가 개선되며, 기존의 차선레벨 맵매칭 방법과 비교 시 구간별로 약 0.04m ~ 0.21m (7~30%) 정확도가 개선됨을 확인하였다.

키워드 : 차량 정밀 측위 , 도로정밀지도 , 차선 검출

This article has been cited by 0 article in crossref

Cited-By

Funding:

Ⅰ. 서 론

1. 개요

자율주행 필수 기술인 ADAS1)는 운전자의 안전을 향상시키기 위하여 개발되었다. 차량 위치 추정은 LDWS2) 및 LKAS3)와 같은 차선과 관련된 ADAS 기술 구현에 꼭 필요한 정보이다. INS4) 를 포함하는 GNS S5) 센서는 차량의 위치를 추정하는 기능을 갖고 있지만, 가격대가 낮은 센서 일수록 정확도가 낮고 복잡한 도시 환경 및 터널과 같은 특정 상황에서 측위 오차가 크게 발생한다. (Bernstein and Kornhauser, 1998). 상용 화된 GNSS / INS 센서의 정확도와 환경제약을 극복하기 위하여 다른 센서 정보와 융합하기 위한 일련의 연 구가 수행되고 있다.

GNSS / INS와 HD6) 지도 데이터 정합 기법은 HD 지도의 위치 데이터를 이용하여 GNSS / INS 센서를 통 해 추정한 위치를 더욱 정확하게 수정하기 위한 방법이다. 이에 대한 선행 연구로서 Bernstein and Kornhauser(1998)은 추정된 위치와 가장 가까운 HD 지도의 위치를 기반으로 차량의 위치를 보정하고 차선의 곡률로 인한 위치 오차를 줄이기 위하여 point-point 및 point-curve matching 방법을 제안하였다. 그러나 지도 가 복잡해짐에 따라 오히려 계산량과 위치 오차가 증가하였다. 이를 개선하기 위하여 차량의 주행 경로를 HD 지도과 비교하는 새로운 정합 방법을 제안 되었다(Hsueh and Chen, 2018). 또한 위치 오차를 줄이기 위하 여 퍼지 이론(Quddus et al., 2006)과 확률지도(Ochieng et al., 2003)이 적용되기도 하였다. 그러나 앞선 일련의 지도 정합 방법은 매우 계산이 복잡해 일반적인 실시간 어플리케이션에 적합하지 않다(Hashemi and Karimi, 2014). 이후 지도 정합 방법의 계산 복잡성 문제를 해결하기 위하여 GNSS / INS를 통하여 얻은 주행 경로와 HD 지도 정보를 ICP7) 알고리즘을 기반으로 처리하는 방법이 제안되었다(Kang et al., 2018). HD 지도 정합 방법은 상용화된 GNSS / INS 센서의 정확도 성능을 향상 시켰지만, GNSS의 위성신호가 단절될 때 여전히 측위를 할 수 없는 한계를 해결하지 못한다.

비전 기반의 측위 연구는 상대적인 이동 궤적을 비전으로 추정하여 GNSS 신호 단절의 한계를 극복하기 위하여 수행되고 있다. 대표적인 비전 측위 방법으로 SLAM8)이 제안되었고(Durrant-Whyte and Bailey, 2006), 복잡한 특징점을 가진 도시 환경에서 차량의 위치를 추정하는 비전 거리 측정법 또한 제안된 바 있다(Parra et al., 2010). 또한 차량의 위치와 자세를 추정하기 위하여 특징점의 동적 불확실성을 분석하여 SLAM 방법 의 처리 시간을 단축하는 등 다양한 연구가 진행되고 있다(Valiente et al., 2017;Yang et al., 2019;Zhang et al., 2019). SLAM 방식은 비전에서 추출된 특징점으로 차량 궤적을 추정하여 GNSS 신호 단절의 한계를 극복 하였지만 상대적으로 움직이는 물체가 많은 복잡한 도시 환경에서는 정확도 성능이 저하되는 단점이 있다.

더욱더 고도화된 기술로 비전과 HD 지도를 기반으로 한 위치 추정 방법이 제안되고 있다. 그 중 하나로 추출된 이미지 특징과 HD 지도의 차선 특징의 일관성을 이용하여 차량 위치 파악하는 방법이 제안되었다 (Mattern et al., 2010). 그리고 노면 마커의 확률론적 노이즈 모델을 더하여 차량 위치의 정확도를 향상시켰다 (Jo, 2015). 그러나 이러한 방법도 차선 단위의 정확도를 만족시키지는 못하였다(Badino et al., 2011). 차선 수 준으로 정확도를 만족시키기 위하여 주행 차선의 중심을 나타내는 비전 기반 기술을 통해 주행 링크 정보로 HD 지도와 ICP 정합하는 방법이 제안되었다(Jeong et al., 2020). 이러한 방법의 한계로는 주행 링크 정보는 차량이 정확히 차선의 중앙에 있다고 가정하기 때문에 실제 차량이 주행 차로의 중앙으로 달리지 않을 때 위치 추정 오차가 발생할 가능성이 있다는 점이다.

차선 내 주행 차량의 측면 편차 오류 문제를 해결하기 위해 보정 기능이 있는 단안 카메라를 사용한 측면 거리 계산 방법이 연구되었다(Cai et al., 2018). 이 때 차량 위치는 데이터 기반 모션 모델과 함께 칼만 필터 를 사용하여 추정된다. AVM9)으로 도로 경계를 추출하는 방법도 제안되었다(Deng et al., 2019). 또한 도로 경 계를 추출한 값을 향상된 ICP로 처리하여 차선 수준 차량 위치 추정을 하는 방법들도 연구되어왔다(Cui et al., 2016;Du and Tan 2016;Kim et al., 2017).

본 논문에서는 단안 카메라와 향상된 ICP 기술로 차로 번호와 차로 내 차량의 측면 차선 위치를 추출하고 보정 후 차로 내 차량의 위치 오차를 최소화 시키는 DLI10) 지도 정합 방법을 제안한다. 또한 제안한 기술을 평가하기 위하여 터널이 존재하는 고속도로에서 차선을 변경하면서 주행하는 환경에서 차량 측위를 하였으 며 차로 내 위치 추정 값을 지상에서의 실측값과 비교하여 오차를 측정한 후 다른 기술들의 오차와 비교하 는 방식으로 평가하였다.

Ⅱ. 제안 기술

제안하는 DLI 지도 정합 기법과 전체 프레임 워크는 <Fig. 1, 2>에서 그림으로 나타내었다. 목표는 차로 내 차량의 측면 위치 오차를 줄이는 것이다. 단안 카메라를 통하여 획득한 영상으로 측면 차선까지의 거리를 추출 한 후 ICP 방법으로 차로 내 차량의 위치를 추정한다.

<Fig. 1>

The purpose of driving lateral information (DLI)-based map matching system

<Fig. 2>

The flowchart of driving lateral information (DLI)-based map matching system

제안 방법은 크게 두 단계로 나눌 수 있다. 첫 번째, 주행 차로 번호와 차로 내 측면 거리를 영상으로 추 출하고 두 번째, 정밀 지도에 위치를 정합하는 것이다. 차로 정보와 차로 중심의 값은 링크 정보로 HD 지도 에 이미 국토부에서 제공하는 저장된 데이터 셋이 있다. 하지만 실제 차량은 차로 내에서도 중앙을 유지하며 달리지는 않는다. 따라서 차로에서 차량 위치의 변화를 반영하기 위하여 영상 처리를 통한 주행 차로 내 측 면 거리 추출 방법으로 정확히 위치를 보정한다.

자세히 <Fig. 2>를 설명하자면, 우선 전면의 주행 상황을 단안 카메라로 캡처 한 원본 영상이 평면도(top view) 이미지로 변환된 후 중앙선을 구별하여 현재 주행 중인 차로의 번호를 추정한다. 그리고 추정된 차로 의 번호와 GNSS / INS 신호로부터 얻은 차량 위치 정보를 사용하여 HD 지도 데이터 셋에서 차로의 링크 노 드 정보를 추출한다. 또한, 차선 이탈 감지 알고리즘으로 주행 차로 내 측면 차선까지의 거리를 계산한다. 차 로의 링크 정보와 측정한 측면 거리로 측면 위치 기준 데이터 셋을 만들고 마지막으로 이를 사용하여 GNSS / INS에서 획득한 차량 위치 궤적을 보정하여 최종 위치를 추정한다.

앞서 설명한 내용들을 3개의 소단원으로 나누어 자세히 설명한다.

1. 차로 번호 검출

단안 카메라를 통해 획득한 영상의 차선들과 중앙선을 인지하여 주행차로 번호를 추출한다. IPM11) 은 이 미지를 평면도로 변환하여 원근효과를 제거한다. 그런 다음 가우시안(gaussian) 필터로 가장자리(edge)를 추출 하고, 비슷한 특징을 가지는 선 들을 그룹화하고 레이블링하기 위하여 코사인(cosine) 유사성(similarity)과 측 면 거리 비교를 통한 라인 레이블링(labeling)을 수행한다. 그런 다음 확률론적 투표 절차(probabilistic voting procedure)를 통하여 레이블링된 라인에서 소실점(vanishing point)을 추정한다. 레이블링된 라인은 RANSAC 라인 필터를 사용하여 검증 절차에 따라 최종 차선으로 검출되고 이 중 노란색 정보로 중앙선을 찾아 현재 차량이 위치한 차로의 번호를 검출한다.

1) IPM 기법

차량 전면에 장착된 단안 카메라로 촬영한 영상을 IPM 기법으로 평면도 이미지로 변환 후 차선을 검출 한다. IPM 기법을 사용하여 차선을 검출하는 이유는 이미지의 원근 효과가 제거되어 차선의 평행성 및 양 차선의 동일한 길이, 넓이 등 차선 특징을 쉽게 추출할 수 있기 때문이다. IPM 기법은 영상 내의 (x, y)를 평 면도 좌표 (u, v)로 변환하는데 그 수식은 식(1)과 같다(Tanaka et al., 2011).

P_{g r o u n d} = H \cdot P_{i n p u t}

(1)

여기에서 P_input은 입력 이미지, P_ground는 평면도 이미지, 그리고 H는 변환행렬(transform matrix)로서 식(2) 로 정의된다. 여기에서 f_u와 f_υ는 u, υ 방향으로의 초점 거리이고 c_u , c_υ는 렌즈 중심 영상좌표(principal point) 이다. h는 카메라의 높이, α는 카메라의 편요각이고 β는 카메라의 피치 각도이다. <Fig. 3>은 각각 원본 이 미지와 변환된 평면도 이미지의 결과이다.

<Fig. 3>

The result of top view image transforming using IPM

H = h [\begin{matrix} - \frac{1}{f_{u}} cos β & \frac{1}{f_{υ}} \sin α sin β & \frac{1}{f_{u}} c_{u} cos β - \frac{1}{f_{υ}} c_{υ} sin α sin β - cos α sin β & 0 \\ \frac{1}{f_{u}} sin β & \frac{1}{f_{υ}} sin α cos β & - \frac{1}{f_{u}} c_{u} sin β - \frac{1}{f_{υ}} c_{υ} sin α cos β - cos α sin β & 0 \\ 0 & \frac{1}{f_{υ}} cos α & - \frac{1}{f_{υ}} c_{υ} cos α + sin α & 0 \\ 0 & \frac{1}{h f_{υ}} cos α & - \frac{1}{h f_{υ}} c_{υ} cos α + \frac{1}{h} sin α & 0 \end{matrix}]

(2)

2) 가장자리 추출

가장자리 추출(edge extraction) 단계에서는 2차 가우시안 커널(kernel)로 필터링된 평면도 이미지에서 특정 임계값을 기반으로 영상 내의 선을 추출한다. 가우시안 필터링은 수직 및 수평 방향 계수 σ_x , σ_y를 차선의 너비와 길이를 토대로 조정하였고 그 결과로 차선 이외의 영역을 흐리게 하는 효과를 얻는다(Aly, 2008). 가 우시안 커널은 아래 식 (3, 4)와 같다.

f_{υ} (y) = exp(- \frac{y^{2}}{2 σ^{2} y})

(3)

f_{u} (x) = \frac{1}{σ_{y}^{2}} exp(- \frac{x^{2}}{2 σ_{x}^{2}})(1- \frac{x^{2}}{σ_{x}^{2}})

(4)

x, y는 이미지 내에서의 좌표 값이다. <Fig. 4>에서 가우시안 커널에 의하여 필터링된 결과 이미지와 이를 임계값으로 필터링한 결과 이미지를 보여준다. 임계값은 필터링된 이미지에서 특정 분위 수 값을 선택하였 다. 이 임계값 이상의 값들을 1, 나머지를 0으로 표현하도록 하였고, 그 결과로 이진(binary) 영상을 얻을 수 있다.

<Fig. 4>

The result of feature extraction using Gaussian Filter and thresholding

3) 라인 레이블링

앞서 이진화된 영상에 LSD(Line Segment Detector) 방법을 적용하여 라인 레이블링 방법을 수행한다 (Grompone et al., 2010). 먼저 점선 차선에서 끊어진 차선 중 차선의 중심인 L_mid를 추출한다. 이 때 L_mid의 라인 특징인 유사성과 거리의 가장 낮은 편차를 사용해 추출한다. L_mid가 확정되면 코사인 유사성으로 수직 위치에 있는 다른 선을 특정 할 수 있다.

L_mid를 얻기 위하여 평면도 이미지에서 일정 범위(<Fig. 5>에서 빨간색 직사각형) Ω를 정의한 다음 범위 내의 선을 L_mid로 지정한다. <Fig. 7>에 빨간색 사각형으로 표시되어 있다. L_mid를 기반으로 수직 거리가 특 정값 이내에 있고 코사인 유사성 값이 특정값 보다 큰 L_j를 특정 하여 ${\tilde{L}}_{k}$ 로 그룹화 한다. 그 후, ${\tilde{L}}_{k}$ 의 라인 수직 길이가 임계값 이상인 경우 라인 레이블링 처리된다. 그 결과를 <Fig. 6>에 나타내었다.

<Fig. 5>

Subset image plane after applying LSD in binary image

<Fig. 6>

Distance measurement between middle line and other lines

<Fig. 7>

Cosine similarity measurement between middle line and other lines

또한, 각 레이블링된 선 ${\tilde{L}}_{k}$ 은 잘 정렬된 정도에 따라 가중치 ω를 부여받는다. 가중치는 수직 길이가 더 길 수록, 기울기가 완만할수록 높다. 가중치 수식은 식 (5)와 같다.

ω_{i} = \frac{l_{{\bar{L}}_{i}}}{m e a n (m_{{\bar{L}}_{i}})}

(5)

여기에서 $l_{{\bar{L}}_{i}}$ 는 라인의 수직 길이이고 $m_{{\bar{L}}_{i}}$ 는 기울기이다.

4) 소실점 추정

앞서 검출한 라인은 분할된 라인이므로 하나의 차선으로 묶기 위하여 각 라인들을 비교하여 차선 그룹으 로 묶는 과정이 필요하다. 이를 위하여 각 라인들의 소실점을 추정하는 방법을 거친다. 라인들의 교차점으로 확률투표 값을 비교하여 소실점을 추정한다. 계산량을 줄이기 위하여 아래 식 (6-9) 수식들과 같은 확률적 투 표 절차를 사용한다(Kim et al., 2019). 소실점을 구하는 과정은 식 (6)과 같다.

V (x, y) = {argmax}_{(x, y)} [P_{C} (x, y)]

(6)

여기에서 V(x,y)는 추정된 소실점이고, (x, y)는 이미지 좌표에서 레이블이 지정된 한 쌍의 선에 대한 교차 점이다. P_C (x,y)는 식 (7)과 같이 정의된 확률적 투표 절차이다.

P_{C} (x, y) = {\begin{array}{l} \sum_{i = 0}^{N_{\bar{L}}} \sum_{j = i + 1}^{N_{\bar{L}} - 1} P_{V_{i j}} (x, y; μ_{i j}, σ_{i j}) & (x, y) \in \hat{Ω} \\ 0, & o t h e r w i s e \end{array}

(7)

여기에서 $N_{\hat{L}}$ 은 레이블이 지정된 라인 수이고 $P_{V_{i j}}$ 는 가우스 분포이다. 가우스 분포는 다음 식 (8)과 같이 구할 수 있다. Ω는 앞서 <Fig. 5>에서 지정한 빨간 직사각 범위이다.

P_{V_{i t}} = \frac{1}{2 π σ_{i j}} exp(-[\frac{(x - μ_{i j x}) + {(x - μ_{i j y})}^{2}}{2 π σ_{i j}}])

(8)

여기에서 μ_i,j;x, μ_i,j;y는 각 축의 평균이고, σ_ij는 다음 식 (9)의 값인 표준 편차이다.

σ_{j i} = \sqrt{σ_{i}^{2} + σ_{j}^{2}}

(9)

여기에서 $σ_{i} = σ_{υ} \cdot (\frac{1}{w_{i}}), σ_{υ}$ 는 스케일 계수이다. 이 가우스 분포는 가중치 값이 더 높은 라인일수록 표준 편차의 넓이가 좁아지고 이중 교차점이 가장 높은 확률을 갖는 경우 소실점으로 할당된다.

5) 차선 검출 및 확정

차선을 확정하기 위하여 (L_mid,i , L_mid,j )의 추정 소실점과 교차점 사이의 유클리드 거리를 비교해 필요 없 는 선을 제거한다. RANSAC12) 라인 피팅(Forsyth and Ponce, 2003)은 다음 식 (10)과 같고 라인의 스코어를 구 하기 위하여 사용된다.

s c o r e = n \cdot (k_{1} + l^{'})

(10)

여기에서 n은 inliers의 수, l′는 길이, k₁은 정규화 계수이다. 특정 기준점 이상의 점수를 획득하지 못한 라 인들은 차선 후보에서 제외한다.

RANSAC 결과에서 구한 차선들은 마지막 검증 과정을 통하여 차량의 인접 차선으로 특정한다. 먼저 차량 에서 3m 이내로 인접하고 기울기의 차이가 가장 작은 두 차선을 인접한 차선으로 결정한다. 그 후, <Fig. 8> 에서와 같이 차선 사이의 폭과 경사가 일정하다는 특징으로 다음 식 (11)에서 구한 특정 두 라인의 추정 폭 값으로 나머지 차선을 최종 확정한다.

<Fig. 8>

Characteristics of the lane model in two coordinate system (world coordinate and image coordinate)

γ = exp(- \frac{| p_{i} - p_{j} | - k_{2}}{\in})

(11)

여기에서 (p_i, p_j)는 한 차선에 대한 중간점이고, k₂는 실제 차선 너비이며, ∈은 횡 거리 오차를 제어하기 위한 매개 변수이다. τ가 특정 임계값을 초과하면 선이 차선으로 결정된다.

6) 중앙선 검출

노란색 중앙선 감지는 HD 지도에서 링크 정보를 추출할 때 주행 차로를 결정하기 위하여 필요하다. RGB 영상은 YCbCr 영상으로 변환되어 다음과 같이 노란색을 나타내는 영상으로 변환된다(Xing et al., 2020).

C_{c b} (k) = \sum_{k = 0}^{255} H i s t_{c b} (k)

(12)

B (x, y) = {\begin{array}{l} 1, & if C_{c b} (I (x, y)) < T_{c b} \\ 0, & e l s e \end{array}

(13)

여기에서 C_cb(k), Hist_cb(k), B(x,y), k, T_cb는 각각 누적 히스토그램, 히스토그램, 이진 이미지, 색상 값 및 노 란색상의 임계값이다. 결과로 노란색 중앙선을 검출 하고 현재 주행 중인 차로의 번호를 특정한다.

2. 측면 차선 정보(DLI) 계산

측면 위치 정보는 앞서 검출된 차로의 중앙선으로부터 계산된다. 차선 이탈 감지 기술은 주행 차로의 중 앙과 영상 내 차선 사이의 거리를 사용한다. d₁이 좌측 차선과 차로 중앙 사이의 거리이고, d₂가 우측 차선과 주행 차로 중앙 사이의 거리 일 때, 길이 d₁과 d₂는 차로 중앙을 이동할 때 동일하다. <Fig. 9>에 표시된 것처 럼 d₁은 차선을 왼쪽으로 이탈 할 때 d₂보다 짧아지고, 오른쪽으로 이탈 할 때는 그 반대가 된다. 차선 이탈 검출법으로 d₁ , d₂를 구하고 결정된 임계값과 비교해 이탈 유무를 판별한다. 이 기법을 통해 얻은 d₁ , d₂ 정보 를 이용하여 HD 지도에서 추출한 차선 위치 정보를 보정하고 차선 내에서 측면 위치를 반영한 정확한 위치 를 판단한다. <Fig. 10>은 차선 유지 알고리즘의 결과를 나타낸 것으로 차선 유지 감지 절차에서 주행 차로 중심에서 횡방향 위치는 다음 식 (14)과 같이 계산된다.

d = \frac{d_{2} - d_{1}}{2}

(14)

<Fig. 9>

Lane Departure detection algorithm and the status of the distance within lane on the each state (normal, warning, and departure status)

<Fig. 10>

The results of the estimated distance within lane on the each status(normal, warning, and departure status)

3. 최종 위치 보정

측면 차선 위치 정보는 앞서 추출한 주행 차로 번호와 주행 차로 중앙으로부터의 측면 거리로 구성된다. HD 지도의 링크 노드는 <Fig. 11>과 같이 주행 차선 번호와 위치 정보를 사용하여 ICP 방법으로 HD 지도 데이터셋에서 추출된다. 추출된 링크 노드를 기반으로 차선에 수직한 방향으로 앞서 구한 측면 거리만큼 위 치를 보정한다. 이때 GNSS / INS에서 얻은 속도 정보를 반영해 이전 지점의 위치에서 변화되는 정도를 파악 하여 최종 위치의 오차를 줄인다.

<Fig. 11>

The results of the map-matching method with driving lateral information and extracted link node

아래 <Fig. 11>의 우측 그림에서 ICP 지도 정합을 나타내고 있다. 일반적인 지도 기반 위치추출법은 차로 의 중심을 나타내는 HD지도 데이터셋의 링크 노드를 사용한다. 제안하는 방법에서는 주행 차로 내 위치 정 확도를 향상시키기 위하여 주행차로의 측면 차선 위치 정보를 사용하여 링크 노드 정보 Φ_i를 수정한다.

ϕ_{i} = (p_{x i}, p_{y i}, p_{h i})

(15)

식 (15)는 링크노드를 정의하는 수식이다. 여기에서 p_x , p_y 및 p_h는 UTM13) 좌표에서 동방, 북방 및 방위각 을 나타낸다. 측면 거리를 좌 / 우 차선에 수직하게 적용하기 위하여 링크 노드 정보와 거리 d를 사용하여 다음 식 (16)과 같이 링크 정보를 수정한다.

\begin{array}{l} Φ_{i} = (P_{x i}, P_{y i}, P_{h i}) \\ P_{x i} = p_{x i} + d cos θ_{r} \\ P_{y i} = p_{y i} + d sin θ_{r} \\ P_{h i} = p_{h i} \end{array}

(16)

여기에서 θ는 링크 노드 위치와 우측 주행 차선 위치 사이의 주행 각도이다. 각도는 다음 식 (17)과 같이 계산된다.

θ = arctan(\frac{r_{y} - p_{y}}{r_{x} - p_{x}})

(17)

여기에서 r_x 와 r_y는 UTM 좌표에서 우측 주행 차선의 동방 및 북방의 위치를 나타낸다.

마지막으로 GNSS / INS 위치 υ_i와 수정된 링크 정보를 사용하여 아래 식 (18)과 같이 ICP 방식으로 최종 위치를 보정한다.

E (R, T) = {min}_{R, T} \sum_{i}^{K} {‖ Φ_{i} - R υ_{i} + T ‖}^{2}

(18)

여기에서 R은 회전 행렬이고, T는 전이 벡터이다.

Ⅲ. 실험

제안하는 DLI 기반 지도 정합 기법의 성능을 평가하기 위하여 터널을 포함하고 있는 자동차 전용도로 환 경에서 실험하였다. 실험구간은 <Fig. 12, 13>에서와 같이 터널 구간 6개와 일반 도로 7개 구간의 비중을 비 슷하게 하였고 총 길이는 약 16km 정도가 된다. 차량의 주행속도는 도로의 제한속도에 맞추어 70 km/h ~ 90 km/h로 주행하였다. 영상은 640 x 360 해상도, 10000 프레임으로 촬영 되고 입력 이미지의 경우 초당 프레임 수는 62 프레임이다. 사용된 카메라는 단안카메라로서 차량의 전방을 향하여 설치한 후 보정작업을 진행한 다. IMU14) 데이터는 BMI-160을 통하여 수집된다. 사용된 위성항법장치는 보정신호를 수신받아 GNSS의 샘 플링 시간은 5Hz로 설정되었다. 실험은 16GB RAM, intel core 2.80GHz CPU i7-4790 프로세서가 장착된 ubuntu 16.04 노트북으로 시스템을 구현하고 테스트되었다. 비교실험 군으로, 동일한 BMI-160(Zhou et al., 2015)와 GNSS / INS로 구성된 최첨단 내비게이션 장치를 이용하여 획득한 위치 결과와, 최근 연구된 LMM(Lane-level map-matching method)(Jeong et al., 2020)의 결과를 비교하였다.

<Fig. 12>

The experiments course on Connected- Vehicle Test-bed in Daegu, South Korea (red-roads, yellow-tunnels)

<Fig. 13>

The sections of testing course on Connected- Vehicle Test-bed in Daegu, South Korea (yellow-roads, blue-tunnels)

사용된 GNSS / INS 장치는 이동 중에는 0.5m, 정지 중에는 0.03m의 정확도로 차량의 위치를 제공한다. 차 량이 터널에 진입하면 위성 신호가 끊어져 IMU를 이용한 추측 항법(dead reckoning) 으로만 위치를 추정한다 (Woo et al., 2019). 따라서, 터널 안에서 주행하는 거리가 늘어날수록 IMU의 드리프트로 인한 오차가 생기게 된다. 그러나 영상정보 및 정밀지도 정합 결과 보정 시에는 정합 측위 결과가 지속적으로 존재하지 않는 경 우를 제외하면 IMU로 인한 큰 횡방향 오차는 최종 측위 결과에 영향을 미치지 않도록 제외될 수 있다. 본 실험에서 영상정보 및 정밀지도 정합 결과를 이용한 종방향 오차 보정은 사용되지 않았으며, 종방향 오차는 모든 비교실험 군에서 동일하게 적용되었다.

<Fig. 14>는 DLI 기반지도 정합 기법의 위치 추정 결과를 보여주고 테스트한 특정 도로에서 GNSS / INS 만의 측정 결과와 실제 비교하였다. 파란 점은 고가의 정밀한 GNSS / INS 를 이용한 차량의 실제 위치 (ground truth)를 나타낸다. 그리고 빨간색과 민트색 점은 각 GNSS / INS 및 DLI 기반 지도 정합 기법의 위치 를 나타낸다. 터널 1과 4에서 GNSS / INS의 위치 오류는 GNSS 연결 끊김 때문이다. 이 과정에서 GNSS 보 정 없이 INS 신호에 의해 오차가 누적된다. 도로 1, 3 구간에서는 차량이 주행 차선을 변경할 때 주행 링크 정보를 잘못 추출하여 DLI 기반지도 정합 기법의 위치 추정에 오차가 조금 발생한 것을 확인 할 수 있다.

<Fig. 14>

The experiments results of the estimated vehicle position(blue-ground truth, red-GNSS/INS, mint our DLI method)

각 실험 구간에서의 위치 오차는 <Table 1, 2>에 나타낸다. 위치 오차는 실제 위치와 추정 위치 사이의 유 클리디안(euclidean) 거리로 계산된다. 도로구간과 터널구간은 도로구간 1, 터널구간1, 도로구간2 순으로 연결 되어 있으며, 각 구간의 길이는 표에 나타내었다. 모든 구간에서 영상정보, 정밀지도 정보, IMU 정보는 입력 되며, 터널구간에서는 위성항법장치의 신호가 차단된다. 터널의 입구와 출구 구간에서는 위성항법장치의 수 신위성 수의 불안정으로 인하여 위성항법장치의 추정오차가 수 m 이상 차이가 나는 경우가 발생하며, 다른 센서 정보를 이용하여 이에 대한 오차를 보정함으로써 위치 추정오차를 최소화 한다.

<Table 1>

Results in Roads (Units: m)

<Table 2>

Results in Tunnels (Units: m)

터널이 아닌 도로에서 제안하는 DLI 기반 지도 정합 기법의 평균 오차 결과 0.576m는 GNSS / INS 만으로 추정한 위치 평균 오차 1.367m와 LMM 방법을 사용한 0.642m 보다 작음을 확인 할 수 있다. 터널에서는 제 안하는 방법이 평균 오차 0.482m, GNSS / INS의 평균 오차 2.330m, LMM 방법의 평균 오차 0.480m 로 LMM 방법과 유사하며, GNSS / INS의 경우 보다는 오차가 작음을 확인 할 수 있다. LMM 방법 및 제안하는 방법 의 최대오차는 대부분 터널의 진입 또는 진출 시에 형성되며, 이는 터널의 입구와 출구에서 GNSS/INS가 가 지는 오차로 인한 것이다. 최대오차는 각 지점에서 짧게 형성되며 터널구간이 길어짐에 따라 평균 오차에는 미미한 영향을 미치게 된다. 따라서 비교 시 최대오차가 상대적으로 큼에도 평균오차는 상대적으로 작은 결 과가 나타나기도 한다.

테스트 결과는 다음과 같이 요약 할 수 있다.

• 약 16km의 고속도로에서 실험 하였을 때 터널이 아닌 구간에서 제안하는 방법은 GNSS / INS만 사용 할 때 보다 평균 오차가 약 0.79m 작으며, LMM보다 0.04m ~ 0.21m 정도 작게 나타난다.
• 터널에서는 제안하는 방법은 GNSS / INS만 사용 할 때 보다 평균오차가 약 1.85m 작으며, LMM과는 거의 유사하게 나타난다.

Ⅳ. 결 론

본 논문은 차량 측위 성능 향상을 위해 영상처리로 주행 측면 정보를 획득하고 이를 기반으로 하는 향상 된 ICP 지도 정합 방법인 DLI 기반의 지도 정합 기법을 제안하였다. 제안 하는 방법은 기존의 GNSS / INS정 보만 사용하거나 정밀 지도의 링크 정보만 사용하는 측위 방법의 한계를 영상 처리를 통해 측방으로의 거리 정보를 추정하여 보정 하는 방식으로 위치 추정 성능을 개선하였다. 테스트는 실제 고속도로(16km) 환경에 서 2가지 기존의 방법들과 측위 성능을 비교하는 방식으로 진행되었다. GNSS / INS와의 성능 비교 실험을 통해 제안하는 DLI 기반 지도 정합 측위 기법은 고속도로 환경에서 GNSS / INS 보다 강력한 측위 성능을 가지고 있음을 확인하였다. 또한 일반 도로 환경에서는 정밀 지도의 링크 정보만 사용할 때보다 더 좋은 결 과를 나타내었으며, 터널환경에서도 근소한 차이를 내는 것을 확인 하였다. 제안하는 방법의 신뢰성 보완을 위하여 향후 다양한 도로 노면과 복잡한 도시 환경과 같은 열악한 주변 환경조건에서 제안하는 방법의 성능 을 테스트해야 하고 터널에서 더 좋은 성능을 얻기 위한 연구가 필요하다. 그리고 주행 측면 정보가 추출되 지 않았을 때 차량의 안정된 궤도를 추정하기 위한 안전 궤도 추적에 관한 연구가 필요하다.

Figure

<Fig. 1>.