Ⅰ. 서 론
1. 연구 배경
최근 자율주행과 관련하여 향상된 ADAS(Advanced Driver Assistance Systems) 및 C-ITS(Cooperative Intelligent Transportation System) 등의 기술 개발이 요구되는 상황에서 정확하고 정밀한 차량 측위 기술의 필 요성이 증대되고 있다(Hara and Saito, 2015;Im et al., 2018;Han et al., 2018). 하지만 차량 측위에 가장 일반 적으로 사용되는 GNSS/IMU 기반의 측위 기술은 터널이나 고층 건물 밀집 지역 등과 같은 GNSS 신호가 크 게 약해지는 공간에서는 차선 수준의 정확도를 확보하기 힘들다(Im et al., 2018;Kang et al., 2020). 따라서 GNSS/IMU 기반 측위를 보완할 기술의 필요성이 증대되고 있으며, 다양한 연구에서는 보다 정확한 차량 측 위 정보를 안정적으로 확보하기 위하여 LiDAR 또는 광학 카메라 기반의 측위 기술에 대한 연구를 진행하여 왔다.
센서 데이터를 이용한 측위 기술은 사용되는 센서에 따라서 LiDAR 및 광학 카메라 기반의 방법론으로 나 누어 볼 수 있다. 먼저, LiDAR를 기반으로 한 측위 기술은 일반적으로 도로정밀지도와 LiDAR 데이터 정보 간의 매칭을 통하여 차량의 위치를 결정한다. 즉, 3D LiDAR 데이터에서 추출된 차선, 표지판 등과 같은 객 체의 3D 정보와 도로정밀지도 정보 간의 매칭을 통하여 차량 측위를 수행하게 된다. LiDAR 기반 측위는 3D 정보를 이용하여 상대적으로 정확한 위치 정보를 생산할 수 있다는 점에서 많은 연구들에서(Im et al., 2018;Hwang et al., 2019;Ma et al., 2019, Yoneda et al., 2015) 활용되었지만, 센서의 가격이 상대적으로 높고 대용 량의 데이터 처리를 요구한다는 단점이 있다(Chiwata and Matsushima, 2019;Kang et al., 2020). 반면에 카메라 이미지 기반 측위는 센서의 가격이 상대적으로 저렴하며, 이미 많은 차량이 다수의 카메라를 탑재하고 있다 는 점에서 적용성 및 활용성이 높다는 장점이 있다. 이와 같은 이유로 광학 카메라 이미지를 이용한 측위는 다양한 환경에서 효율적으로 차량의 위치 정보를 제공할 수 있다는 장점이 있어 가장 활발히 사용되는 기술 중 하나이다. 다양한 연구에서는 차량 측위에 광학 카메라 이미지를 활용한 바 있다. Hara and Saito(2015), Shipitko and Grigoryev(2018) 그리고 Chiwata and Matsushima(2019)는 카메라 이미지에서 추출된 차선과 디지 털 도로지도 간의 매칭을 통하여 차량의 위치정보를 추정하였다. Han et al.(2018)은 스테레오 카메라에서 추 출된 차선 정보와 특징점 기반의 VO(Visual Odometry) 정보를 이용한 차량 측위 기술을 제안하였다. 카메라 이미지 기반의 차량 측위는 차량에 탑재된 카메라들을 이용하여 효율적으로 차량 위치 정보를 제공할 수 있 다는 장점이 있다. 하지만, 기존의 많은 이미지 기반 측위 방법들은 다음과 같은 한계를 지니고 있어, GNSS/IMU을 보조하는 수준으로 사용되거나, 차량의 차선 이탈 여부 판단 등에 제한적으로 사용되었다.
기존 이미지 기반 차량 측위 방법론의 첫 번째 한계점은 이미지에서 추출된 차선과 도로정밀지도 간 매칭 을 기반으로 한 방법들은 도로 환경의 변화에 정확도가 큰 영향을 받을 수 있다는 것이다. 도로에서 촬영된 이미지들에서, 차선은 많은 경우에 다른 차량에 의하여 가려질 수 있기 때문이다. 차량에 인접한 짧은 구간 에 대한 차선 정보는 대부분의 경우 확보가 가능하다. 하지만, 짧은 길이의 차선은 차량의 차선 이탈 여부 등에는 활용이 가능하지만, 도로정밀지도와의 매칭에 충분한 수준의 정보를 제공할 수 없기 때문에 정확한 측위 정보 제공에는 적합하지 않다.
기존 방법론의 두 번째 한계점은 이미지 간의 차선 매칭을 기반으로 한 측위 알고리즘은 차량의 이동 경 로와 차선의 기하학적 위치 관계로 인하여 측위 정확도가 크게 감소할 수 있다는 것이다. 선분 매칭 기반의 측위는 일반적으로 i) 선분 매칭 그리고 ii) 매칭된 선분을 이용한 이미지 간 상대적 위치 도출의 두 단계를 통하여 진행된다. 이때, 이미지 간 상대적 위치를 정확하게 도출하기 위해서는 이미지 촬영 경로와 수직 방 향으로 배치된 선분 정보가 요구된다. 촬영 경로 방향을 X, 경로의 좌·우 방향을 Y, 그리고 높이 방향을 Z로 설정할 경우, 만약 촬영 경로(X)와 수평을 이루는 선분만이 위치정보 도출에 사용되면 Y, Z 방향의 위치정보 는 특정될 수 있지만, X방향의 위치는 특정되지 않는다. 따라서 차량의 이동 경로(이미지 촬영 경로)와 평행 한 차선 정보만을 이용하여 측위를 수행할 경우, 경로 방향 측위 정보의 정확도가 크게 하락할 수 있다.
이미지 특징점을 활용한 접근법의 경우 차량 운행 중에 촬영된 이미지 간의 특징점 매칭의 정확도에 큰 영향을 받는다는 한계가 있다. SIFT(Scale-Invariant Feature Transform) 등과 같은 특징점 매칭은 동일한 텍스 쳐가 반복되거나 촬영된 이미지 간의 상대적 위치 변화가 클 경우 정확도가 크게 감소될 수 있다. 따라서 가 로수나 안전펜스 등이 반복적으로 나타나는 환경에서 촬영되거나 고속으로 이동하는 차량에서 촬영된 이미 지들의 경우 특징점 매칭 정확도가 크게 하락할 수 있으며, 이는 차량측위 정확도 확보를 어렵게 한다. <Fig. 1>은 도로에서 촬영된 이미지 간 특징점 매칭 예시를 보여준다. <Fig. 1>의 배경은 매칭에 사용된 두 이미지 를 R-band(빨간색) 및 G-band(초록색)로 설정한 이미지이다. 또한 <Fig. 1>의 빨간색 원은 첫 번째 이미지의 매칭된 특징점, 초록색 십자는 두 번째 이미지의 매칭된 특징점이며 노란색 선은 매칭된 특징점을 연결한 선 분을 보여준다. 이때, 특징점 매칭의 정확도가 높을수록 일반적으로 노란색 선분은 이미지 촬영 경로와 평행 한 방향으로 나타나며, 서로 인근에 위치한 특징점들의 노란색 선분은 유사한 길이를 나타내어야 한다. <Fig. 1>은 가로수 및 식생 등과 같이 유사한 텍스쳐가 반복되는 구간에서 특징점 매칭의 정확도가 크게 감소하는 것을 보여준다. 실제로 <Fig. 1>의 각 이미지세트에 대한 특징점 매칭의 정확도는 50-70%의 수준을 나타내 었다.
선분 매칭(LSM: Line Segments Matching)은 기존 이미지 기반 측위 기술의 한계점을 보완할 수 있는 방안 으로 활용될 수 있으며(Wang et al., 2018) 그 이유는 다음과 같다. 먼저, LSM은 이미지 전체에서 선분 정보 를 추출하고 매칭하기 때문에 차선 정보만을 이용하는 기존 알고리즘에 비하여 운행 환경에 상대적으로 적 은 영향을 받는다. 이는 주변 차량 등으로 인하여 차선 정보가 충분하지 않은 경우에, 차선 매칭을 이용한 기존 알고리즘은 활용되기 힘든 반면, LSM은 차선뿐만 아니라 주변의 건물, 지형 등의 다양한 객체의 선분 정보를 활용할 수 있기 때문이다. 다음으로, LSM은 다양한 방향으로 배치된 선분 정보를 이용할 수 있다는 점에서 차량 이동 경로와 수평을 이루는 차선만을 이용하는 기존 알고리즘에 비하여 사진측량학적으로 높은 측위 정확도를 기대할 수 있다. <Fig. 2>는 활용되는 선분 정보에 따른 차량 측위의 기대 오차를 보여주며, <Fig. 2(a)>는 IMU만을 이용한 측위, (b)는 차량의 경로와 평행한 차선 정보만을 이용한 경우, 그리고 (c)는 차선 및 주변 객체에서 추출된 선분 정보(차량 경로와 수직 방향의 선분)을 모두 활용한 경우에 차량 측위의 예측 오차를 보여준다. 이때, 그림의 빨간색 원은 각 위치에서의 측위 오차 수준(오차 타원), 녹색 점은 차량 의 위치, 검정색 점은 GNSS 음영지역에서의 실제 차량의 위치, 그리고 파란색 선분은 측위에 사용되는 선분 을 나타낸다. 그림을 통하여 차선 정보를 사용하여 차량의 측위를 수행할 경우(<Fig. 2(b)>), 경로에 수직방향 오차는 IMU만 사용한 경우(<Fig. 2(a)>)에 비하여 감소되지만 경로 방향의 측위 오차는 감소시키지 못하는 것을 확인할 수 있다. 반면 주변 객체에서 획득된 다양한 방향의 선분을 이용한 측위(<Fig. 2(c)>)는 경로 방 향 측위 오차까지 감소시킬 수 있음을 확인할 수 있다. 마지막으로, LSM은 특징점에 비하여 객체의 구조 및 상대적 위치관계를 표현하는 대에 유리하다(Li and Yao 2017). 특히, 도심지와 같은 인공 환경에서 선분은 이 미지 간의 위치관계를 효율적으로 설명할 수 있다(Von, 2014). 또한, LSM은 텍스쳐 정보가 부족한 환경에서 특징점 매칭에 비하여 정확한 결과를 보여주며(Zhang ans Koch, 2013), 특징점 매칭에 비하여 시점 변경에 안 정적이다(Gee and Mayol-Cuevas, 2006). 또한, LSM은 연속적으로 촬영된 이미지들을 이용한 상대적 위치 추 정을 통하여 측위 정확도 향상에 기여할 수 있다. 연속 촬영된 이미지들은 서로 다른 시점에 촬영된 이미지 와 디지털 도로지도에 비하여 높은 시공간 유사성을 지니기 때문에, 이미지-디지털 도로지도간 매칭 정확도 가 확보되지 않는 상황에서는 LSM을 통하여 추정된 이미지 간의 상대적 위치를 활용하여 차량 측위의 정확 도를 향상시킬 수 있다.
2. 선행 연구 고찰 및 연구의 목적
기존의 다양한 LSM 방법론은 크게 i) 개별 선분 서술자 기반(Individual line segment description based), ii) 선분-점 불변 기반(Line-point invariant based) 그리고 iii) 선분 쌍 기반(Line segment pair based) 방법으로 구분 된다(Li et al., 2016). 먼저, 개별 선분 서술자 기반 방법은 각 선분 주변의 그라디언트(gradient)와 색상 정보 를 이용한 서술자를 이용하여 매칭을 수행하며, 대표적인 알고리즘으로는 LBD(Line Band Descriptor) 및 MSLD(Mean-Standard deviation Line Descriptor) 등이 있다. 이때, Wang et al.(2009)이 제안한 MSLD는 gradient pixel의 평균과 standard deviation을 활용하며, Zhang and Koch(2013)이 제안한 LBD는 그라디언트 정보와 기 하적 일관성 평가를 통하여 선분 매칭을 수행한다. 다음으로, 선분-점 불변 기반 방법은 매칭된 특징점과 주 변 선분 간의 상대적 위치 유사성을 이용하여 매칭을 수행한다. Fan et al.(2012)가 제안한 LPI는 선분-점 불 변 기반 방법의 대표적인 알고리즘으로, 아핀 불변 및 투영 불변을 기반의 LSM 알고리즘이다. 마지막으로 선분 쌍 기반 방법은 선분 간의 교차점(junction)을 이용한 매칭 방법으로, 선분들과 그 교차점을 모두 이용하 여 매칭을 수행한다. Li et al.(2016)이 제안한 LJL(Line-Junction-Line) 알고리즘은 대표적인 선분 쌍 기반 방법 중 하나로, 먼저 교차점 주변의 그라디언트 특성을 이용한 매칭을 수행하고, 추가적으로 인근에 다른 선분이 없는 선분들에 대한 매칭 단계를 진행한다.
LSM을 통하여 매칭된 선분은 사진측량 기반의 번들 조정을 통하여 이미지 촬영 지점 간의 상대적인 위치 를 정확히 도출하는 대에 사용될 수 있다. 따라서 다양한 연구에서는 로봇과 같은 모바일 플랫폼의 측위 정 확도 향상을 위하여 LSM을 활용한 바 있으며 LSM 기반 측위의 구체적인 원리는 다음과 같다. 이미지들에 서 동시에 나타나는 점들은 각각 공선조건을 만족하며, 각 점들의 공선조건식을 이용하여 번들 조정을 수행 하면 이미지들 간 상대적 위치를 계산할 수 있다. 따라서 LSM을 통하여 정확히 매칭된 선분 정보를 가지고 있다면, 매칭된 선분의 끝점이나 선분 간의 교점을 이용한 번들 조정을 통하여 이미지의 상대적 위치 정보 를 정확히 도출할 수 있다. 이때, 첫 번째 이미지의 촬영 위치가 알려진 경우, 이후 연속된 이미지들의 촬영 위치는 번들 조정의 결과를 이용하여 계산될 수 있다. Gee and Mayol-Cuevas(2006) 및 Vakhitov and Lempitsky (2019)은 실내 환경에서 visual SLAM 성능 향상을 위하여 LSM 알고리즘을 도입하였다. Georgiev and Allen (2004)는 로봇의 측위 정확도 향상을 위하여 LSM 기법을 활용하였다. 또한, Li and Yao(2017)은 건물의 3D 모델링을 위하여 LSM 기반의 카메라 자세 추정에 대한 연구를 수행하였다. Micusik and Wildenauer(2015)은 LSM을 이용한 이미지 기반의 실내 측위 연구를 수행하였다. 이와 같은 연구들은 각 연구의 목적에 적합한 방식으로 측위를 위한 LSM 활용 방안을 제시하고 높은 정확도의 위치 정보를 도출하였지만, 연구 대상과 환경이 실내이거나 건물 등에 제한되어 있다.
LSM과 관련된 기존 연구들은 다양한 매칭 방법을 제안하고 검증하였지만 기존의 알고리즘을 차량 측위 에 활용하기 위해서는 다음과 같은 점에서 한계를 지닌다. 먼저, 기존 연구들에서는 차량 운행 중에 촬영된 이미지 간의 LSM 성능에 대한 검토가 거의 이루어지지 않았다. 많은 기존 연구들은 정지된 상황에서 촬영 된 중첩 비율이 매우 높은 이미지들을 이용하여 LSM의 성능을 검토하였다. 하지만, 차량 측위에 LSM을 활 용하기 위해서는 운행 중 촬영된 이미지를 대상으로 한 LSM 성능 검토가 필수적이다. 다음으로, 차량 운행 중에 획득된 이미지를 이용한 기존 연구들은 주로 도로 위의 차선과 같은 선분만을 측위에 사용하였다. 하지 만 많은 경우 차선은 다른 차량 등의 객체에 의하여 가려지기 때문에 차선 정보는 제한적으로 활용될 가능 성이 높다. 또한 앞서 설명한 바와 같이 차선만을 이용한 측위는 일반적으로 차선과 이미지 획득 경로가 평 행하기 때문에, 정확한 측위에 한계가 있다. 따라서 도로 환경 전체에서 추출된 다양한 선분들의 매칭 성능 에 대한 분석이 필요하다. 마지막으로, 실시간 차량 측위를 위해서는 LSM의 정확성과 신속성이 확보되어야 한다. 따라서 도로 환경에 대한 LSM의 처리 속도에 대한 면밀한 분석이 필요하다. 하지만 기존 연구들은 도 로 환경에서 취득된 이미지에 대한 LSM의 처리 속도에 대한 검토가 이루어지지 않았다.
본 연구는 기존 연구들의 한계점을 보완하고, 실시간 차량 측위를 위한 LSM 프레임워크 제안을 통하여 안전한 자율주행을 지원하고자 한다. 이와 같은 목적을 위하여 본 연구에서는 다음과 같은 연구를 수행하였 다. 먼저, 차량 운행 환경에서 촬영된 이미지의 선분에 대한 정확한 매칭을 위한 통합 프로세스를 제안한다. 제안된 프로세스는 선분 추출, 선분 병합, 중첩영역 탐지 그리고 LSM 단계로 구성된다. 다음으로, 서로 다른 알고리즘을 이용하여 LSM을 수행하고 각 알고리즘의 정확도 및 처리 속도 등에 대하여 비교 분석한다. 이 를 통하여 본 연구에서는 차량 운행 환경에서 취득된 이미지에 대한 최적 LSM 알고리즘을 제시한다. 또한, 본 연구에서는 차량의 속도, 방향 및 주변 환경 변화에 따른 LSM 알고리즘의 성능을 비교 분석한다.
Ⅱ. 연구 방법
1. 연구 데이터
본 연구에서는 i) 이미지 촬영 위치 간 거리, ii) 차량 운행 방식 그리고 iii) 차량 운행 환경에 따른 LSM의 효과를 비교 분석하기 위하여 <Table 1>과 같은 이미지 데이터를 사용하였다. 먼저, 본 연구에서는 이미지가 촬영된 위치 간 거리의 차이에 따른 LSM 성능 분석을 위하여 이미지 간 거리가 10m이하, 10-20m 그리고 20-30m인 경우로 나누어 실험 데이터를 구성하였다. 다음으로 차량이 직진 운행을 하는 중에 촬영된 이미지 와 회전 중에 촬영된 이미지를 이용하여 각각의 경우에 대한 LSM의 성능을 비교하였다. 마지막으로 일반 도로에서 촬영된 이미지와 터널 구간에서 촬영된 이미지들을 이용하여 LSM을 수행하고 각 경우에 대한 정 확도를 비교 분석하였다. <Fig. 1>은 <Table 1>의 각 case에 대한 예시 이미지 세트를 보여준다.
위와 같이 데이터 셋을 구분한 이유는 다음과 같다. 먼저, 이미지 간 거리의 차이는 연속된 이미지 간의 중첩도를 결정하며, 이미지 중첩도는 매칭의 정확도와 데이터 처리 속도를 결정한다. 차량 경로를 따라서 일 정한 시간 간격으로 이미지가 촬영될 때, 차량의 속도가 빠를수록 (또는 촬영 시간 간격이 길수록) 이미지 간의 중첩 영역은 감소되기 때문에(<Fig. 4>) LSM의 정확도가 감소될 수 있다. 따라서 이미지 간 거리를 기 준으로 분류된 데이터세트를 이용한 LSM 수행을 통하여, i) 차량의 속도 변화에 따른 LSM의 성능과 ii) 실시 간 LSM을 위해 요구되는 처리 시간(촬영 시간 간격) 등을 확인할 수 있다. 다음으로 직진 또는 회전 운행은 서로 다른 방식의 이미지 중첩을 나타낼 수 있기 때문에 각 경우에 대한 데이터세트가 구축되었다. <Fig. 5> 는 운행 방식에 따른 이미지 중첩 영역 차이를 보여준다. 일반적으로 직진 운행 중에 촬영된 n+1번째 이미지 의 객체들은 스케일이 작게 조정된 상태로 n번째 이미지에 모두 포함된다. 반면, 회전 운행 중에 촬영된 두 이미지는 각 이미지의 좌측 및 우측이 중첩영역이 되고 객체간의 스케일 변화는 상대적으로 작게 나타난다. 따라서 본 연구에서는 운행 방식에 따른 LSM의 성능 차이를 검토하였다. 마지막으로 일반 도로 이외에도 극단적으로 유사한 텍스쳐가 반복되는 구간에서의 LSM 성능 확인을 위하여 터널 이미지가 선택되었다(<Fig. 3(f)>).
<Fig. 3>
Example of dataset for each case (a) case1, (b) case2, (c) case3, (d) case4, (e) case5, (f) case6
2. 차량 탑재 카메라 이미지를 위한 LSM 프레임워크
본 연구에서 제안하는 LSM 프레임워크는 차량 운행 중에 취득된 이미지에서 정확하고 효율적으로 선분 을 추출하고 매칭하는 것을 목표로 하며 <Fig. 2>와 같이 총 4단계로 진행된다. 제안된 프레임워크의 1단계 에서는 각 이미지에서 선분이 추출되며, 2단계에서는 각 이미지 내 동일 선분들 간의 병합이 진행된다. 다음 으로, 3단계에서는 LSM 효율성 확보를 위한 연속된 이미지들 간 중첩 영역 탐지가 진행된다. 마지막으로, 4 단계에서는 선분 매칭이 수행된다. 본 연구에서는 서로 다른 네 가지 매칭 알고리즘의 성능에 대한 비교 분 석을 통하여 4단계에 사용될 최적 알고리즘을 선정하였다.
1) 선분 추출
제안된 프레임워크의 1단계에서는 LSD(Line Segment Detector) 알고리즘을 이용하여 각 이미지들의 선분이 추출된다. LSD는 대표적인 선분 추출 알고리즘 중 하나로, 다른 선분 추출 알고리즘들에 비하여 우수하고 안정적인 성능을 보이는 것으로 알려져 있다(Damen et al., 2012;Gong et al., 2020). 본 연구에서는 LSD를 이 용한 선분 추출에 원본 이미지의 해상도(2288×1080)를 50% 수준으로 낮춘(1144×540) 변환 이미지를 이용하 였으며 그 이유는 다음과 같다. 일반적으로 선분 추출은 이미지의 해상도에 큰 영향을 받는다. 이미지 해상 도가 지나치게 높을 경우 선형 객체가 하나의 선분으로 추출되지 않고 두개의 선분으로 추출될 수 있다. 반 면에 이미지 해상도가 너무 낮을 경우, 선분 추출에 실패할 수 있다. 따라서 본 연구에서는 사전 실험을 통 하여 원본의 50% 수준 해상도에서 일반적으로 선분 추출이 가장 효과적으로 수행되는 것을 확인하였다. <Fig. 3>은 LSD를 이용한 선분 추출 결과를 보여주며, 각 이미지의 파란색 선분은 추출된 선분을 나타낸다.
<Fig. 7>
Example of line segments detection results (a) case1, (b) case2, (c) case3, (d) case4, (e) case5, (f) case6
2) 선분 병합
제안된 방법론의 2단계에서는 선분 병합이 진행된다. 이미지에 대한 최적 해상도 변환에도 불구하고 추출 된 선분은 다음과 같은 오차를 포함하기 때문에 정확한 LSM을 위해서는 추출된 선분에 대한 병합이 수행되 어야 한다. 먼저, 이미지 해상도 변환에도 불구하고 여전히 하나의 모서리가 하나의 선분으로 추출되지 않고 모서리의 양쪽에서 두개의 선분으로 추출될 수 있다. 다음으로, 노이즈로 인하여 하나의 선분이 다수의 선분 으로 분리되어 추출될 수 있다(Hamid and Khan, 2016). 따라서 본 연구에서는 선분 간 거리와 각도를 이용하 여 병합을 수행하는 Hamid and Khan(2016)이 제안한 선분 병합 알고리즘을 이용하였다. <Fig. 4> 선분 병합 결과를 보여주며, <Fig. 4(a)> 및 (c)는 선분 추출 결과이며 <Fig. 4(b)> 및 (d)는 이에 대한 선분 병합 결과이 다. 그림을 통하여 <Fig. 4(a)> 및 (c)의 단절되거나 이중으로 추출된 선분이 병합 처리를 통하여 각각 <Fig. 4(b)> 및 <Fig. 4(d)>같이 병합되어 정상적으로 하나의 선분 도출된 것을 확인할 수 있다.
<Fig. 8>
Comparison between detected and merged line segments (a) detected line segments (tunnel), (b) merged line segments (tunnel), (c) detected line segments (roadway), (d) merged line segments (roadway)
3) 중첩 영역 탐지 기반의 선분 탐색 영역 제한
제안된 프레임워크의 3단계는 연속된 이미지에서 동시에 나타나는 중첩 영역을 탐지하는 단계이며, 이는 이미지 간 중첩되지 않는 영역을 제거하여 LSM 정확도와 효율성를 높이기 위함이다. 즉, 중첩 영역 탐지는 사전에 동일 선분이 존재하지 않는 비중첩 영역을 탐색 영역에서 제거하여 i) 선분 오매칭을 방지하고 ii) 선 분 탐색에 필요한 프로세싱 시간을 감소시키기 위하여 수행된다. 특히, 고속으로 이동하는 차량에서 획득된 이미지는 촬영 위치 간의 거리가 상대적으로 멀기 때문에 연속된 이미지 간에 공통된 영역이 크게 작아지고, 이는 LSM의 효율성과 정확도를 크게 낮출 수 있다. 이에 본 연구에서는 중첩 영역 탐지를 통하여 이와 같은 문제를 최소화 하고자 하였다. 여기서, 본 연구의 중첩 영역 탐지의 목표는 두 영상의 공통된 영역을 완벽하 게 탐지하는 것이 아니라 탐색 영역을 줄이기 위함임을 명확히 밝힌다.
중첩 영역 탐지는 i) 특징점 매칭 그리고 ii) 아핀(affine) 변환 기반의 중첩 영역 좌표 도출의 두 단계를 통 하여 진행되며, 특징점 추출 및 매칭에는 Vedaldi et al.(2008)이 제공하는 Open-Source VLFeat의 SIFT 알고리 즘이 사용되었다. 특징점 매칭 단계에서는 이미지 특징점 검지와(<Fig. 9(a)>) 매칭이(<Fig. 9(b)>) 수행된다. 이때, 매칭 정확도 확보를 위하여 매칭된 특징점 중 유사도 상위 10%만이 중첩 영역 탐지에 사용된다. 다음 단계에서는 매칭된 특징점을 이용하여 이미지 간 좌표 변환을 설명하는 아핀 변환이 계산되고(<Fig. 9(c)>), 도출된 아핀 변환을 이용하여 한 이미지의 꼭짓점에 해당되는 다른 이미지 좌표가 계산된다(<Fig. 9(d)>). 최 종 중첩 영역은 아핀 변환된 4개의 점을(<Fig. 9(e)>의 빨간색 점) 모두 포함하는 직사각형으로 결정된다 (<Fig. 9(e)>) 및 (f)). 제안된 중첩 영역 탐지 방법은 빠른 처리 속도로 중첩 가능 영역을 탐지하는 대에 최적 화되어 있으며, 중첩 영역 탐지의 정확도 요구 수준이 높지 않은 상황에 적용할 수 있다. 따라서 본 연구의 중첩 영역 탐지의 목적은 선분 매칭의 탐색 영역을 줄이고자 함을 고려할 때, 그림 <Fig. 9(f)>와 같은 중첩 영역 탐지 결과는 제안된 프레임워크에 충분한 수준으로 판단할 수 있다.
<Fig. 9>
Example of overlap area detection (a) raw result of feature matching, (b) feature points refinement and matching, (c) affine transformation extraction, (d) affine transformation for image corner points, (e) smallest rectangle extraction containing transformed corner points, (f) detected overlap area
4) 선분 매칭
제안된 프레임워크의 4단계에서는 추출된 선분들 간 매칭이 수행된다. 본 연구에서는 서로 다른 4가지 알 고리즘을 이용하여 LSM을 수행하고 각각의 결과에 대한 비교 분석을 수행하였다. 본 연구에서는 개별 선분 서술자 기반 접근법인 LBD 및 MSLD, 선분-점 불변 기반 접근법인 LPI, 그리고 선분 쌍 기반 접근법인 LJL 알고리즘을 이용한 LSM이 수행되었다. <Table 2>는 본 연구에 사용된 LSM 알고리즘의 주요 특징을 보여준 다. 선분 서술자 기반 알고리즘인 LBD는 선분 인근의 그라디언트 특성을 설명하는 line support region 기반 의 서술자를 이용하는 방법론으로, 두 이미지 간의 선분 서술자 간 유사도를 이용하여 매칭을 수행한다. 또 다른 선분 서술자 기반의 알고리즘 중 하나인 MSLD는 선분 주변의 그라디언트 특성을 설명하는 GDM(line Gradient Description Matrix)를 이용한 알고리즘이다. MSLD는 GDM 열 백터의 평균과 표준편차를 계산하고 이들의 유사도를 기반으로 선분 매칭을 진행한다. 선분-점 불변 기반의 알고리즘인 LPI는 매칭된 특징점을 도출하고, 특징점 인근의 선분과 매칭점 간의 기하학적 관계를 기반으로 선분 매칭을 수행한다. 즉, 두 이미 지에서 주변 특징점과 유사한 위치 관계를 보이는 선분들을 매칭하는 알고리즘이다. 마지막으로, LJL은 선분 간의 교점을 이용하는 선분 쌍 기반 알고리즘으로 크게 3단계를 통하여 선분 매칭을 수행한다. LJL의 첫 번 째 단계에서는 두 선분과 그 교점의 상대적 위치관계 및 교점 주변의 그라디언트 특성을 설명하는 LJL 서술 자 기반의 선분 매칭이 수행된다. 다음으로, 두 번째 단계에서는 첫 번째 단계에서 매칭된 선분 주변의 매칭 되지 않은 선분에 대한 개별 매칭이 수행된다. 마지막 세 번째 단계에서는 매칭되지 않은 전체 선분에 대한 local homography 기반의 매칭이 진행된다.
본 연구에서 사용된 LSM 알고리즘은 i) 매칭 처리 속도, ii) 매칭된 선분의 숫자 그리고 iii) 선분 매칭의 정확도를 기반으로 평가된다. 먼저, 매칭 처리 속도는 실시간 차량 측위에 LSM의 적용 가능성 여부를 판단 하기 위하여 고려된다. 만약 이미지 촬영 시간 간격이 1초 또는 2초일 경우 LSM 수행 시간은 각각 1초 또는 2초를 넘기지 않아야 실시간 차량 측위에 해당 알고리즘을 활용할 수 있을 것이기 때문이다. 또한 알고리즘 의 처리 속도에 맞추어 이미지 시간 간격을 조정할 경우, 처리 속도가 느린 알고리즘은 사용되는 이미지들 간의 공간적 유사도를 확보할 수 없어 LSM의 정확도가 크게 감소될 수 있다. 다음으로, 매칭된 선분의 숫자 는 LSM 결과를 이용하여 차량 측위(이미지 간 상대적 위치)를 정확히 도출하기 위하여 고려된다. 매칭된 선 분을 이용하여 번들 조정 기반의 측위를 수행하기 위해서는 최소한 3개 이상의 매칭된 선분 정보가 필요하 다. 또한, 다양한 방향으로 배치된 다수의 매칭된 선분은 측위 정확도 향상 및 SFM(Structure From Motion)등 을 통한 도로 인근의 3D 모델링에도 활용될 수 있다. 따라서 본 연구에서는 매칭된 선분 숫자를 LSM의 성 능 지표 중 하나로 결정하였다. 마지막으로, 측위 정확도 확보를 위하여 각 LSM의 정확도를 평가한다. 본 연 구에서는 선분 매칭 정확도가 80% 이상인 경우 측위에 적합한 것으로 판단하였다. 선분 매칭의 정확도가 80% 이하일 경우, 번들 조정의 최소제곱법을 통한 오매칭 선분 제거의 정확도가 크게 감소할 것으로 판단되 기 때문이다.
Ⅲ. 결과 및 분석
1. 알고리즘 종류 및 중첩 영역 탐지 여부에 따른 선분 매칭 정확도
본 연구에서는 제안된 프레임워크를 이용하여 차량에 탑재된 카메라에서 획득된 이미지들 간의 LSM과 정확도 분석을 수행하였다. 본 연구에서는 매칭 정확도, 정확히 매칭된 선분의 숫자 그리고 처리 시간을 기 반으로 LSM 알고리즘들의 성능을 비교 분석하였다. 또한, 중첩 영역 탐지의 효과를 확인하기 위하여 중첩 영역 탐지를 수행한 경우와 그렇지 않은 경우에서의 매칭 정확도를 비교하였다. 이때, 각 LSM의 정확도는 매칭된 선분들 중에 실제 동일한 선분으로(True positive)을 나타낸다. 또한, LSM 처리 시간은 이미지 입력, 선분 추출, 병합, 중첩 영역 탐지 그리고 선분 매칭 등과 같은 제안된 프레임워크의 모든 프로세스를 처리하 는 대에 요구되는 시간을 의미한다.
<Table 3>는 LBD, MSLD, LPI 및 LJL 알고리즘을 이용하여 수행된 LSM의 전체 결과를 보여준다. 이때, <Table 3>의 OD는 중첩 영역 탐지(Overlap Detection)을 의미하며 OD-LBD, OD-MSLD, OD-LPI 및 OD-LJL은 각각 중첩 영역 감지가 선행된 LSM을 의미한다. 한편, 평균 처리 속도(mean processing time)는 선분 추출에 서 부터 매칭까지의 전체 프레임워크 수행에 걸린 시간의 평균값을 의미한다. 일반적으로 가장 높은 정확도 를 나타낸 LSM 알고리즘은 MSLD로 나타났다. MSLD는 중첩 영역 탐지의 여부와 관련 없이 다른 알고리즘 에 비하여 높은 정확도를 나타내었으며, 가장 높은 정확도(84.16%)는 OD-MSLD를 통한 LSM에서 나타났다. 반면 LPI는 전반적으로 가장 낮은 정확도를 나타내었다. 중첩 영역 탐지를 선행한 LPI(OD-LPI)는 그렇지 않 은 경우(LPI)에 비하여 정확도가 약 31% 향상되었으나 여전히 가장 낮은 수준의 정확도(55.36%)를 보였다.
정확히 매칭된 선분의 숫자는 LJL이 다른 알고리즘에 비하여 확연히 높은 수치를 보여주었다. LJL은 데이 터셋당 평균 118개, OD-LJL은 평균 85개의 선분이 정확히 매칭되었으며, 이는 다른 알고리즘의 평균값인 16, 13, 9개 및 14, 19, 23개를 상회하는 수치였다. 한편, 정확히 매칭된 선분 숫자가 가장 적은 경우는 LPI를 이 용한 LSM의 경우에서 나타났으며 LPI는 평균적으로 9개의 선분을 정확히 매칭시켰다.
LSM 속도는 일반적으로 LDB와 MSLD에서 가장 빠른 것으로 나타났으며, 가장 빠른 매칭 속도는 OD-MSLD의 경우에 나타났다. 즉, LBD 및 MSLD의 처리 시간은 각각 평균 1.18 및 1.22초, 중첩 영역 탐지 가 선행된 OD-LBD 및 OD-MSLD의 경우 처리 시간은 소폭 감소한 1.14 및 0.98초로 나타났다. 반면, LPI의 경우 27.02 및 12.73초의 상대적으로 매우 긴 처리 시간을 보여주었다.
중첩 영역 탐지는 정확도 향상 및 처리 속도 감소에 기여하는 것으로 나타났으며, 정확히 매칭된 선분의 숫자 증가에는 기여도가 없는 것으로 분석되었다. LBD, MSLD, LPI 및 LJL는 중첩 영역 탐지를 통하여 각각 7.61, 0.15, 30.8 그리고 9.74%의 정확도 향상을 나타내었다. 또한, 중첩 영역 탐지는 LBD, MSLD, LPI 및 LJL 의 처리 속도를 각각 0.04, 0.24, 14.29, 및 5.25초만큼 감소시켰다.
2. 운행 방식별 선분 매칭 정확도
본 연구에서는 차량 운행 방식의 차이에 따른 LSM 성능 차이에 대하여 분석하였다. 즉 데이터 세트가 회 전 중에 촬영되었는지(case 1) 또는 직선 주행 중에 촬영되었는지에(case 2-6) 따른 LSM의 정확도에 대하여 분석을 수행하였다. <Table 4>는 차량 운행 방식의 차이에 따른 LSM의 결과를 보여준다. LPI를 이용한 LSM 을 제외한다면, 일반적으로 LSM의 정확도는 회전 주행의 경우보다 직선 주행의 경우에 높은 것으로 나타났 다. 또한, 정확히 매칭된 선분의 숫자는 모든 경우에서 직선 주행의 경우에 많았다. 한편 중첩 영역 탐지는 주행 방식에 상관없이 일반적으로 정확도 향상에 기여하는 것으로 분석되었다. 상대적으로 가장 높은 정확 도를 보여준 알고리즘은 MSLD 및 OD-MSLD로 나타났으며, MSLD 기반의 접근법(MSLD 및 OD-MSLD)은 차량 운행 방식에 거의 영향을 받지 않고 상대적으로 높은 정확도를 보여주었다.
3. 이미지 간 거리별 선분 매칭 정확도
본 연구에서는 <Table 5>과 같이 직진 운행 중에 취득된 데이터세트(case 2-6)에 대한 이미지 간 거리별 LSM의 성능 분석이 수행되었다. 일반적으로 이미지 간 거리가 가까울수록 LSM의 정확도는 높게 나타났으 며 정확히 매칭된 선분의 숫자가 증가하는 것으로 나타났다. 이는 촬영 위치가 가까운 이미지들일 수록 일반 적으로 이미지의 유사도가 높기 때문인 것으로 판단된다. MSLD 기반의 접근법은 운행 방식에 따른 결과 분 석의 경우와 유사하게 이미지 간 거리의 차이에도 큰 영향을 받지 않고 다른 방법에 비하여 상대적으로 우 수한 정확도를 나타내었다. 한편, 중첩 영역 탐지의 이미지 거리별 성능은 알고리즘 별로 다르게 나타났다. LBD는 거리에 상관없이 유사한 수준(6.53-8.51%)의 정확도 향상을 보였다. MSLD와 LJL의 경우에는 이미지 간 거리가 증가되면 중첩 영역 탐지에 따른 정확도 향상 수준이 높게 나타났다. 반면에 LPI는 MSLD 및 LJL 과는 다르게 가까운 거리에서 중첩 영역 탐지의 성능이 보다 높게 나타났다. LPI 기반 접근법의 경우 이미지 간 거리가 20-30m인 경우 OD-LPI의 LPI에 비하여 낮은 정확도를 보여주었다.
4. 선분 매칭 결과 시각적 분석
본 연구에서는 LSM의 성능에 대한 보다 면밀한 분석을 위하여 매칭된 선분에 대한 시각적 분석을 수행하 였다. <Fig. 10>은 회전 운행 중 취득된 이미지들을 이용한 LSM의 예시 결과이며, <Fig. 11>, <Fig. 12> 및 <Fig. 13>는 각각 이미지간 거리가 0-10m, 10-20m, 그리고 20-30m인 경우에 대한 LSM 결과의 예시를 보여준 다. 마지막으로, <Fig. 14>은 터널 구간에서 촬영된 이미지를 이용한 LSM의 예시를 보여준다.
모든 경우에서 LJL 기반 LSM은 다른 방법에 비하여 가장 많은 숫자의 매칭된 선분을 도출했다. LPI 기반 방법론이 사용된 경우에 두 번째로 많은 선분이 매칭되었으나, 매칭 정확도가 상대적으로 낮아서 정확히 매 칭된 선분의 숫자는 상대적으로 매우 작았다. 또한, LPI 기반의 LSM 방법들은 이미지 간의 거리가 멀거나 유사한 텍스쳐가 지속되는 터널 구간 등에서 매칭되는 선분을 탐지하지 못하였으며, 운행 방식이나 도로 상 황에 따라서 결과가 크게 달라지는 불안정한 성능을 보여주었다. LBD와 MSLD 기반의 방법론은 다른 두 알 고리즘을 기반으로 한 방법론에 비하여 상대적으로 높은 정확도를 보였다. 특히 MSLD는 운행 방식, 이미지 간 거리, 도로 환경과 관련 없이 안정적인 결과를 보여주었다. 반면, LBD는 이미지들 간의 거리가 멀어질수 록 매칭의 정확도가 크게 감소하였다.
5. 선분 매칭 결과 통합 분석
본 연구에서는 LSM의 정확도, 정확히 매칭된 선분의 숫자, 처리 시간 등을 기준으로 운행 방식, 이미지 간 거리, 운행 환경에 따른 LSM의 성능을 분석하였다. 또한, 결과에 대한 시각적 분석 기반의 LSM 알고리즘 및 제안된 프레임워크 성능 분석을 수행하였다. 위와 같은 분석을 종합한 결론은 <Table 6>과 같다. <Table 6>은 각 알고리즘이 실시간 차량 측위에 활용되기 적합한지를 보여준다. 차량 측위 적합도는 처리 시간, 정 확히 매칭된 선분의 숫자 및 선분 매칭 정확도의 3가지 항목으로 판단되었다. 이때, 처리 시간의 경우의 경 우, 처리 시간이 2초 이하인 경우 활용 가능(△) 그리고 1초 이하인 경우 적합(O)으로 판단되었다. 또한, 정확 히 매칭된 선분의 숫자가 3개 이상인 경우 활용 가능(△), 10개 이상인 경우 적합(O)으로 판단하였으며, 평균 3개 이하의 선분이 매칭된 경우나 매칭된 선분이 하나도 도출되지 않은 경우가 발생한 알고리즘은 부적합 (X)으로 판단하였다. 마지막으로 매칭 정확도가 80% 이상인 경우 적합(O)으로 판단하였으며, 그렇지 않은 경 우는 모두 부적합(X)한 알고리즘으로 결정되었다. 최종적으로 모든 항목에서 적합 또는 활용가능 판정을 알 고리즘은 실시간 측위에 적합(O)한 것으로 판정되었으며, 모든 항목에서 적합한 경우 최적합(OO)으로 결정 하였다.
종합 분석 결과, LSM 기반의 차량 측위에 가장 적합한 알고리즘은 OD-MSLD 및 MSLD로 판정되었다. MSLD 기반 LSM은 다른 알고리즘에 비하여 상대적으로 높은 정확도를 나타내었으며 운행 방식, 이미지 간 거리에 상관없이 안정적인 성능을 보여주었다. 또한 MSLD 기반 방법론은 가장 우수한 처리 시간을 나타내 었다. 특히, OD-MSLD는 평균 0.98 초의 처리 시간을 통하여 1-2초 간격으로 촬영된 영상들을 처리하였다는 점에서 실시간 차량 측위에 가장 적합한 것으로 판단된다. 또한, MSLD 기반 방법론은 차량 측위에 충분한 양의 선분을 확보할 수 있을 것으로 판단된다. 일반적으로 이미지 기반의 측위는 최소 3개 이상의 매칭점을 필요로 한다는 점에서, 평균 13 및 19개의 정확히 매칭된 선분을 도출한 MSLD 및 OD-MSLD는 차량 측위에 충분한 선분 정보를 제공할 수 있을 것으로 판단된다.
LBD와 OD-LBD는 각각 최종적으로 부적합 및 적합으로 판단되었다. LBD의 경우 정확도 조건을 만족하 지 못하여 부적합으로 결정되었으나, OD-LBD는 중첩 영역 탐지를 통하여 선분 매칭 정확도가 향상되어 차 량 측위에 적합한 것으로 판단되었다. 이는, LBD의 경우 선분 주변의 그라디언트 정보만을 이용하여 매칭을 수행하기 때문에 텍스쳐가 반복적으로 나타나는 환경에서는 서로 다른 선분들 간에도 유사한 그라디언트 특 징을 나타낼 수 있기 때문에 매칭의 정확도가 낮기 때문으로 판단된다. 반면 OD-LBD는 중첩되지 않는 영역 일부를 선분 매칭 탐색 대상에서 제외하면서 선분 오매칭을 감소시켜 정확도가 향상된 것으로 판단된다.
LPI 기반 방법론들은 모든 평가항목에서 부적합 판정을 받았으며, 이는 LPI는 LBD나 MSLD에 비하여 프 로세스가 복잡하여 처리 시간이 길고, 매칭된 특징점을 사용하기 때문에 유사 텍스쳐가 반복되는 환경에서 정확도가 감소하기 때문으로 판단된다.
LJL 기반 방법들의 경우, 정확히 매칭된 선분의 숫자는 가장 많았지만, 처리 시간이 길고 상대적으로 낮은 정확도로 인하여 실시간 차량 측위에 부적합한 것으로 나타났다. 이는 LJL은 3단계의 서로 다른 선분 매칭 단계로 진행되기 때문에 가장 많은 선분을 매칭 시키지만 동시에 전체 프로세스 진행에 많은 시간을 요구하 기 때문으로 판단된다.
Ⅳ. 결 론
본 연구는 자율주행을 지원할 이미지 기반 차량 측위의 정확도 향상을 위한 LSM 방법론 제안을 목표로 수행되었다. 이를 위하여 본 연구에서는 선분 추출, 선분 병합, 중첩 영역 탐지 그리고 선분 매칭의 4단계를 통한 LSM 프레임워크를 제안하고 이에 대한 성능 분석을 수행하였다. 또한, 최적 LSM 알고리즘을 확인하고 자 서로 다른 4가지 주요 알고리즘 적용 결과에 대한 비교 분석을 수행하였다. 본 연구에서는 제안된 프레임 워크에 대한 정확한 성능 분석 및 알고리즘 비교 평가를 위하여 다양한 운행 환경에서 서로 다른 차량 운행 방식을 통하여 획득된 이미지로 데이터세트를 구성하고 이에 대한 선분 매칭을 수행하였다.
본 연구에서 수행된 실험 및 결과 분석의 주요 내용은 다음과 같다. 먼저, 제안된 프레임워크는 LSM 정확 도를 향상시키며 차량 측위에 충분한 숫자의 선분 매칭에 기여한다. 특히, 중첩 영역 탐지 단계는 LSM의 정 확도 향상과 처리 시간 감소에 효과적이었다. 다음으로, LBD, MSLD, LPI 및 LJL 알고리즘의 성능 비교 평 가를 통하여 차량 측위에 가장 적합한 LSM 알고리즘은 MSLD임을 확인하였다. MSLD는 정확도 및 처리 시 간 측면에서 다른 알고리즘에 비하여 우수한 성능을 보여주었으며, 도로 환경이나 차량의 주행 방식에 큰 영 향을 받지 않고 안정적인 결과를 도출하는 것으로 분석되었다.
본 연구는 차량 측위에 적합한 효율적인 LSM 프레임워크를 제안하였다는 점에서 의의를 지닌다. 본 연구 의 결과는 도로 정밀지도 기반 차량 측위의 정확도 향상 및 GNSS 음영지역에서의 자율주행차량 실시간 측 위 등에 사용될 수 있을 것으로 판단된다. 또한, 이미지 기반 3차원 도로지도 제작 및 갱신에 활용될 수 있을 것으로 판단된다. 향후, 특징점 및 선분 매칭을 이용한 차량 측위, 선분을 이용한 3차원 도로지도 갱신 기술 개발을 통하여 본 연구의 활용성을 증대시키고자 한다.
