Journal Search Engine

Volume/Issue :

Year(s) : to

Search :

Title :

Author :

Keyword :

Abstract :

Figure :

Table :

Reference :

Search Advanced Search

Adode Reader(link)

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer

The Journal of The Korea Institute of Intelligent Transport Systems Vol.22 No.5 pp.137-147
DOI : https://doi.org/10.12815/kits.2023.22.5.137

Parameter Analysis for Super-Resolution Network Model Optimization of LiDAR Intensity Image

Seungbo Shim^*

^*Korea Institute of Civil Engineering and Building Technology, Department of Geotechnical Engineering Research

^† Corresponding author : Seungbo Shim, seungboshim@kict.re.kr

Received 4 September 2023 │ Revised 12 September 2023 │ Accepted 16 September 2023

Abstract

LiDAR is used in autonomous driving and various industrial fields to measure the size and distance of an object. In addition, the sensor also provides intensity images based on the amount of reflected light. This has a positive effect on sensor data processing by providing information on the shape of the object. LiDAR guarantees higher performance as the resolution increases but at an increased cost. These conditions also apply to LiDAR intensity images. Expensive equipment is essential to acquire high-resolution LiDAR intensity images. This study developed artificial intelligence to improve low-resolution LiDAR intensity images into high-resolution ones. Therefore, this study performed parameter analysis for the optimal super-resolution neural network model. The super-resolution algorithm was trained and verified using 2,500 LiDAR intensity images. As a result, the resolution of the intensity images were improved. These results can be applied to the autonomous driving field and help improve driving environment recognition and obstacle detection performance

Key Words : Intensity image , Super-resolution , Deep learning , Image processing , Model optimization

LiDAR 반사 강도 영상의 초해상화 신경망 모델 최적화를 위한 파라미터 분석

심 승 보^*

^*주저자 및 교신저자 : 한국건설기술연구원 지반연구본부 수석연구원

초록

LiDAR는 자율 주행뿐만 아니라 다양한 산업 현장에 적용되어 대상의 크기와 거리를 측정 하는 데 사용되고 있다. 이에 더하여 이 센서는 반사된 빛의 양을 바탕으로 반사 강도 영상 또한 제공한다. 이는 측정 대상의 형상에 대한 정보를 제공하여 센서 데이터 처리에 긍정적인 효과를 일으킨다. LiDAR는 고해상도가 될수록 높은 성능을 보장하지만 이는 센서 비용의 증 가를 야기하는데, 이 점은 반사 강도 영상에도 해당된다. 높은 해상도의 반사 강도 영상을 취득 하기 위해서는 고가의 장비 사용이 필수적이다. 따라서 본 연구에서는 저해상도의 반사 강도 영상을 고해상도의 영상으로 개선하는 인공지능을 개발하였다. 이를 위해서 본 연구에서는 최 적의 초해상화 신경망 모델을 위한 파라미터 분석을 수행하였다. 또한, 초해상화 알고리즘을 2,500여 장의 반사 강도 영상에 적용하여 훈련과 검증을 하였다. 결과적으로 반사 강도 영상의 해상도를 향상시켰다. 바라건대 본 연구의 결과가 향후 자율 주행 분야에 적용되어 주행환경 인식과 장애물 탐지 성능 향상에 기여할 수 있기를 기대하는 바이다.

키워드 : LiDAR 반사 강도 영상 , 초해상화 , 딥러닝 , 영상처리 , 모델 최적화

This article has been cited by 0 article in crossref

Cited-By

Funding:

Ⅰ. 서 론

1. LiDAR 반사강도 영상

Light Detection And Range (LiDAR)는 빛이 대상물에 반사되어 돌아오는 원리를 바탕으로 거리를 계산하 는 센서를 지칭한다 (Roriz et al., 2021). 거리를 계산하는 방법으로 빛의 속도를 고려하여 시간을 측정하는 방법과 파장의 위상차를 분석하는 방법이 있다. LiDAR는 여러 개의 발광부와 수광부로 구성되어 있으며, 수 광부에 수신된 값을 바탕으로 점군 데이터를 생성한다. 특히 3차원 LiDAR는 전방위 스캔을 할 수 있고 측정 거리도 수백미터 이상까지 가능하다. 이러한 장점으로 인해 자율 주행 분야에서 도로 주행 환경을 인식하는 데 활발하게 사용되고 있다 (Li and Ibanez-Guzman, 2020).

이러한 3차원 LiDAR는 반사 강도 정보를 포함하고 있다 (Ashraf et al., 2017). 반사 강도는 발광부의 빛이 측정 대상으로부터 반사되어 돌아오는 양을 의미한다. 따라서 반사된 양은 측정 대상의 거리와 반사율에 영 향을 받는다 (Cheng et al., 2021). 반사 강도 영상은 LiDAR의 이러한 특성으로 만들어진 2차원 영상 데이터 다. 이 같은 영상은 측정 대상의 형상 정보를 제공하여 센서 데이터 처리에 긍정적인 효과를 보여준다. 특히 분할 알고리즘을 적용할 때 다양한 분야에서 전반적인 성능 향상을 일으킬 수 있다 (Tatoglu and Pochiraju, 2012). 하지만 LiDAR 반사 강도 영상에서 화소의 수는 3차원 LiDAR 점군 데이터에서 점의 수와 밀접한 관 련이 있다. 다시 말해 LiDAR의 해상도가 반사 강도 영상의 해상도를 결정하는 것이다. 이는 반사 강도 영상 의 해상도를 높이기 위해서는 LiDAR의 해상도를 높여야하는 것을 의미하고 이는 센서의 비용 증가를 야기 한다. 본 논문에서는 인공지능을 통해 높은 해상도를 가진 LiDAR 반사 강도 영상을 제공함과 센서의 비용 증가 없이 고해상도의 센서 데이터를 취득할 수 있는 방법을 중점적으로 제안하고자 한다.

2. 딥러닝 기반 초해상화 신경망의 동향

영상의 크기를 키우기 위해서는 기본적으로 선형보간법을 사용한다. 이는 크기가 달라지면서 새로운 화소 값에 대한 추정 값이 필요하기 때문이다. 이때 선형보간법은 서로 인접한 화소 값이 항상 선형적으로 변한다 는 가정을 전제한다. 그러므로 영상의 크기를 확장할 때 새로운 화소 값은 인접한 화소 값과 비교하여 급격 히 변화하지 않아 대상이 희미하게 나타난다. 이에 반해 딥러닝을 이용하여 해상도를 높이는 초해상화 기법 은 비선형적 보간법이다. 이는 학습을 통해 화소 값이 비선형적 변화를 표현할 수 있다 (Shim et al., 2022). 그러므로 영상의 크기를 확장하였을 경우 화소 값의 급격한 변화를 예측할 수 있어 대상의 경계를 선명하게 나타낼 수 있다.

초해상화 신경망은 해상도를 높이는 데 필요한 새로운 화소 값을 예측하는 인공지능 알고리즘이다. 이러 한 알고리즘은 의료 분야 (Huang et al., 2017), 보안 분야 (Rasti et al., 2016), 토목 분야 (Kim et al., 2023) 등 다양한 분야에서 활용되고 있다. 초해상화 알고리즘들은 공통적으로 합성곱로 이루어진 신경망 구조를 사용 한다 (Dong et al., 2014). 이 알고리즘들은 신경망 내에 up-sampling 함수의 종류에 따라 초해상화 신경망의 구조를 분류할 수 있다. 첫 번째 up-sampling 방식은 transposed convolution이다 (Zeiler et al., 2010). 이는 합성 곱 방식의 역 연산으로 영상의 해상도를 높이기 위해 kernel size를 통해 출력 영상의 확장 정도를 결정한다. 두 번째 up-sampling 방식은 Sub-pixel convolution이다 (Shi et al., 2016). 이는 채널 방향의 동일한 위치의 값을 하나의 채널로 재정렬하여 영상을 확장하는 데 사용한다.

이러한 초해상화 기법은 토목 구조물의 유지관리 분야에서도 활발히 연구되고 있다. 특히 콘크리트 구조 물에서 발생하는 미세한 균열을 탐지하는 데 유용하다. Bae et al.(2021)은 초해상화 신경망 모델을 이용하여 교량에서 발생하는 균열 영상의 해상도를 높였다. Kim et al.(2023)은 초해상화 신경망과 generative adversarial network의 개념을 접목한 SRGAN (Ledig et al., 2017)을 이용하여 균열 영상의 해상도 향상에 관한 연구를 수 행하였다. 아울러 초해상화 기법은 아스팔트 포장 표면에서 발생하는 균열을 탐지하는 영상 처리 알고리즘 에도 효과적이다 (Shim, 2021;Shim and Song, 2020). 예를 들어 Shim et al. (2022)은 아스팔트 포장 면에서 발 생하는 미세한 균열을 카메라 영상으로 탐지하기 위하여 초해상화 기법을 적용하였다. 이에 더하여 Kang and An(2020)은 ground penetrating radar를 통해 얻은 지반의 상태 영상을 초해상화 기법으로 선명하게 보이는 방법을 제안하였다. Chen et al.(2020)은 암반 영상의 해상도를 높이는 데 SRGAN을 적용하였고, Janssens et al.(2020)도 유체 흐름 특성을 파악하는 데 초해상화를 접목한 기술을 제안하였다. 이처럼 초해상화는 해상도 향상이 필요한 분야에 다양하게 접목하여 성능 향상의 효과를 보여주고 있으며, 같은 맥락에서 LiDAR 반사 강도 영상에도 접목이 필요할 것으로 보인다.

Ⅱ. LiDAR 반사 강도 영상의 초해상화 신경망 모델 최적화

1. LiDAR 반사 강도 영상

본 논문에서 사용한 LiDAR 반사 강도 영상은 <Fig. 1>과 같다. 이와 같은 반사 강도 영상을 취득하기 위 해 사용한 센서의 모델은 SOSLab사의 MLX-120이다. 이 센서를 이용하여 고정형 촬영과 이동형 촬영을 수행 했다. 고정형 촬영의 대상은 교차로 또는 주차장이며 이동형 촬영의 대상은 일반 도로다. 촬영 중에 주기적 으로 데이터를 저장하여 학습데이터를 구축하였다. 이 센서는 회전축을 중심으로 방사 방향으로 측정하는 일반적인 방식이 아니라 카메라와 같이 전방의 일정 면적을 주시하는 측정 방식이다. 그러므로 화각 또한 수 평 방향과 수직 방향으로 구분되고 각각 120°과 35°다. 이를 통해 촬영된 반사 강도 영상의 크기는 192×56이 고, 3가지 채널을 갖는다. 반사 강도 영상은 총 2,561장을 확보하였고, 이를 훈련용과 검증용으로 구분하여 실험하였다. 구체적인 수량은 훈련용 영상이 2,046장이며 검증용 영상이 515장이다.

<Fig. 1>

LiDAR intensity images

2. LiDAR 반사 강도 영상의 초해상화 학습 구조

초해상화 알고리즘은 영상의 해상도를 높이는 신경망 모델이다. 이러한 신경망 모델을 학습하는 구조는 <Fig. 2>와 같다. 학습에 필요한 데이터는 원본(HR) 영상이고 초해상화 알고리즘은 신경망 모델(SRNET)이다. 우선 이 HR 영상의 크기를 절반으로 줄여서 크기가 96 × 28인 저해상도 (LR) 영상을 만든다. 다음으로 이를 SRNET의 입력으로 사용한다. SRNET의 역할은 입력된 영상의 크기를 2배로 늘리면서 해상도 또한 향상시키 는 것이다. 이렇게 출력된 결과가 초해상화(SR) 영상이다. 초해상화 알고리즘은 SR 영상과 HR 영상의 차이 가 최소화되도록 SRNET의 가중치를 갱신하는 것이다. 이를 통해 HR 영상이 LR 영상으로 변환되면서 손실 된 정보를 복원하는 기능이 완성된다. 이 복원 기능이 완성되면 검증용 데이터 세트의 HR 영상에 적용한다. 그 결과 최종 영상은 384 × 112로 크기가 커지고 동시에 해상도 또한 향상된다.

<Fig. 2>

Learning structure for super-resolution

3. 초해상화 신경망 모델의 파라미터

본 연구에서 초해상화를 위해 사용한 신경망 모델은 RCAN (Zhang et al., 2018), SAN (Dai et al., 2019), HAN (Niu et al., 2020)이다. RCAN은 residual channel attention block을 사용하여 deep feature를 추출하였다. 이 block은 channel 방향으로 attention mechanism (Vaswani et al., 2017)을 적용하였다. 아울러 이 block을 여러 번 직렬로 연결하고 신경망이 효율적으로 훈련되도록 short skip connection을 사용하였다. 이렇게 만들어진 residual group을 다시 여러 번 직렬로 나열하고 long skip connection을 연결하여 residual in residual이 되도록 하여 신경망 구조를 완성하였다. SAN는 기본적으로 RCAN과 유사한 구조를 가진다. 하지만 차이점은 long skip connection을 개선한 것에 있다. SAN은 residual group이 반복적으로 사용될 때 하나의 skip connection을 대신하여 share-source skip connection을 제안하였다. 또한, RCAN은 국소적 수용 영역 (receptive field)의 정보 만을 다루지만 SAN는 비국소적 연산 방법을 적용하여 수용 영역을 넓히는 방법을 적용하여 더욱 발전된 모 델을 제시하였다. HAN은 각각의 residual group에서 만들어지는 feature group을 활용한 layer attention module 을 제안하였다. 이 신경망 모델은 여러 번의 residual group이 반복될수록 서로 다른 의미를 담고 있는 feature 가 추출된다는 점에 착안하여 설계되었다. 이러한 feature를 layer attention module에서 가공하여 영상 표현 역 량을 높이는 데 활용하였다. 결과적으로 이러한 연구들은 신경망의 구조 내에서 보다 의미 있는 feature가 추 출되기 위한 방향으로 발전되었다.

이들은 공통적으로 attention mechanism의 알고리즘을 사용한다 . 합성곱 연산 방식으로 구성된 신경망 모 델의 특징은 국소적인 연산을 통해 추상화된 특징 지도를 추출한다는 점이다. 이 특징 지도는 국소적인 연산 에 적용되는 kernel의 크기에 따라 변하는 수용 영역에 영향을 받게 된다. 수용 영역은 영상 내에서 관심을 갖는 목적물 영역의 크기를 고려하여 특징 지도의 유효성을 결정한다. 이는 입력 영상에 적용되는 국소적 연 산 영역의 너비가 신경망의 전체적 성능에 영향을 미치기 때문이다. 유사한 맥락에서 attention mechanism이 라는 기법은 보다 방대한 영역으로부터 이어져 온 정보를 바탕으로 특징 지도를 추출할 수 있다. 이처럼 입 력 영상으로부터 보다 유효한 특징 정보를 추출할 수 있어 최근 들어 attention network를 이용한 연구가 활발 하게 진행되고 있다.

본 연구에서 사용한 초해상화 신경망 모델은 RCAN 구조에 근간하여 발전된 알고리즘이다. 그러므로 3가 지 모델 모두 특징 지도를 생성하는 backbone 모듈과 해상도를 높이는 up-sample 모듈로 구성되어 있다. 우선 적으로 이 backbone 모듈은 여러 개의 residual group으로 구성되어 있다. 또한, 하나의 residual group은 다시 여러 개의 residual block으로 이루어진다. 다음으로 각각의 residual block에는 channel attention network가 연결 되어있다. 이 구조를 살펴보았을 때 4개의 파라미터에 의해 backbone 모듈이 결정될 수 있다. 이들은 초기 채 널의 수 (n_feats), residual group의 수 (n_resgroups), residual block의 수 (n_resblocks), attention network의 채널 감소 비율 (reduction)이다. 일반적으로 신경망 모델의 규모는 입력으로 사용되는 데이터 종류와 특성에 따라 결정된다. 본 논문에서는 이 점을 종합적으로 고려하여 LiDAR 반사 강도 영상의 해상도를 높이기 위한 최적 의 파라미터를 제안하고자 한다.

4. 손실함수

초해상화 신경망 모델을 훈련하기 위해서는 SR 영상과 HR 영상 간의 차이를 나타내는 지표가 있어야한 다. 본 연구에서는 이러한 지표로 L1 loss (LSR)를 사용하였으며, 이는 Eq. (1)와 같이 정의된다. HR(ㆍ)과 SR(ㆍ)은 각각 HR 영상과 SR 영상의 화소 값을 나타낸다. 그리고 N은 전체 화소의 개수를 가리킨다. 결과적 으로 LSR은 두 영상간의 평균적인 차이를 의미한다. 본 연구에서는 이 지표를 손실 함수로 사용하여 HR 영 상과 SR 영상 간의 차이가 최소화되도록 훈련을 수행하였다.

L_{S R} = \frac{1}{N} \sum_{i = 1}^{N} |H R (i) - S R (i)|

Eq. (1)

Ⅲ. 실험 결과 분석 및 논의

1. 성능 비교를 위한 실험 계획 및 평가지표

LiDAR 반사 강도 영상의 해상도를 높이기 위해 3개의 초해상화 신경망을 사용하였다. 훈련용 데이터 세 트를 이용하여 1000회의 에포치 동안 학습을 수행하였다. 학습이 진행되는 동안 10회마다 한번 씩 학습된 가 중치 모델을 저장하였다. 이 가중치 모델을 검증용 데이터 세트를 적용하여 SR 영상의 복원 정도를 평가했 다. 이러한 과정은 초해상화 신경망 설계에 필요한 4개의 파라미터를 조정하면서 반복하였다. 이러한 과정을 통해 초해상화 신경망의 복원 성능을 비교하고 최적의 파라미터를 선정하였다.

본 논문에서 초해상화 신경망의 성능을 평가하기 위해서는 peak signal-to-noise ratio (PSNR)과 structural similarity index map (SSIM)를 사용하였다. PSNR은 신호가 가질 수 있는 최대 신호에 대한 잡음의 비를 나타 내며 영상 분야에서 생성 혹은 압축된 영상의 화질에 대한 손실 정보를 평가하기 위한 목적으로 사용한다. PSNR은 Eq. (2)와 같이 정의되고, 단위는 데시벨 [db]을 사용한다. 출력이 손실 없이 정확히 복원될수록 높은 값을 가진다. 손실이 없는 영상의 경우 분모가 0이 되기 때문에 PSNR은 계산되지 않는다. 본 논문에서는 SR 영상과 HR 영상의 mean square error (LMSE)를 이용하여 PSNR을 측정하였다.

P S N R = 10 log​(\frac{1}{L_{M S E}})

Eq. (2)

두 번째로 SSIM은 사람이 사물을 바라볼 때 시각적 화질 차이 및 유사도를 평가하기 위한 지표다 (Shim et al., 2022). SSIM은 HR 영상과 SR 영상 간의 Luminance (I), Contrast (C), Structure (S)를 비교한다. SSIM은 I, C, S의 곱으로 이루어져 있고, 최종적으로 Eq. (3)와 같이 정의된다. I는 Eq. (4)와 같이 두 영상 간의 밝기 를 비교하는 지표다. μHR와 μSR는 각각의 HR 영상과 SR 영상의 평균을 의미한다. C는 Eq. (5)와 같이 두 영 상 간의 대비를 비교하는 지표다. σHR와 σSR는 각각의 HR 영상과 SR 영상의 분산을 가리킨다. 끝으로 S는 Eq. (6)과 같이 HR 영상과 SR 영상의 구조적 유사성을 비교한 것이다. σHR,SR는 두 영상의 공분산을 나타낸 다. 끝으로 그리고 C1, C2, 그리고 C3은 Eq. (7)과 같이 각각 연산에 필요한 안정화 상수다.

S S I M = I [X^{H R}, X^{S R}] \times C [X^{H R}, X^{S R}] \times S [X^{H R}, X^{S R}]

Eq. (3)

I [X^{H R}, X^{S R}] = \frac{2 μ_{H R} μ_{S R} + C_{1}}{μ_{H R}^{2} + μ_{S R}^{2} + C_{1}}

Eq. (4)

C [X^{H R}, X^{S R}] = \frac{2 σ_{H R} σ_{S R} + C_{2}}{σ_{H R}^{2} + σ_{S R}^{2} + C_{2}}

Eq. (5)

S [X^{H R}, X^{S R}] = \frac{σ_{H R, S R} + C_{3}}{σ_{H R} σ_{S R} + C_{3}}

Eq. (6)

C_{1} = {(0.01)}^{2}, C_{2} = {(0.03)}^{2}, C_{3} = C_{2} / 2

Eq. (7)

2. 초해상화의 복원 성능 비교

초해상화 신경망의 파라미터에 따른 복원 성능을 비교한 결과는 <Table 1>과 같다. HAN의 경우 n_feats, n_resgroups, n_resblocks, reduction이 각각 32, 5, 10, 8일 때 학습 결과는 발산하였다. 이러한 파라미터들이 16, 5, 10, 8보다 작아지면서부터 수렴되었고, 이와 동시에 복원 성능인 SSIM과 PSNR도 나타났다. 이 복원 성능 은 파라미터가 더 작아지면서 점차 감소하는 것으로 드러났다. 결과적으로 파라미터가 16, 5, 10, 8일 때 가 장 높은 성능인 90.27%와 29.48dB을 기록하였다. 이와 같은 경향은 SAN을 초해상화 신경망으로 사용했을 때에도 유사하게 나타났다. 파라미터가 64, 7, 14, 12일 때 학습 결과는 수렴하지 않았지만, 이보다 작아질 때 부터 수렴하기 시작하였다. 그리고 HAN과 동일하게 파라미터가 감소하면서 복원 성능도 감소하게 되었다. 결과적으로 파라미터가 32, 7, 14, 10일 때 SSIM과 PSNR은 각각 91.70%와 30.48dB을 기록하였다. 끝으로 RCAN을 적용했을 때도 동일한 경향이 나타나는 것을 확인하였다. 다만 파라미터가 64, 7, 14, 12와 같이 가 장 큰 값을 가질 때 발산하였다. 결과적으로 파라미터가 32, 7, 14, 12일 때 91.73%의 SSIM과 30.51dB의 PSNR을 기록하며 다른 모델과 비교하였을 때, 가장 높은 복원 성능을 보였다.

<Table 1>

Restoration performance

Model	Parameters				Performance
Model	n_feats	n_resgroups	n_resblocks	reduction	SSIM [%]	PSNR [dB]
HAN	16	4	8	6	89.87	29.27
	16	5	10	8	90.27	29.48
	32	5	10	8	Not converged
SAN	16	5	10	8	90.16	29.44
	32	5	10	8	91.43	30.26
	32	6	12	10	91.57	30.38
	32	7	14	12	91.70	30.48
	64	7	14	12	Not converged
RCAN	16	4	8	6	89.84	29.31
	16	5	10	8	90.27	29.47
	32	5	10	8	91.54	30.32
	32	6	12	10	91.65	30.42
	32	7	14	12	91.73	30.51
	64	7	14	12	Notconverged

RCAN에 사용되는 파라미터의 초깃값은 64, 10, 20, 16이다. 이러한 파라미터를 그대로 적용하여 LiDAR 반사 강도 영상에 적용할 경우 학습 결과는 발산하게 된다. <Table 1>의 결과에 따르면 RCAN이 LiDAR 반 사 강도 영상으로 훈련할 때 수렴하기 위한 파라미터는 초깃값보다 반드시 작아야 한다. 따라서 기존의 초해 상화 알고리즘을 그대로 적용할 경우 높은 성능을 가진 결과는 얻을 수 없다. 이러한 이유로 입력 데이터에 적합한 파라미터를 선정해야 하며 본 논문에서는 LiDAR 반사 강도 영상에 적합한 파라미터를 여러 실험을 통해 제안하였다.

본 논문에서 사용한 초해상화 알고리즘의 성능 평가 방법은 holdout 검증이다. 이 방법은 데이터 분류 시 랜덤 효과가 강하게 작용하기 때문에 분석 결과에 대한 일반성을 저해하는 요인으로 작용한다. 이러한 점을 보완하기 위해서 k-fold 교차 검증을 적용하였다. 본 연구에서는 k를 5로 하였고, 총 4회의 추가실험을 수행 하였다. 이때 사용한 모델은 RCAN이고 파라미터는 복원 성능이 가장 높은 32, 7, 14, 12와 발산하는 64, 7, 14, 12로 하였다. 이들을 각각 RCAN_32와 RCAN_64로 지칭하였다. 동일한 실험 환경과 평가 방식을 적용하 였으며 최종적으로 5회 실험 결과는 <Table 2>와 같다. 우선 RCAN_32의 교차 검증 실험 결과에 따르면 LiDAR 반사 강도 영상의 복원 성능은 서로 유사한 것으로 드러났다. 이에 반해 RCAN_64의 교차 검증 실험 에서는 발산을 하거나 복원 성능이 현격히 저하되는 현상이 관찰되었다. 이러한 점으로 미루어 보았을 때, 데이터 분포의 랜덤 효과와 무관하게 초해상화 신경망 모델의 파라미터 분석은 유사한 경향을 보였다. 특정 파라미터보다 값이 커지면 발산하게 되어 초해상화의 효과를 잃게 된다. 따라서 본 연구에서는 선정한 파라 미터가 LiDAR 반사 강도 영상의 초해상화 알고리즘에 가장 적합하다는 것을 알 수 있다.

<Table 2>

K-fold cross validation results for RCAN

Model	Performance	K-fold
Model	Performance	1	2	3	4	5
RCAN_32	SSIM [%]	91.73	91.65	91.73	91.39	91.59
RCAN_32	PSNR [dB]	30.51	30.30	30.51	30.39	30.48
RCAN_64	SSIM [%]	Not converged	34.13	34.16	69.83	Not converged
RCAN_64	PSNR [dB]	Not converged	14.83	14.82	23.99	Not converged

3. 초해상화 결과 영상 분석

본 논문에서 개발한 알고리즘 중 해상도 성능 향상이 가장 높은 모델은 RCAN이다. 이 모델을 검증용 데이터에 적용하여 얻은 결과 영상을 <Fig. 3>과 같이 비교하였다. <Fig. 3>의 (a)와 (b)는 각각 선형 보간법과 초해상화 알고리즘을 통해서 영상의 크기를 2배 키운 결과다. <Fig. 3(a)>에서는 선형 보간법을 적용할 경우 사물의 경계가 흐려지는 현상이 나타났다. 이에 반해 <Fig. 3(b)>와 같이 초해상화를 적용한 결과 영상은 흐려진 영역을 보다 선명하게 나타내고 있다. 그 결과 사물의 윤곽은 뚜렷하게 분별되고 형상 또한 선명하게 관찰할 수 있다. LiDAR가 선명한 고해상도일수록 대상을 정확히 탐지할 수 있다. 이러한 이유로 고가의 LiDAR 센서에 대한 수요는 지속적 으로 높아지고 있으며, 고비용 문제를 야기한다. 따라서 본 연구에서 개발한 초해상화 알고리즘은 LiDAR 센서 데이터의 해상도를 향상시켜 이러한 문제의 실마리를 제공하고자 한다.

<Fig. 3>

Upscaled LiDAR intensity image

초해상화 알고리즘의 복원 성능은 해상도를 높이는 배수에 따라 달라진다. Niu et al.(2020)의 실험 결과에 따르면 해상도를 2배 높일 때 복원 성능은 39.62dB의 PSNR까지 가능하다. 이러한 맥락에서 LiDAR 반사 강 도 영상에 적용한 초해상화 알고리즘 또한 성능 향상의 여지가 있을 것으로 보인다. 복원 성능이 높을수록 실제 고해상도의 LiDAR의 유사한 성능을 가질 수 있다. 이는 저가의 센서로도 높은 성능을 낼 수 있는 효과 를 불러일으킬 수 있다. 이러한 점을 고려하여 높은 성능을 가진 초해상화 신경망 모델에 대한 연구가 필요 할 것이다.

Ⅳ. Conclusion

LiDAR는 다양한 산업 현장에서 활발히 사용되는 센서로서 대상의 거리와 크기를 3차원으로 측정하는 기 능을 가지고 있다. 이 뿐만 아니라 LiDAR는 대상으로부터 반사되어 돌아오는 빛의 양을 바탕으로 반사 강도 영상을 제공한다. 이러한 반사 강도 영상은 사물의 구체적인 형상을 제공하고 대상을 인식하는 것에 도움이 된다. 본 논문에서는 이러한 대상의 형상을 보다 선명하게 하는 최적의 초해상화 신경망 모델을 제안하였다. 이를 개발하기 위해서 2천 5백 여장의 LiDAR 반사 강도 영상을 확보하였고, 3가지의 초해상화 신경망 모델 을 분석하였다. 이를 통해 LiDAR 반사 강도 영상의 크기를 2배로 키웠을 때 해상도를 높일 수 있는 알고리 즘을 제안하였다. 이 제안 방법을 통해 선형보간법과 비교하여 선명한 영상을 확보할 수 있게 되었다. 결과 적으로 동일한 센서에 초해상화 신경망을 적용하여 보다 높은 탐지 성능을 기대할 수 있는 효율성 향상을 야기할 수 있다.

본 논문에서는 저해상도의 LiDAR를 인공지능 기법을 통해 고해상도 LiDAR의 측정 데이터가 될 수 있는 방법을 제시하였다. 특히 LiDAR 반사 강도 영상에 초해상화 신경망 모델을 적용함에 있어 최적의 파라미터 를 선정하였다. 신경망 모델을 적용하기 위해서는 입력 데이터의 특성에 따라 파라미터를 다르게 사용해야 한다. 이는 데이터의 특성에 적합한 신경망 모델이 서로 다르기 때문이다. 이러한 맥락에서 본 연구는 LiDAR 반사 강도 영상에 가장 적합한 초해상화 신경망 모델의 파라미터를 제시했다는 점에서 학술적인 의 미가 있다고 할 수 있다. 또한, 본 연구는 저해상도의 센서로 고해상도의 데이터를 얻을 수 있는 새로운 가 능성을 시사하였다. 센서 데이터가 고해상도일수록 높은 성능을 가지게 된다. 본 연구에서 제안한 방법은 제 품의 단가를 높이지 않고 인공 지능을 통해서 고해상도의 센서 데이터를 확보할 수 있다. 따라서 본 연구의 초해상화 알고리즘은 LiDAR를 사용하는 산업 분야에 유익한 효과로 이어질 것으로 기대한다. 특히 LiDAR 는 자율주행 차량에 탑재되어 주행 환경을 인식하는 데 활발히 활용 중이다. 본 논문에서 제안한 방법이 향 후 자율 주행 분야의 LiDAR 기반 탐지 알고리즘에도 기여하는 바가 있기를 기대한다.

ACKNOWLEDGEMENTS

이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구입니다 (No. 2022R1F1A1074663). 지원에 감사합니다.

Figure

<Fig. 1>.

LiDAR intensity images

<Fig. 2>.

Learning structure for super-resolution

<Fig. 3>.

Upscaled LiDAR intensity image

Table

<Table 1>.

Restoration performance

Model	Parameters	Performance
HAN	16	4	8	6	89.87	29.27
16	5	10	8	90.27	29.48
32	5	10	8	Not converged
SAN	16	5	10	8	90.16	29.44
32	5	10	8	91.43	30.26
32	6	12	10	91.57	30.38
32	7	14	12	91.70	30.48
64	7	14	12	Not converged
RCAN	16	4	8	6	89.84	29.31
16	5	10	8	90.27	29.47
32	5	10	8	91.54	30.32
32	6	12	10	91.65	30.42
32	7	14	12	91.73	30.51
64	7	14	12	Notconverged

<Table 2>.

K-fold cross validation results for RCAN

Model	Performance	K-fold
RCAN_32	SSIM [%]	91.73	91.65	91.73	91.39	91.59
PSNR [dB]	30.51	30.30	30.51	30.39	30.48
RCAN_64	SSIM [%]	Not converged	34.13	34.16	69.83	Not converged
PSNR [dB]	14.83	14.82	23.99

Reference

Ashraf, I. , Hur, S. and Park, Y. (2017), “An investigation of interpolation techniques to generate 2D intensity image from LIDAR data”, IEEE Access, vol. 5, pp.8250-8260.
Bae, H. , Jang, K. and An, Y. K. (2021), “Deep super resolution crack network (SrcNet) for improving computer vision–based automated crack detectability in in situ bridges”, Structural Health Monitoring, vol. 20, no. 4, pp.1428-1442.
Barsan, I. A. , Wang, S. , Pokrovsky, A. and Urtasun, R. (2020), Learning to localize using a lidar intensity map, arXiv:2012.10902, [Online] Available: https://arxiv.org/abs/2012.10902
Chen, H. , He, X. , Teng, Q. , Sheriff, R. E. , Feng, J. and Xiong, S. (2020), “Super-resolution of real-world rock microcomputed tomography images using cycle-consistent generative adversarial networks”, Physical Review E, vol. 101, no. 2, p.023305.
Cheng, X. , Hu, X. , Tan, K. , Wang, L. and Yang, L. (2021), “Automatic detection of shield tunnel leakages based on terrestrial mobile LiDAR intensity images using deep learning”, IEEE Access, vol. 9, pp.55300-55310.
Dai, T. , Cai, J. , Zhang, Y. , Xia, S. T. and Zhang, L. (2019), “Second-order attention network for single image super-resolution”, Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, pp.11065-11074.
Dong, C. , Loy, C. C. , He, K. and Tang, X. (2014), “Learning a deep convolutional network for image super-resolution”, Proceedings of European Conference of Computer Vision (ECCV), Zurich, Switzerland, pp.184-199.
Huang, Y. , Shao, L. and Frangi, A. F. (2017), “Simultaneous super-resolution and cross-modality synthesis of 3D medical images using weakly-supervised joint convolutional sparse coding”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, pp.6070-6079.
Janssens, N. , Huysmans, M. and Swennen, R. (2020), “Computed tomography 3D super-resolution with generative adversarial neural networks: Implications on unsaturated and two-phase fluid flow”, Materials, vol. 13, no. 6, p.1397.
Kang, M. S. and An, Y. K. (2020), “Frequency–wavenumber analysis of deep learning-based super resolution 3D GPR images”, Remote Sensing, vol. 12, no. 18, p.3056.
Kim, J. , Shim, S. , Kang, S. J. and Cho, G. C. (2023), “Learning Structure for Concrete Crack Detection Using Robust Super-Resolution with Generative Adversarial Network”, Structural Control and Health Monitoring, Early Access.
Ledig, C. , Theis, L. , Huszár, F. , Caballero, J. , Cunningham, A. , Acosta, A. , Aitken, A. , Tejani, A. , Totz, J. , Wang, Z. and Shi, W. (2017), “Photo-realistic single image super-resolution using a generative adversarial network”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, pp.4681-4690.
Li, Y. and Ibanez-Guzman, J. (2020), “Lidar for autonomous driving: The principles, challenges, and trends for automotive lidar and perception systems”, IEEE Signal Processing Magazine, vol. 37, no. 4, pp.50-61.
Niu, B. , Wen, W. , Ren, W. , Zhang, X. , Yang, L. , Wang, S. , Zhang, K. , Cao, X. and Shen, H. (2020), “Single image super-resolution via a holistic attention network”, Proceedings of European Conference of Computer Vision, Glasgow, UK, pp.191-207.
Rasti, P. , Uiboupin, T. , Escalera, S. and Anbarjafari, G. (2016), “Convolutional neural network super resolution for face recognition in surveillance monitoring”, Proceedings of International Conference of Articulated Motion and Deformable Objects (AMDO), Palma de Mallorca, Spain, pp.175-184.
Roriz, R. , Cabral, J. and Gomes, T. (2021), “Automotive LiDAR technology: A survey”, IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 7, pp.6282-6297.
Shi, W. , Caballero, J. , Huszár, F. , Totz, J. , Aitken, A. P. , Bishop, R. , Rueckert, D. and Wang, Z. (2016), “Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, pp.1874-1883.
Shim, S. and Song, Y. E. (2020), “Encoder type semantic segmentation algorithm using multi-scale learning type for road surface damage recognition”, The Journal of the Korea Institute of Intelligent Transport Systems, vol. 19, no. 2, pp.89-103.
Shim, S. (2021), “Detection Algorithm of Road Surface Damage Using Adversarial Learning”, The Journal of The Korea Institute of Intelligent Transport Systems, vol. 20, no. 4, pp.95-105.
Shim, S. , Kim, J. , Lee, S. W. and Cho, G. C. (2022), “Road damage detection using super-resolution and semi-supervised learning with generative adversarial network”, Automation in Construction, vol. 135, p.104139.
Tatoglu, A. and Pochiraju, K. (2012), “Point cloud segmentation with LIDAR reflection intensity behavior”, Proceedings of IEEE International Conference on Robotics and Automation(ICRA), Saint Paul, MN, USA, pp.786-790.
Vaswani, A. , Shazeer, N. , Parmar, N. , Uszkoreit, J. , Jones, L. , Gomez, A. N. , Kaiser, L. and Polosukhin, I. (2017), “Attention is all you need”, Proceedings of Advances in Neural Information Processing Systems.
Zeiler, M. D. , Krishnan, D. , Taylor, G. W. and Fergus, R. (2010), “Deconvolutional networks”, Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), San Francisco, CA, USA, pp.2528-2535.
Zhang, Y. , Li, K. , Li, K. , Wang, L. , Zhong, B. and Fu, Y. (2018), “Image super-resolution using very deep residual channel attention networks”, Proceedings of European Conference on Computer Vision (ECCV), Munich, Germany, pp.286-301.

Parameter Analysis for Super-Resolution Network Model Optimization of LiDAR Intensity Image

Abstract

LiDAR 반사 강도 영상의 초해상화 신경망 모델 최적화를 위한 파라미터 분석

초록