Journal Search Engine

Volume/Issue :

Year(s) : to

Search :

Title :

Author :

Keyword :

Abstract :

Figure :

Table :

Reference :

Search Advanced Search

Adode Reader(link)

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer

The Journal of The Korea Institute of Intelligent Transport Systems Vol.24 No.5 pp.200-212
DOI : https://doi.org/10.12815/kits.2025.24.5.200

Robust Lane Detection Method against Viewpoint Variations

Younsoo Park^*, Jihun An^**, Inwook Shim^***

^*M.S Student, Department of Electrical and Computer Engineering, Inha Univ.
^**B.S Strudent, Department of Smart Mobility Engineering, Inha Univ.
^***Assistant Professor, INHA Future Mobility IPCC and Department of Smart Mobility Engineering Inha Univ

^† Corresponding author : Inwook Shim, iwshim@inha.ac.kr

Received 29 September 2025 │ Revised 10 October 2025 │ Accepted 19 October 2025

Abstract

Fast and accurate lane detection is a crucial task for the safe operation of autonomous vehicles. However, differences in vehicle height and camera installation angles cause variations in the vertical viewpoint of input images, leading to a domain shift that degrades the accuracy of lane detection networks. This paper proposes a novel lane detection method that enhances robustness to viewpoint variations by integrating an offset head and alignment block into existing networks. The proposed approach was designed in a block-based manner, allowing it easy integration into pre-trained network without requiring full retraining, while effectively mitigating the impact of a domain shift under diverse camera viewpoints. Evaluations on the custom expanded testset constructed from the CULane benchmark with diverse view conditions showed stable precision, achieving an F1 Score of 69.57, which is approximately 2.8 times higher than the baseline score of 25.19, even when the portion of the image occupying the lane is reduced by 50%. These results highlight the practicality of the proposed method in real-world deployment environments with variable viewpoints.

Key Words : Camera Pitch Angle , Domain shift , Viewpoint Shift

카메라 시야각 변화에 강건한 차선 인식 방법

박 윤 수^*, 안 지 훈^**, 심 인 욱^***

^*주저자 : 인하대학교 전기컴퓨터공학과 석사과정
^**공저자 : 인하대학교 스마트모빌리티공학과 학사과정
^***교신저자 : 인하대학교 미래자동차 IPCC, 스마트모빌리티공학과 교수

초록

자율주행 차량의 안전한 주행을 위해 빠르고 정확한 차선 인식은 핵심 과제이다. 그러나 차량별 차고와 카메라 설치 각도의 차이로 종방향 시야각이 달라지면 입력 영상의 유효 시야 가 변동되며, 이에 따라 분포 이동이 발생하여 차선 인식 네트워크의 성능이 저하된다. 이러한 문제를 해결하기 위해 본 연구에서는 기존 네트워크에 오프셋 헤드와 얼라인먼트 블록을 결합 한 시야각 변화에 강건한 차선 인식 방법을 제안한다. 제안된 방법은 블록화되어 있어 사전학 습된 네트워크에 쉽게 통합될 수 있으며, 재학습 부담 없이 다양한 시야각 변화에서 분포 이동 의 영향을 효과적으로 줄일 수 있다. CULane 벤치마크에서 시야각 다양성을 반영해 구축한 확장 테스트셋으로 평가한 결과, 다양한 시야각 조건에서도 안정적인 정밀도를 보였고, 특히 50% 줄어든 시야각에서도 기존 F1 Score 25.19 대비 69.57로 약 2.8배의 성능 향상을 보였다. 이는 실제 배치 환경에서 시야 변동성에 대한 실용적 해법임을 시사한다.

키워드 : 카메라 피치각도 , 분포 이동 , 화각 변화

This article has been cited by 0 article in crossref

Cited-By

Funding:

Ⅰ. 서 론

빠르고 정확한 차선 인식은 자율 주행 차량이 안전한 주행 경로를 유지하기 위해 반드시 해결해야 할 핵 심 과제 중 하나이다. 과거에는 차선이 주행 방향과 평행한 선형 구조를 띠고 노면 대비 뚜렷한 명암⋅색상 차이를 보이는 특성에 착안해, 에지 추출(Dickmanns and Mysliwetz, 1992)⋅허프 변환(Yu and Jain, 1997)⋅기 울기 기반 누적 히스토그램(Lee, 2002) 등의 전통적 알고리즘들이 널리 연구되었다. 최근에는 대규모 데이터 와 연산 자원 발전에 힘입어 딥러닝 기반 차선 인식 네트워크가 고도화되며 Lane Departure Warning System (LDWS)과 Lane Keeping Assist System (LKAS) 같은 운전자 보조기능이 상용화되어 널리 보급되고 있다.

그러나 실제 차량에 카메라를 탑재할 때, 차량마다 차고가 다르고 카메라 장착 높이의 변화로 종방향 설 치 각도가 달라지면 입력 영상 하단의 차선 비중이 위아래로 이동되며 영상 좌표계의 일괄적 상하 데이터 이동이 발생한다. 즉, 특정 시야각에서 학습된 네트워크로 다른 시야각의 영상에 적용할 경우 입력 영상의 유효 시야와 투영 기하가 달라지며, 데이터 간의 분포 불일치 (분포 이동, domain shift) 문제로 차선 인식 성 능이 유의미하게 저하된다.

이러한 한계를 극복하기 위해 본 연구에서는 종방향 시야각 변화에 강건한 차선 인식 방법을 제안한다. 제안하는 방법은 사전학습된 차선 인식 네트워크에 오프셋 (offset) 헤드와 얼라인먼트 (alignment) 블록을 추 가함으로써 기존 가중치를 재학습 없이 그대로 활용하면서도 쉽게 네트워크에 통합될 수 있다. 오프셋 헤드 는 입력 영상으로부터 종방향 시야각 변화량을 예측하며, 얼라인먼트 블록은 예측된 변화량만큼 입력 영상 을 수직으로 보정한다. 제안하는 방법은 이 두 가지 장치로 다른 시야각에서도 네트워크를 학습할 때 사용한 데이터 분포에 가깝도록 특징 공간을 재정렬하여 시야각 변화에 따른 분포 이동 문제를 효과적으로 완화하 였다.

제안하는 방법의 성능을 평가하기 위해 CULane(Pan et al., 2018) 벤치마크를 기반으로 다양한 시야각을 반 영해 구축한 확장 테스트셋에서 실험을 수행하였다. UFLDv2(Qin et al., 2022) 차선 인식 네트워크에 제안하 는 헤드와 블록을 탑재하여 모델의 성능을 실험한 결과, 광범위한 시야각 조건에서도 안정적인 정밀도를 유 지하였다. 정량적 실험에 더해서 국내 도로 환경에도 적용 가능한지에 대한 정성적 평가도 수행하여 실용 가 능성을 입증하였다. 우리가 아는 한, 종방향 시야각에 따른 분포 이동 문제를 효율적인 방법으로 다룬 사례 는 제한적이며, 제안하는 방법의 정량ㆍ정성적 검증을 통해 시야각 변동이 빈번한 실제 도로 환경에서 분포 이동 문제를 효과적으로 완화하는 실용적 해법을 제시하였다.

Ⅱ. 선행 연구 고찰

1. 차선 인식 네트워크

딥러닝의 발전과 함께 단안 카메라 기반 차선 인식 네트워크는 빠른 속도로 성장해 왔으나 여전히 해결해 야 할 중요한 도전 과제 중 하나는 실시간성이다. <Fig. 1>의 (a)는 여러 차선 인식 네트워크의 FPS (초당 프 레임 수)와 F1 Score (머신러닝 모델 성능 평가 지표)를 직접 실험한 결과로, 빨간 점은 RTX A6000 GPU, 파 란 점은 NVIDIA Jetson Orin 및 Orin Nano에서의 결과이다. 공정함을 위해 네트워크들의 백본은 ResNet34로 고정하여 실험을 수행하였다. <Fig. 1> (a)의 결과에서, 기존의 차선 인식 네트워크들은 대부분 세그멘테이션 (Pan et al., 2018;Hou et al., 2019;Lee et al., 2017;Neven et al., 2018) 기반의 bottom-up 학습 파이프라인으로 구성되어 있어 빠른 처리 속도를 내기 어렵다. 이는 픽셀 단위의 마스크를 예측하기 위해 입력 영상의 모든 위치에서 연산을 수행하고 전체 해상도의 특징맵을 반복적으로 처리해야 하기 때문이다. 이러한 방식은 차 선과 무관한 배경 영역에도 동일한 수준의 연산 자원을 사용하게 되어 불필요한 계산량이 크게 증가하며, 결 과적으로 자율 주행 차량에서 실시간 차선 인식 성능을 확보하기 어렵다.

<Fig. 1>

(a) Comparison of FPS and F1 Scores of various lane detection networks on the CULane benchmark. (b) Degradation trends with changing camera viewpoints on various lane detection networks. (DA: Data Augmentation)

이러한 실시간성 문제를 해결하기 위해 Ultra Fast Lane Detection(UFLD, Qin et al., 2020)는 차선을 사전에 정의된 row 앵커 상의 희소한 좌표들로 표현할 수 있다는 점에 착안하여 차선 검출 문제를 픽셀 단위 세그 멘테이션이 아닌 좌표 분류 문제로 재정의하였다. 이와 같은 방식을 통해 입력 영상 전체가 아닌 앵커에서만 좌표를 예측함으로써 연산량을 획기적으로 줄일 수 있었다. 그러나 row 앵커만을 사용하는 경우 주행 차선 에서는 우수한 성능을 보였지만, 보다 수평에 가까운 인접 차선에서는 오차가 커지는 문제가 발생하였다. 이 를 개선하기 위해 후속 연구인 UFLDv2에서는 row 앵커와 column 앵커를 혼합한 hybrid 앵커 시스템을 도입 하여 각 차선의 기하학적 특성에 따라 적절한 앵커를 할당하여 더욱 정확한 차선 검출을 가능케 하였다. 이 러한 제안을 통해 <Fig. 1> (a)에서 UFLDv2는 RTX A6000 GPU에서 다른 차선 인식 네트워크 대비 4배 이상 빠른 214 FPS의 초고속 처리 속도와 75.98 F1 Score를 동시에 달성하였다. 또한, NVIDIA Jetson Orin 및 Orin Nano와 같은 저전력 엣지 임베디드 플랫폼에서도 성능 저하 없이 50 FPS 이상의 실시간 처리가 가능함을 보 였다.

하지만 UFLDv2는 사전에 row 및 column 앵커의 위치를 지정하기 때문에, 카메라 시야각 변화로 입력 영 상에서 차선의 비중이 달라지면 사전학습된 앵커 위치에 차선이 없어지므로 검출이 되지 않는다. <Fig. 1>의 (b)는 원본 CULane 벤치마크를 60%로 설정하고 5%씩 시야각을 줄여서 다양한 시야각을 반영해 구축한 확 장 테스트셋에서 여러 차선 인식 네트워크들의 성능을 직접 실험한 결과로, 파트 1, 2, 3은 성능에 따라 베이 스라인 (60%)과 유사한 55%, 50%, 45%까지 파트 1, 중간 정도 변화량인 40%, 35%, 30%까지를 파트 2, 성능 이 급격히 하락한 구간인 25%, 20%까지를 파트 3으로 정의하였다. 다른 네트워크는 원본 데이터셋과 비슷한 시야각인 파트 2까지도 어느정도 성능을 유지하나, UFLDv2는 성능이 급격히 떨어진다. 이러한 문제를 해결 하기 위해 오프셋 헤드와 얼라인먼트 블록을 UFLDv2 네트워크에 적용하여, 실시간으로 정확한 차선을 검출 하고 다양한 시야각에서도 강건한 차선 인식 방법을 제안하였다.

2. 데이터 증강

차선 인식 과제에서 시야각 변화와 같은 분포 이동 문제는 모델 성능 하락의 주된 원인으로 지적됐으며, 이를 완화하기 위해 데이터 증강 기법으로 일반화 성능을 높이려는 연구들이 보고되었다. Yousri et al.(2024) 은 원근 변환 (perspective transform)을 통한 데이터 증강과 앙상블 학습을 결합해 데이터가 부족한 상황에서 도 높은 차선 추론 성능을 달성하였고, Liu et al.(2022)은 원근 변환을 적용한 이미지에 cutout(DeVries and Taylor, 2017)과 주석 확장을 결합한 데이터 증강 학습 방법을 통해 네트워크가 구조적 단서에 집중하도록 했 다. 이러한 데이터 증강 연구들은 네트워크가 차선의 구조적 특성에 주의를 기울이도록 하고 전반적인 일반 화 성능을 개선하는데 이바지했다. 하지만 원근 변환만으로는 시야각 변동을 충분히 포괄하기 어렵고 변환 과정에서 레이블링 오차의 증폭이나 기하의 불일치가 누적되어 후처리에 대한 민감도가 높아질 수 있다. 또 한 증강 강도에 대한 하이퍼파라미터 의존성이 커 안정적인 재현이 어렵다는 한계가 있다. Wen et al.(2020) 에서는 뷰포인트 증강 방법이 탑뷰 변환 방법 대비 성능이 낮다고 보고했으며, 여전히 시야각 차이 분포 이 동 문제는 데이터 증강 기법으로는 한계가 있음을 보였다. 또한 <Fig. 1>의 (b)에서, UFLDv2(DA) 항목은 UFLDv2 네트워크를 학습할 때 시야각 변화에 대한 데이터 증강을 적용하여 실험한 결과로, 원본 CULane 벤 치마크에서 75.98 F1 Score에서 70.38로 5.6 감소하였고, 중간 정도의 시야각 변화인 50%와 40%에서도 각각 50.02, 33.35 F1 Score로 27.28, 28.71 만큼 감소하며 우리의 실험에서도 데이터 증강만으로는 시야각 변화 문 제를 해결하기 어렵다는 것을 보였다.

3. 탑뷰기반 차선 인식 네트워크

데이터 증강 기법의 한계를 보완하기 위해, 영상의 투영 기하를 정규화하여 일관된 표현 공간에서 추론하 려는 탑뷰로의 뷰포인트 변환 기반 접근들이 연구되었다. Wen et al.(2020)은 카메라 뷰포인트의 변화에 의한 차선 위치 편향이 모델의 성능저하를 유발한다는 점을 지적하며, Unified Viewpoint Transformation (UVT) 프 로세스를 통해 영상을 탑뷰로 일관되게 변환하고 분할 네트워크로 차선을 추론한다. 하지만 UVT 변환을 위 한 매개변수를 수동적으로 획득한다는 한계가 존재한다. Garnett et al.(2019)와 Li et al.(2022) 방법들은 입력 특징으로부터 카메라 피치와 높이를 예측해 카메라 좌표계에서 탑뷰로의 호모그래피를 생성하고, 카메라 뷰 의 특징맵을 탑뷰의 특징맵으로 변환한 뒤 3D 차선을 예측한다. 예측된 기하 정보를 근거로 특징에 변환을 가한다는 점에서 본 연구와 유사점이 있으나, 블록화 설계를 통해 사전학습된 UFLDv2 차선 인식 네트워크 에 쉽게 통합되며, 재학습이나 복잡한 캘리브레이션 없이 시야각 변화에 대한 강건성을 제공한다는 점에서 차별화된다.

Ⅲ. 본 론

1. 베이스라인 네트워크

<Fig. 2>에서, UFLDv2 네트워크는 원본 이미지 I ϵℝ^{3 ×W ×H} 를 입력받아서 백본을 거쳐 이미지 특징맵 $F \in ℝ^{C \times W_{f} \times H_{f}}$ 을 추출하고 2개의 MLP 기반 브랜치로 이루어진 후처리 로직(post processing)으로 전달된다. 하나 는 차선의 위치 (location)를 예측하는 브랜치이고 다른 하나는 차선의 존재 (existence) 여부를 예측하는 브랜 치이다. 특징맵 F 를 전달받은 존재 브랜치에서는 특정 앵커 위치에 차선이 존재할 확률을 계산하고 그 값이 임곗값을 넘을 경우 위치 브랜치에서 해당 위치의 좌표 정보를 계산하여 최종적으로 차선 좌표 (x_i, y_i) 와 클 래스 c_i 를 출력한다. 하지만 종방향 시야각 변화로 사전에 정의한 앵커 위치에 차선이 존재하지 않을 경우 차선 검출이 이루어지지 않게 되어 시야각 변화에 매우 민감하다. 이와 같은 문제를 해결하기 위해 UFLDv2 네트워크에 오프셋 헤드와 얼라인먼트 블록을 추가하여 시야각 변화에 강건한 차선 인식 방법을 제안한다.

<Fig. 2>

Our proposed lane detection method, which extends UFLDv2 by incorporating offset head and alignment block

2. 제안된 차선 인식 방법

<Fig. 2>는 우리가 제안하는 방법으로 차선을 검출하는 과정을 보여준다. 제안된 방법은 먼저 원본 이미지 I 에서 차선의 기준선 s 를 기준으로 무작위로 d만큼 시프팅하여 타겟 이미지 $\tilde{I}$ 를 생성한다. 이때 타겟 이미 지 $\tilde{I}$ 의 차선 기준선은 $\tilde{s}$ 이며, d = $\tilde{s}$ - s 로 계산되고 오프셋 헤드 학습 시에만 Groud Truth로 사용된다. 백 본을 통과한 타겟 이미지 $\tilde{I}$ 의 특징맵에서 오프셋 헤드는 이미지가 시프팅된 비율 $\hat{d}$ 을 출력하며, 출력된 $\hat{d}$ 만큼 얼라인먼트 블록에서 특징맵을 시프팅한다. 시프팅된 특징맵은 나머지 UFLDv2 연산을 수행하여 최종 차선 좌표를 계산하고, 계산된 좌표는 얼라인먼트 블록에 의해 기준선 s 에 맞춰져 있으므로 오프셋 헤드의 출력 $\hat{d}$ 만큼 좌표를 역 시프팅 (inverse shift)하여 타겟 이미지 $\tilde{I}$ 에 맞는 기준선 $\tilde{s}$ 로 보정한다. 오프셋 헤드 와 얼라인먼트 블록 2개를 기존의 UFLDv2 네트워크에 단순히 추가함으로써 네트워크의 백본과 후처리 모두 사전학습된 가중치를 그대로 사용할 수 있으며, 기존의 가중치를 시야각에 맞게 재학습할 필요가 없다는 장 점을 가지고 있다. 또한 오프셋 헤드 학습 시 무작위로 시프팅한 정도를 Ground Truth (GT)로 사용하는 자기 지도 학습 (self-supervised learning) 방식을 채택하여 추가적인 라벨링 작업도 필요치 않다.

카메라의 시야각을 조정하면 이미지 내에서 차선이 차지하는 비중이 사전학습에 사용된 원본 이미지보다 줄어들고 반대로 차선 검출에 방해가 되는 건물이나 하늘 부분의 비중이 늘어난다. 따라서 시야각 변화에 강 건한 정확한 차선 인식을 하기 위해선 차선 검출을 담당하는 UFLDv2 네트워크의 후처리 로직에 들어가기 전 비중이 높아진 이미지 상단 하늘 부분을 제거하고 줄어든 하단 차선의 비중을 늘려야 한다. 이를 위해 사 전적으로 이미지에서 제거해야 할 상단 부분이 차지하는 비중을 검출할 수 있는 오프셋 헤드를 설계하였다. 오프셋 헤드는 시프팅된 타겟 이미지 $\tilde{I}$ 가 사전학습 때 사용한 원본 이미지 I 보다 얼마나 시야각이 줄어들 었는지를 나타내는 시프트 비율 $\hat{d}$ 을 출력한다.

오프셋 헤드가 판단한 줄어든 시프트 비율 $\hat{d}$ 을 이용해 얼라인먼트 블록에서는 특징맵 F 에서 원본 이미 지 I 의 특징맵 수준만큼 데이터를 상하 시프팅을 통해 조정하고 차선 인식 좌표 추출 연산을 수행한다. 이렇 게 나온 차선 좌표는 시프트 비율 $\hat{d}$ 만큼 원본 이미지 I 에 맞게 보정된 좌표이므로 오프셋 헤드가 예측한 $\hat{d}$ 만큼 다시 보정하여 타겟 이미지 $\tilde{I}$ 에 맞게 좌표를 정렬한다. 얼라인먼트 블록은 오프셋 헤드의 출력 $\hat{d}$ 만 으로 간단한 연산을 통해 타겟 이미지의 특징맵을 단순히 보정만 함으로써 큰 시야각 변화에도 안정적인 차 선 검출을 할 수 있다.

3. 오프셋 헤드

타켓 이미지 $\tilde{I}$ 의 줄어든 시야각을 예측하는 오프셋 헤드의 학습을 위해 먼저 학습 데이터 이미지에서 무작 위로 시야각을 일정 부분 시프팅하고, 시프팅된 이미지가 백본을 통과한 특징맵 F 를 입력으로, 시프팅된 비율 d = $\tilde{s}$ - s 를 GT로 학습을 진행하였다. 오프셋 헤드는 이미지의 높이 방향으로 줄어든 비율을 예측해야 하므 로 여러 크기의 횡방향 Convolution 필터를 통해 이미지의 높이 정보를 추출하고 여러 분기에서 나온 정보들을 다시 횡방향 압축한 뒤 쌓아서 1D Height 벡터를 생성한다. 이후 1D Height 벡터에 Positional Encoding (PE)을 주입하여 헤드가 이미지 상단 하늘 부분과 하단 차선 부분의 절대 높이를 인지할 수 있도록 유도한다. PE와 결합을 마친 1D Height 벡터는 Dilated Depth-wise 모듈을 통해 높이 방향 문맥을 넓힘으로써 멀리 떨어진 영역 간의 상관관계를 강화하고 차선 끝부분 주변의 구조적 단서를 견고하게 통합하여 $\hat{d}$ 회귀의 안정성과 정확도 를 높인다. 마지막으로 분류 헤드를 통과해 Logit 벡터 $z = (z_{0}, z_{1}, \dots, z_{H_{f} - 1}) \in ℝ^{H_{f}}$ 를 생성한다. Logit 벡터 z의 크기는 백본 출력 특징맵 $F \in ℝ^{C \times W_{f} \times H_{f}}$ 의 Height와 같은 크기 H_f를 가지며, temperature τ를 둔 softmax로 Logit 벡터 z의 row 인덱스 h가 차선의 끝에 해당할 확률 p_τ (h)을 얻는다. row 인덱스의 정규화 좌표를 $y_{h} = \frac{h}{H_{f} - 1}$ 로 정의하면 최종 오프셋 헤드의 출력 $\hat{d}$ 는 아래와 같이 softmax(z)의 기댓값으로 계산된다:

\hat{d} = \sum_{h = 0}^{H_{f} - 1} p_{r} (h) y_{h}, p_{τ} (h) = \frac{exp (z_{h} / τ)}{\sum_{j = 0}^{H_{f} - 1} exp (z_{j} / τ)}, z = (z_{0}, z_{1}, \dots, z_{H_{f} - 1}), y_{h} = \frac{h}{H_{f} - 1}, h = 0, 1, 2, \dots H_{f} - 1

(1)

오프셋 헤드는 타겟 이미지 $\tilde{I}$ 의 원본 이미지 I 대비 줄어든 비율 $\hat{d}$ 을 예측하고 시프팅된 정도 d와의 차 이를 줄이기 위한 방향으로 학습이 수행되어야 하므로, 손실 함수는 두 가지를 결합하여 사용하였다. 먼저 주 손실 함수로 헤드가 예측한 시프팅된 비율 $\hat{d}$ ϵ [0, 1] 과 GT d ϵ [0, 1] 사이의 Smooth L1 손실 함수를 정의하였다. Smooth L1 손실 함수를 통해 0과 1 사이로 정규화한 시프팅된 비율의 손실을 효율적으로 수렴 시킬 수 있다:

L_{s m o o t h} = \frac{1}{N} \sum_{i = 1}^{N} \{\begin{array}{l} \frac{1}{2} {({\hat{d}}_{i} - d_{i})}^{2} & if |{\hat{d}}_{i} - d_{i}| \leq 1 \\ |{\hat{d}}_{i} - d_{i}| - \frac{1}{2}, & o t h e r w i s e \end{array}

(2)

Smooth L1 손실 함수로 부족한 $\hat{d}$ 주변의 불확실성을 줄이기 위해 Logit 벡터 z에 보조 손실 함수 KL Divergence 손실 함수를 추가하였다. KL Divergence 손실 함수는 예측된 분포가 시프트가 반영된 목표 분포 에 정렬되도록 유도하여, 특징 맵상에서의 분포 이동을 정확히 모사하는 역할을 수행한다:

L_{K L} = \frac{1}{N} \sum_{i = 1}^{N} \sum_{h = 0}^{H_{f} - 1} q_{d_{i}} (h) [log q_{d_{i}} (h) - log p_{i} (h)], q_{d_{i}} (h) = \frac{\bar{q_{d_{i}}} (h)}{\sum_{j = 0}^{H_{f} - 1} \bar{q_{d_{i}}} (j)}, \bar{q_{d_{i}}} (h) = exp(- \frac{{(y_{h} - d_{i})}^{2}}{2 σ^{2}}).

(3)

위 두가지 손실 함수를 결합하여, 최종 오프셋 헤드의 손실 함수는 아래와 같다:

L_{r e g} = α \cdot L_{s m o o t h} + β \cdot L_{K L} .

(4)

이렇게 정의된 손실함수는 두 가지 목적을 달성하도록 설계되었다. 첫째, KL Divergence 손실 함수를 통해 헤드가 특징 맵상에서 분포의 시프팅된 변화를 감지하는 능력을 학습한다. 둘째, 검출된 시프트 비율을 기준 으로 Smooth L1 손실 함수를 적용하여 시프트 거리를 예측함으로써, 타겟 이미지 $\tilde{I}$ 의 시야각 변화 정도를 정량적으로 예측할 수 있게 한다. 이러한 구조는 얼라인먼트 블록에서 원본 분포로의 시프팅을 수행할 수 있 게 하며, 결과적으로 시야각 변화에 강건한 차선 인식 방법을 확보할 수 있도록 한다.

4. 얼라인먼트 블록

얼라인먼트 블록은 오프셋 헤드에서 타겟 이미지 $\tilde{I}$ 가 사전학습에 사용된 원본 이미지 I 대비 시야각이 얼 마나 아래로 떨어졌는지를 예측한 $\hat{d}$ 을 입력 받아서 $\tilde{I}$ 의 특징맵을 시프팅한다. 이때 너무 커진 하늘 비중, 즉 이미지 상단을 줄여야 하므로 예측한 $\hat{d}$ 만큼 하늘 부분을 잘라내고 남은 차선 부분을 원본 크기로 늘려 차선 비중을 보정한다. 보정된 특징맵은 이후 기존 UFLDv2 네트워크의 후처리 연산을 수행하여 기존의 차선 검출 프로세스가 수행된다. 이렇게 함으로써 여러 시야각의 이미지들을 사전학습에 사용된 원본 이미지의 시야각 과 일치시킬 수 있어 UFLDv2 네트워크의 후처리 로직이 정상적인 차선 검출 성능을 발휘할 수 있도록 한다.

후처리 로직에서 계산된 차선 좌표는 얼라인먼트 블록에 의해 차선 기준선이 원본 이미지 s 만큼 보정된 상태이므로, 타겟 이미지 $\tilde{I}$ 의 차선 기준선 $\tilde{s}$ 에 맞게 오프셋 헤드의 시야각 변화 예측 $\hat{d}$ 만큼 다시 차선 좌표 를 원상태로 복구하기 위한 역 시프팅을 수행하여 재조정한다. 재조정 과정을 거친 차선 좌표는 타겟 이미지 의 차선 기준선 $\tilde{s}$ 에 맞게 변환됨으로써 차선 인식 프로세스가 일관된 좌표계에서 수행될 수 있도록 한다. 제 안된 방법은 오프셋 헤드에서 시야각 변화량을 예측하고 얼라인먼트 블록에서 원본 분포로 시프팅된 후 기존 연산을 거쳐 나온 차선에 역 시프팅을 수행하여, 다양한 시야각에서도 강건한 차선 검출 성능을 보였다.

Ⅳ. 실 험

1. 테스트 데이터셋 생성

<Fig. 3>은 제안된 시야각 변화에 강건한 차선 인식 방법의 성능을 검증하기 위해, CULane 벤치마크의 테 스트셋을 기반으로 시야각 변화를 체계적으로 반영해 구축한 확장 테스트셋의 예시이다. 우리는 차선 비중 을 “원본 이미지 높이 중 하단의 유효 차선 영역의 비율”로 정의하고, 하단 60%가 유효 차선 영역인 원본을 베이스라인으로 설정하였다. 이후 베이스라인을 기준으로 하여, 이미지의 하단 유효 차선 영역을 5% 간격으 로 단계적으로 수직 시프트하여 베이스라인 (60%), 55%, 50%, 45%, 40%, 35%, 30%, 25%, 20%의 총 9개 비 율을 구성하였다. 각 비율 r%에 대해, 원본 이미지 높이 H 의 하단 H × r/100 구간만을 유효 차선 영역으 로 남기고, 그만큼 상단 영역을 확장하여 원본 해상도 W ×H 는 유지하여 종방향 시야각 변화에 따른 차선 영역 비율만 변하도록 처리하였다.

<Fig. 3>

Examples of our expanded testset reflecting viewpoint diversity for CULane benchmark. Top-Left : r = 60%(Baseline), Top-Right : r = 40%, Bottom-Left : r = 30%, Bottom-Right : r = 20%

평가의 공정성을 위해 CULane 테스트셋의 전체 이미지 34,680장을 각 비율마다 동일한 이미지 목록으로 변환하여 사용하였다. <Fig. 3>은 그 예시로, 좌측 상단 60%의 베이스라인 이미지와 각각 40%, 30%, 20%로 하단 유효 차선 영역이 감소함에 따라 영상 내 차선이 차지하는 비중이 줄어드는 모습을 확인할 수 있다. 이 러한 구성은 이미지의 크기와 장면 구성은 유지한 채 종방향 시야각만 체계적으로 변화시켜 제안된 방법의 시야각 변화 강건성을 정량적으로 평가할 수 있다.

2. 차선 인식 방법 검증

데이터를 수집하는 과정에서 차량의 흔들림과 같은 요인으로, CULane 테스트 이미지의 차선 비중이 약간 의 차이를 보인다. 따라서 오프셋 헤드를 학습할 때 원본 이미지 I 의 차선 기준선 s 를 베이스라인인 하단으 로부터 60% 기준점으로 고정하여 학습한 정적 높이 원점 (Fixed-Origin) 실험과 원본 이미지 I 의 차선 기준선 s 를 각 이미지의 GT의 차선 끝점 (가장 높은 차선)을 기준점으로 하여 달라진 차선 비중을 각각 적용해 학 습한 동적 높이 원점 (Adaptive-Origin) 실험으로 나누어 평가를 수행하였다. 두 가지 경우에서 20~60%의 확 장 테스트셋에서 성능을 검증하였고, 오프셋 헤드 손실함수의 하이퍼 파라미터는 주손실과 보조손실의 비율 을 α = 1.0, β = 0.5로 학습을 진행하였다.

1) 정량적 평가

<Fig. 4>의 Original 실험은 확장 테스트셋에서 헤드와 블록이 추가되지 않은 원본 UFLDv2 네트워크의 결 과이다. 사전학습에 사용된 원본 CULane 데이터셋과 유사한 시야각의 파트 1 (55%, 50%, 45%)에서는 각각 76.88, 77.30, 76.65 F1 Score로 Baseline 75.98 대비 비슷한 성능을 내고 있으나 파트 2 (40%, 35%, 30%)에서 각각 62.06, 36.81, 25.19 F1 Score로 성능이 급격히 하락한다. 파트 3 (25%, 20%)에서는 9.31, 0.03 F1 Score로 차선 검출이 전혀 이루어지지 않는 것을 알 수 있다.

<Fig. 4>

Comparison of performance between the baseline UFLDv2 network, the “Fixed-Origin” and “Adaptive-Origin” experiments

<Fig. 4>의 Fixed-Origin 실험은 오프셋 헤드 학습 시 헤드의 출력 $\hat{d}$ 의 기준점을 차선 비중 높이를 기준으 로 학습한 결과를 보여준다. 오프셋 헤드 및 얼라인먼트 블록이 붙은 제안된 방법은 파트 1에서 각각 76.57, 77.32, 77.91 F1 Score로 Original을 상회하는 성능을 보였고, 파트 2의 40%, 35%에서도 각각 78.04, 75.64 F1 Score로 Original의 성능 62.06, 36.81 F1 Score를 15.98, 38.83 만큼 상당한 성능 향상을 보였으며 실질적 운용 수준의 인식 성능을 확보하였다. 특히 유효 시야가 절반으로 줄어든 30%에서 Original의 25.19 F1 Score 대비 69.57로 약 2.8배 이상의 성능을 보였다. 시야각 변화가 큰 파트 3에서도 각각 54.33, 31.17 F1 Score로 Original의 9.31, 0.03 F1 Score의 무 검출 상태를 해소하였다. 이는 원본 네트워크의 불검출 영역을 검출 가능 영역으로 전환했다는 점에서 개선의 방향성을 분명히 하였으며 극저시야 구간에서 유의미한 검출 가능성을 확인하였다.

<Fig. 4>의 Adaptive-Origin 실험은 이미지마다 조금씩 다른 차선 비중을 각각 적용해 학습한 결과를 나타 낸다. Fixed-Origin 실험과 유사하게, 파트 1에서 각각 76.15, 76.92, 77.39 F1 Score로 Original 실험과 유사한 성능을 보였고, 급격한 하락을 보였던 파트 2에서는 각각 77.17, 73.75, 68.03 F1 Score로 실효성을 입증하였 고 유효 시야가 절반으로 줄어든 30%에서는 Original의 25.19 F1 Score 대비 약 2.7배 이상의 성능 향상을 보 여 시야각 변화의 강건성을 입증하였다. 파트 3에서도 각각 56.32, 32.37 F1 Score로 0에 수렴했던 Original과 대조적으로 유의미한 수준의 탐지가 관측되어 차선 검출이 가시화되는 모습을 보였다.

Fixed-Origin 실험과 Adaptive-Origin 실험의 파트 2와 3에서 미세하게 성능 우위가 반전되는 결과가 관찰되 었는데, Fixed-Origin은 기준을 이미지의 하단으로부터 60%로 고정함으로써 기존 모델의 row/column 앵커 및 PE 좌표계와 일치하여 중간 수준의 시야 변화인 파트 2에서 보다 안정적인 검출을 하고, Adaptive-Origin은 기준을 개별 이미지의 차선 높이로 설정하여 차선 비중을 일관되게 시프팅 함으로써 극단적 시야 변화인 파 트 3에서 더 정확한 검출을 한 것으로 보인다. 결론적으로 두 실험 모두에서 Original 대비 큰 폭의 성능 향 상을 보였다.

2) 정성적 평가

우리는 실제 국내 주행 환경에서 제안된 방법의 자율 주행 차량 탑재 가능성을 정성적으로 평가하기 위해 자체적으로 취득한 국내 도로 환경에서의 실험을 진행하였다. 데이터는 경기도 안양 시내에서 촬영된 도로 환경으로, 실제 차량의 블랙박스 위치에 카메라를 탑재하여 데이터를 수집하였으며, 왕복 8차선 이상의 간선 도로와 2차선 미만의 국지도로 등 여러 도로 환경을 반영하여 제작하였다. <Fig .5>에서, (a)는 헤드와 블록 이 추가되지 않은 원본 UFLDv2 네트워크 결과의 시각화이고 (b)는 제안된 방법의 시각화 사진이다. 원본 네 트워크는 검출하지 못하는 인접 차선 정보도 제안된 방법에선 잘 검출하고 있으며 차량이나 버스에 가려진 차선도 잘 추론됨을 확인하였다.

<Fig 5>

Qualitative visualization of the proposed method on Korean road environments. (a) Baseline UFLDv2 network. (b) Ours.

3) 소거 실험

<Fig. 6>의 (a)와 (b)는 얼라인먼트 블록을 어디에 넣어 시프팅을 수행하느냐에 따른 성능 차이를 비교한 실험이다. (b)는 UFLDv2 네트워크의 백본을 도식화한 그림으로, 입력 이미지 x와 conv stem 출력 x0, 그리고 4개 레이어의 각 출력 x1~x4로 이루어져 있다. (a)의 가로축은 (b)에서 표기한 대로 x부터 x4에 얼라인먼트 블록을 넣어 해당 출력을 시프팅하였을 때의 성능을 확인할 수 있다. 레이어를 거치며 특징맵 높이의 차원이 줄기 때문에, 결과적으로 해상도가 높은 입력 이미지 x 쪽에서 시프팅 할수록 성능이 향상되는 모습을 보인 다. 이는 더 깊은 레이어의 출력일수록 다운샘플링으로 인한 공간 정보의 손실로 인한 결과로 보인다. <Fig. 4>의 모든 실험은 시프팅 타켓 레이어를 입력 이미지 x로 설정하여 수행하였다.

<Fig. 6>

(a) Comparison across shift targets. (b) Definition of the shift targets. (c) Offset head performance (x-axis is mean loss [px]). (d) Performance comparison on our expanded testset comparing the baseline to the model evaluated with the offset head loss.

4) 오프셋 헤드 성능 평가

<Fig. 6>의 (c)는 오프셋 헤드의 예측 정확도를 자체 제작한 확장 테스트셋에서 평가한 결과이다. 학습과 동일한 과정으로, 이미지를 무작위로 시프팅한 뒤 실제 변화량을 GT로 하여 예측 오차 분포를 Lane Occupancy 별로 도식화하였다. 전체 평균 오차는 6.84픽셀이며, 최대 오차도 15픽셀 이내로 제한되었다. 이는 CULane 데이터셋의 이미지 높이 590픽셀의 약 2.5 % 수준으로, 오프셋 헤드가 시야각 변화량을 정밀하게 추 정함을 보였다. 이 오차가 최종 차선 인식 성능에 미치는 실질적인 영향을 확인하기 위해, (d)에서 오프셋 추 정 오차를 반영한 실험과 원본의 실험 결과를 비교하였다. 전 구간에서 두 곡선의 차이가 최대 약 3 F1 Score 이내로, 15픽셀 수준의 시프팅 오차가 성능 저하에 실질적인 영향을 주지 않음을 확인하였다. 즉, 오프 셋 헤드는 목적에 맞게 잘 설계되어 예측 정확도와 실용성을 동시에 확보하였으며, 제안된 방법이 시야각 변 화에 대해 높은 강건성을 가진다는 점을 실험을 통해 입증하였다.

Ⅴ. 결 론

본 연구는 카메라 시야각 변화에 강건한 차선 인식 방법을 제안하였다. 제안된 방법은 줄어든 시야각 변 화량을 예측하는 오프셋 헤드와 변화량만큼 특징맵을 시프팅하는 얼라인먼트 블록으로 이루어져 있어 기존 가중치를 유지한 채 소수의 헤드와 블록만 추가하여 재학습 부담 없이 다양한 시야각에서 기존 네트워크의 성능을 상회하는 일반화 성능을 보였고, 정량⋅정성적 평가와 여러 추가 실험 등을 통해 실제 자율 주행 차 량에 탑재할 가능성을 제시하였다. 하지만 제안된 방법은 20~25%의 극저시야 구간에서 성능은 여전히 충분 치 않으며, UFLDv2 네트워크 외 다른 차선 인식 네트워크로의 일반화 가능성은 추가 검증이 필요하다. 따라 서 향후 연구에서는 본 연구를 확장하여, 오프셋 헤드과 얼라인먼트 블록을 완전화 모듈 단위로 표준화 및 경량화하여 다양한 차선 인식 네트워크에 더욱 손쉽게 장착할 수 있는 범용 플러그-앤-플레이 구조로 확장하 고 극저시야 구간에서의 정확도 향상과 실제 자율주행 차량 적용에 대한 체계적 검증을 진행할 예정이다. 제 안된 방법의 시각화는 https://youtu.be/wd-f_iY1SmQ 에서 확인할 수 있다.

ACKNOWLEDGEMENTS

이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단 (No.RS-2024-00342176, RS-2025-02217000) 과 2023년도 인하대학교의 지원에 의하여 연구되었음.

Figure

<Fig. 1>.

<Fig. 2>.

Our proposed lane detection method, which extends UFLDv2 by incorporating offset head and alignment block

<Fig. 3>.

Examples of our expanded testset reflecting viewpoint diversity for CULane benchmark. Top-Left : r = 60%(Baseline), Top-Right : r = 40%, Bottom-Left : r = 30%, Bottom-Right : r = 20%

<Fig. 4>.

Comparison of performance between the baseline UFLDv2 network, the “Fixed-Origin” and “Adaptive-Origin” experiments

<Fig 5>.

Qualitative visualization of the proposed method on Korean road environments. (a) Baseline UFLDv2 network. (b) Ours.

<Fig. 6>.

Table

Reference

DeVries, T. and Taylor, G. W. ( 2017), “Improved regularization of convolutional neural networks with cutout”, arXiv preprint arXiv:1708.04552.
Dickmanns, E. D. and Mysliwetz, B. D. ( 1992), “Recursive 3-d road and relative ego-state recognition”, IEEE Transactions on Pattern Analysis & Machine Intelligence, vol. 14, pp.199-213.
Garnett, N., Cohen, R., Pe'er, T., Lahav, R. and Levi, D. ( 2019), “3d-lanenet: End-to-end 3d multiple lane detection”, In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp.2921-2930.
Honda, H. and Uchida, Y. ( 2024), “Clrernet: Improving confidence of lane detection with laneiou”, In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp.1176-1185.
Hou, Y., Ma, Z., Liu, C. and Loy, C. C. ( 2019), “Learning lightweight lane detection cnns by self attention distillation”, In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp.1013-1021.
Lee, J. W. ( 2002), “A machine vision system for lane-departure detection”, Computer Vision and Image Understanding, vol. 86, pp.52-78.
Lee, S., Kim, J., Shin Yoon, J., Shin, S., Bailo, O., Kim, N., Lee, T. H., Seok Hong, H., Han, S. H. and So Kweon, I. ( 2017), “Vpgnet: Vanishing point guided network for lane and road marking detection and recognition”, In Proceedings of the IEEE International Conference on Computer Vision, pp.1947-1955.
Li, C., Shi, J., Wang, Y. and Cheng, G. ( 2022), “Reconstruct from top view: A 3d lane detection approach based on geometry structure prior”, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp.4370-4379.
Liu, B., Li, P., Xu, Y., Cao, L., Hong, L., Sheng, J. and Ling, Q. ( 2022), “Random Structural Data Augmentation for Lane Detection”, 2022 International Conference on Advanced Robotics and Mechatronics, pp.279-283.
Liu, L., Chen, X., Zhu, S. and Tan, P. ( 2021), “Condlanenet: A top-to-down lane detection framework based on conditional convolution”, In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp.3773-3782.
Neven, D., De Brabandere, B., Georgoulis, S., Proesmans, M. and Van Gool, L. ( 2018), “Towards end-to-end lane detection: An instance segmentation approach”, In 2018 IEEE Intelligent Vehicles Symposium, pp.286-291.
Pan, X., Shi, J., Luo, P., Wang, X. and Tang, X. ( 2018), “Spatial as deep: Spatial cnn for traffic scene understanding”, In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 32, no. 1, pp.7276-7283.
Qin, Z., Wang, H. and Li, X. ( 2020), “Ultra fast structure-aware deep lane detection”, In European Conference on Computer Vision, pp.276-291.
Qin, Z., Zhang, P. and Li, X. ( 2022), “Ultra fast deep lane detection with hybrid anchor driven ordinal classification”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 5, pp.2555-2568.
Wen, T., Yang, D., Jiang, K., Yu, C., Lin, J., Wijaya, B. and Jiao, X. ( 2020), “Bridging the gap of lane detection performance between different datasets: Unified viewpoint transformation”, IEEE Transactions on Intelligent Transportation Systems, vol. 22, no. 10, pp.6198-6207.
Xiao, L., Li, X., Yang, S. and Yang, W. ( 2023), “Adnet: Lane shape prediction via anchor decomposition”, In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp.6404-6413.
Yousri, R., Moussa, K., Elattar, M. A., Madian, A. H. and Darweesh, M. S. ( 2024), “A novel data augmentation approach for ego-lane detection enhancement”, Evolving Systems, vol. 15, pp.1021-1032.
Yu, B. and Jain, A. K. ( 1997), “Lane boundary detection using a multiresolution hough transform”, In Proceedings of International Conference on Image Processing, vol. 2, pp.748-751.
Zheng, T., Huang, Y., Liu, Y., Tang, W., Yang, Z., Cai, D. and He, X. ( 2022), “Clrnet: Cross layer refinement network for lane detection”, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp.898-907.

Robust Lane Detection Method against Viewpoint Variations

Abstract

카메라 시야각 변화에 강건한 차선 인식 방법

초록

Ⅰ. 서 론