Journal Search Engine

Volume/Issue :

Year(s) : to

Search :

Title :

Author :

Keyword :

Abstract :

Figure :

Table :

Reference :

Search Advanced Search

Adode Reader(link)

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer

The Journal of The Korea Institute of Intelligent Transport Systems Vol.25 No.4 pp.204-220
DOI : https://doi.org/10.12815/kits.2026.25.4.204

A Task-aware ZeroDCE-CLRNet Framework for Lane Detection Performance Enhancement in Low-light Environments

Dae-Yong Kim^*

, Seung-Hyun Kong^**†

^*College of AI, Korea Advanced Institute of Science and Technology
^**Cho Chun Shik Graduate School of Mobility, Korea Advanced Institute of Science and Technology

^† Corresponding author : Seung-Hyun Kong, skong@kaist.ac.kr

Received 6 July 2026 │ Revised 16 July 2026 │ Accepted 18 August 2026

Abstract

Lane detection is a key perception task for autonomous driving because it provides information on the road_structure, but low-light environments reduce lane-marking contrast and increase noise and reflections, degrading detection reliability. Existing low-light enhancement methods mainly improve visual quality, so enhanced images do not necessarily provide suitable inputs for lane detection. This paper proposes a task-aware ZeroDCE-CLRNet framework for low-light lane detection. The proposed framework connects the image enhancement module and the lane detector module within a single differentiable computation graph, allowing the detection loss to be backpropagated to the enhancement module for lane-detection-oriented learning. In addition, a lane-aware constraint is designed as an auxiliary loss term to stabilize task-aware learning. Experiments on CULane-based low-light inputs showed that the proposed framework improves the F1@50 from 0.7151 to 0.7713, corresponding to 68.4% of the degradation gap.

Key Words : Lane Detection , Low-Light Image Enhancement , Autonomous Driving , Deep Learning

저조도 환경의 차선 검출 성능 향상을 위한 Task-aware ZeroDCE-CLRNet 프레임워크

김대용^*

, 공승현^**†

^*한국과학기술원 AI대학 학생연구원
^**한국과학기술원 조천식모빌리티대학원 교수

초록

차선 검출은 자율주행에 필요한 도로 구조 정보를 제공하는 핵심 인지 기술이다. 그러나 저조도 환경에서는 차선 마킹의 대비가 감소하고 노이즈 및 반사광이 증가하여 검출 안정성이 저하된다. 기존 저조도 영상 보정 기법은 주로 시각적 품질 개선에 초점을 맞추기 때문에 보정된 영상이 차선 검출에 유리한 입력이 된다고 보장할 수 없다. 본 논문에서는 이러한 한계를 해결하기 위해 저조도 차선 검출을 위한 task-aware ZeroDCE-CLRNet 프레임워크를 제안한다. 제안 프레임워크는 영상 향상 모듈과 차선 검출 모듈을 하나의 미분 가능한 계산 그래프로 연결함으로써, 검출 손실이 영상 향상 모듈까지 역전파되어 차선 검출에 유리한 방향으로 학습되도록 한다. 또한 task-aware 학습을 안정화하기 위해 손실항으로 lane-aware constraint를 설계하였다. CULane 기반 저조도 입력 실험에서 제안 프레임워크는 F1@50을 0.7151에서 0.7713으로 향상시켜 성능 저하분의 68.4%에 해당하는 개선을 달성하였다.

키워드 : 차선 검출 , 저조도 영상 향상 , 자율주행 , 딥러닝

This article has been cited by 0 article in crossref

Cited-By

Funding:

Ministry of Trade, Industry and Resource
RS-2025-25451359

Ⅰ. 서 론

1. 개요

차선 검출은 차로 유지 보조, 차로 변경 보조 및 자율주행 경로 계획 등에 필요한 도로 구조 정보를 제공하는 핵심 인지 기술이다. 딥러닝 기반 차선 검출 모델의 발전으로 복잡한 도로 환경에서 높은 검출 성능이 달성되고 있지만, 저조도 환경에서는 차선 마킹과 도로 배경 사이의 대비가 감소하고 카메라 노이즈와 반사광이 증가하여 검출 안정성이 저하된다. 이러한 변화는 희미한 차선을 검출하지 못하는 미검출뿐 아니라, 빛 번짐이나 노면 반사를 차선으로 잘못 인식하는 오검출을 유발할 수 있다. 본 연구는 저조도 입력으로 인해 발생하는 카메라 기반 차선 검출기의 성능 저하 문제에 초점을 둔다.

저조도 차선 검출 성능을 개선하는 직관적인 방법은 차선 검출기 앞에 영상 보정 모듈을 배치하는 것이다. 그러나 단순히 영상의 밝기를 높이는 보정은 비차선 영역의 노이즈와 반사광까지 증폭하여 오검출을 증가시킬 수 있다. 특히 일반적인 저조도 영상 보정 기법은 사람의 시각에 적합한 영상 품질 향상을 목표로 하므로, 보정된 영상이 반드시 차선 검출에 유리한 입력이 된다고 보장할 수 없다. 따라서 저조도 영상 보정 모듈은 단순히 시각적으로 밝은 영상을 생성하는 것이 아니라, 차선 검출에 필요한 시각적 단서를 보존하고 검출기가 신뢰할 수 있는 입력을 생성하도록 학습될 필요가 있다.

본 연구에서는 이러한 문제를 해결하기 위해 ZeroDCE와 CLRNet을 하나의 미분 가능한 계산 그래프로 연결한 Task-aware ZeroDCE-CLRNet 프레임워크를 제안한다. 제안 방법은 CLRNet에서 계산된 차선 검출 손실을 ZeroDCE까지 역전파하여 영상 보정 모듈이 차선 검출 성능에 유리한 방향으로 학습되도록 한다. 또한 Stage 1에서는 사전학습된 CLRNet의 가중치를 고정하고 ZeroDCE를 학습하며, Stage 2에서는 ZeroDCE와 CLRNet 전체를 공동 미세조정(joint fine-tuning)하는 2 Stage 학습 전략을 사용한다. 이를 통해 ZeroDCE를 독립적인 영상 전처리기가 아니라 차선 검출 목적에 맞게 최적화되는 task-aware enhancement 모듈로 활용한다.

Ⅱ. 관련 연구

1. 차선 검출

자율주행 시스템의 안정적인 운용을 위해 공개형 자율주행 소프트웨어 플랫폼, 학습 기반 주행 정책, 위성항법 신호의 신속한 획득과 약신호 검출 및 도시 환경에서의 위치 결정과 도로 횡단 인식 등 다양한 연구가 수행되어 왔다(Jung et al., 2025;Kim and Kong, 2014;Kong et al., 2021;Kong, 2015;Cho et al., 2019). 이러한 기술은 자율주행 시스템의 구성과 차량의 위치 및 이동 상태를 파악하는 데 기여하지만, 개별 기술만으로는 주행 중 실시간으로 변화하는 차선 상태, 주변 차량, 조명 및 기상 조건과 같은 국부적인 도로 환경을 충분히 인식하기 어렵다. 특히 위치 기반 정보는 도심 환경의 신호 차단과 반사로 인한 위치 오차의 영향을 받을 수 있으므로, 실제 도로 상황을 영상에서 직접 파악하는 카메라 기반 환경 인식 기술이 함께 요구된다.

딥러닝 기반 차선 검출 연구는 화소 단위 분할, 행 단위 분류, 앵커 기반 검출 및 다계층 특징 정제 방식으로 발전해 왔다. SCNN은 공간 방향으로 특징을 전달하여 차선과 같이 길고 연속적인 구조를 학습하는 화소 단위 분할 방식을 제안하였으며, 해당 연구에서 일반 도로, 혼잡 구간, 그림자, 곡선 및 야간 등 다양한 주행 조건을 포함하는 CULane 데이터셋이 함께 구축되었다(Pan et al., 2018). 이후 실시간 주행 환경을 고려하여 행 단위 분류 방식과 주의집중 유도 앵커(attention-guided anchor) 방식이 제안되었다(Qin et al., 2020;Tabelini et al., 2021). 이러한 방법들은 차선 검출의 정확도와 처리 속도를 함께 개선하는 데 초점을 두었다. CLRNet은 교차 계층 정제(cross-layer refinement)를 통해 여러 계층의 특징을 반복적으로 결합하고, ResNet 기반 백본, 특징 피라미드 네트워크 기반 넥 및 차선 검출 헤드를 이용하여 차선의 존재 여부와 좌표를 예측한다(Zheng et al., 2022).

차선이 부분적으로 가려지거나 기상 조건이 열악한 환경에서 검출의 강건성을 높이기 위한 연구도 수행되어 왔다. 선행 차량과 점선 구간으로 인해 차선 정보가 제한적으로 관측되는 문제에 대해서는 이중 보정을 이용하여 차선 정보를 보완하는 방법이 제안되었으며(Kim et al., 2021), 우천 환경에서 빗방울, 젖은 노면 및 반사광으로 인해 차선 경계가 흐려지거나 가려지는 문제에 대해서는 사전 지식을 활용한 다차선 검출 방법이 연구되었다(Kim et al., 2025). 또한 실시간 차선 검출과 다중 카메라 및 레이저 스캐너를 이용한 도로 인식 연구가 수행되는 등, 국내에서도 도로 경계와 차선 인식의 강건성을 높이기 위한 연구가 지속되어 왔다(Han et al., 2011;Byun et al., 2011).

그러나 기존 차선 검출 연구들은 일반적인 주행 환경뿐 아니라 부분 가림과 악천후 조건에서 검출 성능을 개선하였지만, 저조도 환경에서 발생하는 차선 마킹의 대비 감소와 영상 노이즈 및 반사광의 증폭을 직접적으로 해결하는 데에는 한계가 있다. 저조도 환경에서는 희미해진 차선 마킹이 검출되지 않을 수 있으며, 헤드라이트와 노면 반사가 차선과 유사한 밝은 선형 구조를 형성하여 오검출을 유발할 수 있다. 따라서 저조도 환경의 차선 검출 성능을 향상하기 위해서는 차선 검출기의 구조를 개선하는 것뿐 아니라, 입력 영상에서 차선 검출에 필요한 시각적 단서를 보존하고 불필요한 밝기 변화를 억제하는 방법이 함께 고려되어야 한다.

본 연구에서는 CULane을 기반으로 저조도 입력에 따른 차선 검출 성능 저하를 분석하고, 영상 보정 모듈과 차선 검출기를 하나의 학습 구조에서 최적화함으로써 저조도 환경의 차선 검출 성능을 회복하는 문제를 다룬다.

2. 저조도 영상 보정

저조도 영상 보정은 부족한 조명으로 인해 감소한 영상의 밝기와 대비를 개선하고, 색상 왜곡과 영상 노이즈를 완화하는 것을 목적으로 한다. 일부 지도학습 기반 방법은 저조도 영상과 정상 조도 영상으로 구성된 대응 쌍 데이터(paired data)를 요구하지만, 실제 환경에서는 동일한 장면의 저조도 영상과 정상 조도 영상을 확보하기 어렵다는 한계가 있다. 이러한 데이터 구축의 어려움을 줄이기 위해 대응 쌍 데이터에 대한 의존성을 낮춘 비지도 및 무참조 학습 방식이 연구되었다.

ZeroDCE는 별도의 정답 정상 조도 영상 없이 zero-reference loss를 이용하여 저조도 영상을 보정하는 방법이다(Guo et al., 2020). ZeroDCE는 입력 영상에서 화소별 곡선 매개변수를 추정하고 이를 반복적으로 적용하여 영상의 밝기와 대비를 조절한다. 또한 대응 쌍 데이터가 제한된 환경에서 적대적 학습을 활용한 비지도 저조도 영상 보정 방법도 제안되어, 비지도 또는 무참조 학습을 통한 저조도 영상 보정의 가능성을 보여주었다(Jiang et al., 2021).

그러나 이러한 방법들은 주로 사람의 시각에 적합한 밝기, 색상 및 대비를 확보하는 것을 목표로 하므로, 보정된 영상이 차선 검출과 같은 후속 인지 작업에 항상 유리한 입력이 된다고 보장할 수 없다. 특히 영상 전체를 과도하게 밝게 보정하면 차선 영역뿐 아니라 헤드라이트, 노면 반사 및 배경 노이즈도 함께 증폭될 수 있다. 이는 차선 마킹의 시각적 단서를 약화하거나 차선과 유사한 구조를 생성하여 검출기의 오검출을 증가시킬 수 있다. 따라서 저조도 차선 검출을 위해서는 시각적 품질만을 기준으로 영상 보정 모듈을 학습하는 것이 아니라, 차선 검출 성능을 직접 고려하여 보정 방향을 결정할 필요가 있다.

3. Perception task를 위한 task-aware enhancement

저조도 및 악천후 환경에서는 영상의 시각적 품질뿐 아니라 후속 인지 작업의 성능을 함께 고려하는 task-aware enhancement 연구가 진행되어 왔다. 저조도 차선 검출 분야에서는 스타일 변환을 이용하여 학습 데이터의 조명 조건을 확장하거나, 저조도 영상 보정 모듈과 차선 검출기를 결합하는 방법이 제안되었다(Liu et al., 2020;Ke et al., 2023). 이러한 연구들은 저조도 영상 보정이 차선 검출 성능을 개선할 가능성을 보여주었지만, 영상 보정 과정이 차선 검출 손실에 의해 직접 최적화되지 않는 경우에는 검출에 필요한 특징이 충분히 보존되지 않을 수 있다.

객체 검출 분야에서도 IA-YOLO, FeatEnHancer 및 detection-oriented image restoration과 같이 검출기의 손실이나 특징 표현을 이용하여 영상 보정 또는 복원 모듈을 학습하는 방법이 제안되었다(Liu et al., 2022;Hashmi et al., 2023;Sun et al., 2022). 또한 악천후 자율주행 환경에서는 영상 보정 모듈을 차선 검출, 객체 검출 및 깊이 추정과 같은 후속 인지 작업과 연결하는 작업 중심 학습 전략이 연구되었다(Lee et al., 2021). 또한 task-aware 관련 연구에서는 검출과 추적 등 기계 시각 작업에 맞게 인코더의 출력을 조정함으로써, 전단 모듈에서 생성되는 표현을 후속 작업의 목적함수에 맞게 최적화할 수 있음을 보여주었다(Ge et al., 2024).

본 연구는 이러한 task-aware 학습의 개념을 저조도 차선 검출에 적용하여 ZeroDCE와 CLRNet을 하나의 미분 가능한 계산 그래프로 연결한다. 기존 ZeroDCE를 독립적인 영상 전처리기로 사용하는 방식과 달리, CLRNet에서 계산된 차선 검출 손실을 ZeroDCE까지 역전파하여 차선 검출에 유리한 보정 영상을 생성하도록 학습한다. 또한 사전학습된 검출기를 고정하여 보정 모듈을 먼저 학습한 후, 보정 모듈과 검출기 전체를 공동 미세조정하는 2단계 학습 전략을 적용한다.

Ⅲ. 제안 방법

1. 문제 정의와 입력 구성

본 연구의 목표는 저조도 입력 $I_{low}$ 가 주어졌을 때 차선 검출기 D의 성능을 회복하는 보정 함수 E를 학습하는 것이다. 실험에서는 저조도 데이터를 별도로 수집하지 않고, clean CULane 이미지 I에 AGLL-style degradation을 적용하여 합성 저조도 입력 $I_{low}$ 를 생성한다.

I_{low} = {I \cdot α}^{γ} + n, α \in [0.4, 0.8], γ \in [1.5, 3.0], n \sim N (0, {0.01}^{2})

(1)

식(1)에서 $α$ 는 광량 감소를 나타내며, $γ$ 는 감마 변환을 통해 비선형적인 어두워짐을 모사한다. n은 가우시안 노이즈로 카메라 노이즈를 근사한다. 실험 과정은 clean 입력에 대한 pretrained CLRNet 평가(A), 동일 test split에 AGLL-style degradation을 적용한 저조도 입력에 대한 pretrained CLRNet 평가(B), 그리고 저조도 입력에 대한 제안 프레임워크 평가(C)로 구성된다.

2. ZeroDCE-CLRNet 구조

제안 프레임워크는 ZeroDCE 보정 모듈 E와 CLRNet 차선 검출기 D로 구성된다. 식(2)와 같이 입력 $I_{low}$ 는 ZeroDCE를 통과하여 보정 영상 $I_{enh}$ 로 변환되고, $I_{enh}$ 는 CLRNet의 backbone, neck, head를 거쳐 차선 예측으로 변환된다.

I_{enh} = E (I_{low}), \hat{Y_{lane}} = D (I_{enh})

(2)

이 구조가 단순 후처리 또는 전처리와 다른 점은 손실 함수의 방향에 있다. 보정 영상을 미리 저장한 뒤 검출기에 입력하는 방식이 아니라, ZeroDCE와 CLRNet이 학습 그래프 안에서 직접 연결된다. 따라서 차선 검출 손실은 CLRNet에서 계산된 뒤 $I_{enh}$ 를 거쳐 ZeroDCE까지 역전파된다. 이는 보정 모듈과 검출기가 하나의 미분 가능한 계산 그래프로 연결되어 있음을 의미한다.

3. Task-aware 손실 함수

본 연구의 전체 학습 목적 함수는 식(3)과 같이 CLRNet의 차선 검출 손실 $L_{lane}$ , ZeroDCE의 zero-reference photometric 손실(loss) $L_{photo}$ , 그리고 보조 역할을 하는 lane-aware constraint로 구성된다. 본 실험에서는 Stage 1에서 $λ_{r}$ =0.10, $λ_{n}$ =0.05를 사용하였고, Stage 2에서는 $λ_{r}$ =0.05, $λ_{n}$ =0.02를 사용하였다.

L_{total} = L_{lane} + λ_{p} L_{photo} + λ_{r} L_{lane-region} + λ_{n} L_{non-lane}

(3)

여기서 $L_{lane}$ 은 CLRNet head에서 계산되는 차선 검출 손실로, 식(4)와 같이 classification 손실항, regression 손실항, auxiliary segmentation 손실항, line IoU 손실항으로 구성된다.

L_{lane} = 2.0 L_{cls} + 0.2 L_{reg} + 1.0 L_{seg} + 2.0 L_{iou}

(4)

$L_{cls}$ 는 각 lane proposal이 실제 차선인지 여부를 판단하는 classification 손실항이다. $L_{reg}$ 는 예측 차선의 시작 위치, 방향, 길이 및 sampled x-coordinate이 GT(Ground Truth) 차선과 일치하도록 유도하는 regression 손실항이다. $L_{seg}$ 는 backbone 특징이 차선 영역 정보를 보존하도록 돕는 auxiliary segmentation 손실항이며, $L_{iou}$ 는 예측 차선과 GT 차선의 선형 구조가 얼마나 잘 겹치는지를 직접 반영하는 line IoU 손실항이다.

$L_{photo}$ 는 ZeroDCE의 zero-reference photometric constraint로, 별도의 paired clean image 없이 보정 결과의 시각적 안정성을 유지하기 위해 사용된다. 이 항은 spatial consistency, exposure control, color constancy, illumination smoothness로 구성된다.

추가로 본 연구는 차선 검출 목적에 맞는 보정 방향을 안정화하기 위해 lane-aware constraint를 보조적으로 도입한다. $L_{lane-region}$ 은 GT lane mask 주변 영역에서 edge 및 contrast가 보정 이후 약해지면 벌점을 줌으로써 차선 영역의 시각 단서가 유지되도록 유도한다. 반대로 $L_{non-lane}$ 은 차선이 아닌 영역에서 보정량이 과도하게 커지면 벌점을 줌으로써 헤드라이트, 반사광, 배경 노이즈와 같이 차선 검출에 방해가 되는 영역의 증폭을 줄인다. GT 차선 segmentation mask를 $M \in {0, 1}^{H \times W}$ 로 정의하였다. 차선 중심선뿐 아니라 주변 차선 영역까지 포함하기 위해 M에 9×9 max-pooling 기반 dilation을 적용하여 확장된 lane mask $M_{l}$ 을 구성하였다.

아래 서술한 반복 실험 결과, Lane-aware constraint 적용 모델은 일부 실험에서 소폭 높은 성능을 보였으나, 절대적인 개선 폭은 크지 않았다. 이에 본 연구에서는 해당 항을 주된 성능 향상 요인이 아닌, task-aware 학습을 보조하기 위한 손실항으로 해석한다. 설계한 Lane-aware constraint의 수식은 식(5)와 같다.

M_{l} = {Dilate}_{9 \times 9} (M)

(5)

비차선 영역 마스크 $M_{n}$ 은 다음과 같이 정의하였다.

M_{n} = 1 - M_{l}

(6)

차선 영역의 edge 보존을 위해 Sobel 연산자 S(·)를 사용하였다. 본 연구에서는 입력 영상의 RGB 채널 평균으로 grayscale 영상을 만든 뒤, x/y 방향 Sobel gradient의 magnitude를 edge response로 사용하였다. 해당 정의는 식(7)에 제시하였다.

S (I) (p) = \sqrt{(G_{x}^{2} (I) (p) + G_{y}^{2} (I) (p) + ε)}

(7)

여기서 p는 pixel 위치이고, $G_{x}$ 와 $G_{y}$ 는 각각 x축 및 y축 방향 Sobel gradient를 의미한다. 입력 저조도 영상 $I_{low}$ 와 보정 영상 $I_{enh}$ 에 대해, 차선 영역에서 보정 이후 edge가 약해지는 경우에만 벌점을 주도록 lane-region 손실 함수를 식(8)과 같이 정의하였다.

L_{lane-region} = \frac{1}{| M_{l} | + ε} \cdot \sum_{p} M_{l} (p) \cdot \max (0, 1.05 \cdot S (I_{low} (p)) - S (I_{enh} (p)))

(8)

여기서 1.05는 보정 이후 차선 주변 edge가 입력보다 약해지지 않도록 하는 margin 계수이며, $M_{l}$ 과 $M_{n}$ 은 각각 차선 영역과 비차선 영역을 나타내는 마스크이다. |M_l|과 |M_n|은 각 마스크에 포함된 화소 수를 의미한다. $ε$ 은 분모가 0이 되는 것을 방지하기 위한 작은 상수이다.

또한 비차선 영역에서 조명 보정량이 과도하게 커지는 것을 억제하기 위해 non-lane suppression 손실 함수를 다음과 같이 정의하였다. 해당 손실 함수는 식(9)에 제시하였다.

L_{non-lane} = \frac{1}{| M_{n} | + ε} \cdot \sum_{p} M_{n} (p) \cdot \frac{1}{3} \sum_{c} | I_{enh}^{c (p)} - I_{low}^{c (p)} |

(9)

여기서 c는 RGB channel index를 의미한다. 즉, $L_{lane-region}$ 은 차선 주변의 edge 및 contrast를 보존하도록 유도하고, $L_{non-lane}$ 은 차선과 직접 관련 없는 영역에서 불필요한 밝기 변화와 노이즈 증폭을 억제하는 보조 손실항으로 작동한다.

아래의 Ablation 결과에서 lane-aware constraint를 제거한 경우에도 제안 모델은 AGLL 저조도 baseline 대비 뚜렷한 성능 회복을 보였다. 이는 본 연구의 주된 성능 향상이 별도의 보조 손실항 자체보다, CLRNet의 검출 손실이 ZeroDCE까지 역전파되는 task-aware 구조에서 비롯됨을 의미한다.

4. Two-Stage 학습 전략

제안 프레임워크의 2단계 학습 전략은 <Fig. 1>과 같다. Stage 1에서는 사전학습된 CLRNet의 가중치를 고정하고 ZeroDCE만 학습한다. CLRNet은 보정 영상을 입력받아 순전파를 수행하고, 예측 결과와 GT를 비교하여 차선 검출 손실을 계산한다. 이때 CLRNet의 가중치는 업데이트되지 않지만, 차선 검출 손실의 gradient는 CLRNet과 보정 영상을 거쳐 ZeroDCE까지 역전파된다. 이를 통해 ZeroDCE는 고정된 차선 검출기에 적합한 보정 영상을 생성하도록 학습된다.

Stage 2에서는 Stage 1에서 학습된 ZeroDCE의 가중치를 초기값으로 사용하고, CLRNet의 가중치 고정을 해제하여 두 모듈 전체를 공동 미세조정한다. 이 단계에서는 차선 검출 손실이 CLRNet을 거쳐 ZeroDCE까지 역전파되며, ZeroDCE와 CLRNet의 가중치가 모두 업데이트된다. 이를 통해 ZeroDCE는 독립적인 영상 전처리기가 아니라 차선 검출 목적에 맞게 최적화되는 task-aware 영상 보정 모듈로 작동한다. 각 단계의 구체적인 학습 설정은 <Table 1>에 제시하였다.

<Fig. 1>

Overview of the proposed two-stage Task-aware ZeroDCE-CLRNet framework

<Table 1>

Training configuration of the proposed two-stage adaptation

Stage	Trainable	Frozen	Schedule
Stage 1	ZeroDCE	CLRNet	LR 1e-4, 4 ep
Stage 2	ZeroDCE, CLRNet	-	LR 5e-6, 3 ep

Ⅳ. 실험 설정

CULane은 총 133,235장의 도로 영상으로 구성되며, 공식 분할은 학습 영상 88,880장, 검증 영상 9,675장 및 시험 영상 34,680장으로 구성된다. 본 연구에서는 공식 학습 분할을 모델 학습에 사용하고, 검증 분할을 학습 과정의 모델 선택에 사용하였다. 시험 분할은 학습에 사용하지 않고 최종 성능 평가에만 사용하였다.

합성 저조도 환경에서의 성능을 평가하기 위해 CULane의 학습·검증·시험 영상에 동일한 AGLL 저조도 변환 절차를 적용하였다. 모델 학습에는 AGLL 변환이 적용된 학습 영상 88,880장을 사용하였으며, 검증 영상 9,675장은 학습 과정의 모델 선택에, 시험 영상 34,680장은 최종 성능 평가에 사용하였다. 공정한 비교를 위해 모든 비교 모델은 동일한 AGLL 변환이 적용된 시험 영상을 입력으로 사용하였다.

합성 저조도 영상에서 얻은 결과가 실제 야간 환경에서도 유지되는지 확인하기 위해 CULane에서 자연 야간 영상 7,029장을 별도로 구성하였다. 해당 영상은 학습 영상 4,217장, 검증 영상 1,405장 및 시험 영상 1,407장으로 분할하였다. 학습 분할은 모델 학습에, 검증 분할은 학습 과정의 모델 선택에, 시험 분할은 최종 성능 평가에 사용하였다. 해당 실험은 <Table 7>에 기재하였다.

<Table 2>, <Table 3>, <Table 4>에서 A는 clean CULane 입력을 pretrained CLRNet ResNet-34로 평가한 결과이다. B는 동일 test split에 AGLL-style degradation을 적용한 뒤 같은 CLRNet으로 평가한 결과이다. C는 동일 저조도 입력에 대해 제안한 Task-aware ZeroDCE-CLRNet 구조를 적용한 결과이며, Stage 1과 Stage 2 이후의 성능을 각각 비교한다. 모든 결과는 동일한 로컬 평가 파이프라인의 F1@50 기준으로 한다. F1@50은 예측 차선과 정답 차선을 각각 30화소 두께의 선으로 변환한 후, 두 차선 간 IoU가 0.5를 초과하면 참 양성으로 판정하여 산출한 정밀도와 재현율의 조화평균이다.

학습 중에는 raw image, AGLL low-light image, ZeroDCE enhanced image, GT lane mask, CLRNet prediction을 일정 간격으로 저장하였다. 이를 통해 제안 모델이 단순히 영상을 밝히는지, 또는 차선 검출에 필요한 영역을 보존하는지 정성적으로 확인하였다.

Ⅴ. 결과 및 분석

1. 정량적 결과

<Table 2>

Overall F1@50 Comparison

Experiment	Input	Configuration	Overall F1@50
A (baseline)	Original CULane	Pretrained CLRNet	0.7973
B (low-light baseline)	AGLL low-light	Pretrained CLRNet	0.7151
C Stage 1	AGLL low-light	Trained ZeroDCE (CLRNet frozen)	0.7622
C Stage 2 (from Stage 1)	AGLL low-light	Fine-tuned ZeroDCE + CLRNet	0.7713

<Table 2>는 실험의 정량적 결과를 보여준다. AGLL 저조도 변환은 A(baseline)의 F1@50을 0.7973에서 0.7151로 감소시켰다. 절대 하락폭은 0.0822이며, A(baseline) 대비 상대 성능 감소는 10.3%이다. 이는 저조도 입력으로 인해 기존 성능의 89.7% 수준까지 하락했음을 의미한다. C Stage 1 이후 모델은 F1@50을 0.7622까지 회복하였고, C Stage 2 이후 모델은 0.7713을 달성하여 저하분의 68.4%를 회복하였다. 최종 성능은 clean baseline의 96.7% 수준이다.

<Table 3>

F1@50 comparison on the CULane Night subset with additional AGLL degradation

Experiment	Night F1@50
A (baseline)	0.7508
B (low-light baseline)	0.5728
C Stage 1	0.6543
C Stage 2 (from Stage 1)	0.6842

<Table 3>의 Night 부분집합은 CULane 공식 시험 분할에서 Night 범주에 해당하는 영상을 대상으로 한다. A는 해당 자연 야간 영상을 그대로 입력한 결과이며, B와 C는 동일한 Night 영상에 AGLL 저조도 변환을 추가로 적용한 결과이다. 따라서 <Table 3>은 야간 장면에 추가적인 합성 저조도 변환이 적용된 조건의 성능을 나타낸다. 이와 달리 <Table 7>과 <Table 8>은 AGLL 변환을 적용하지 않은 자연 야간 영상을 이용한 별도의 실험 결과이다. AGLL 저조도 변환으로 Night F1@50은 0.7508에서 0.5728로 감소하였으며, 제안 모델은 Stage 2 이후 이를 0.6842까지 회복하였다. 이는 저조도 변환으로 발생한 성능 저하분의 약 62.6%를 회복한 결과이다.

<Table 4>

Single-seed ablation results of the lane-aware constraint

Method	Overall F1@50	Night F1@50
C Stage 1 without lane-aware constraint	0.7615	0.6524
C Stage 1 with lane-aware constraint	0.7622	0.6543
C Stage 2 without lane-aware constraint	0.7706	0.6830
C Stage 2 with lane-aware constraint	0.7713	0.6842

lane-aware constraint의 영향을 확인하기 위해 $L_{lane-region}$ 과 $L_{non-lane}$ 을 제거한 ablation 결과를 <Table 4>에 제시하였다. Lane-aware constraint를 제거한 경우에도 검출 손실 기반 task-aware 학습에 의해 상당한 성능 회복이 이루어졌다. 이는 기본적인 성능 회복이 CLRNet의 검출 손실이 ZeroDCE까지 역전파되는 구조에서 발생함을 보여준다.

<Table 5>

Multi-seed ablation results of the lane-aware constraint (mean±standard deviation)

Method	Seed 0 F1@50	Seed 1 F1@50	Seed 2 F1@50	평균±표준편차
C Stage 1 without lane-aware constraint	0.7615	0.7617	0.7619	0.7617±0.0002
C Stage 1 with lane-aware constraint	0.7622	0.7625	0.7625	0.7624±0.0002
C Stage 2 without lane-aware constraint	0.7706	0.7707	0.7704	0.7706±0.0002
C Stage 2 with lane-aware constraint	0.7713	0.7724	0.7720	0.7719±0.0006

통계적 신뢰성을 확인하기 위해 서로 다른 세 개의 무작위 시드를 사용하여 각 실험을 반복하고, F1@50의 평균과 표준편차를 산출하였다. lane-aware constraint 적용 시 평균 성능이 소폭 향상되었으나 그 차이는 크지 않았다. 따라서 lane-aware constraint는 주된 성능 향상 요인이 아니라 차선 영역의 시각적 단서를 보존하고 비차선 영역의 과도한 보정을 억제하기 위한 보조 손실항으로 해석한다.

<Table 6>

Comparison with CLRNet-only low-light fine-tuning

Model	Input	Overall F1@50	Night F1@50
Pretrained CLRNet	AGLL low-light	0.7151	0.5728
Pretrained CLRNet with Fine-tuning	AGLL low-light	0.7682	0.6726
Task-aware ZeroDCE-CLRNet(proposed)	AGLL low-light	0.7713	0.6842

<Table 6>은 영상 보정 모듈인 ZeroDCE의 효과를 검증하기 위해, AGLL 저조도 영상에서 CLRNet만 미세조정한 경우와 제안하는 Task-aware ZeroDCE-CLRNet을 비교한 결과이다. Pretrained CLRNet을 그대로 적용한 경우 Overall F1@50과 Night F1@50은 각각 0.7151과 0.5728이었으며, AGLL 저조도 영상으로 CLRNet 전체를 미세조정함으로써 각각 0.7682와 0.6726으로 향상되었다. 제안하는 Task-aware ZeroDCE-CLRNet은 각각 0.7713과 0.6842를 기록하여 추가적인 성능 향상을 보였다. 특히 야간 환경에서 상대적으로 큰 개선이 나타난 결과는 단순히 차선 검출기를 저조도 데이터에 미세조정하는 것뿐만 아니라, 차선 검출 목적에 맞게 영상 보정 모듈을 함께 최적화하는 것이 저조도 차선 검출 성능 향상에 기여함을 보여준다.

<Table 7>

Evaluation on natural CULane Night holdout without AGLL degradation

Model	Training/Evaluation	F1@50
Pretrained CLRNet	Natural Night holdout	0.7491
Task-aware ZeroDCE-CLRNet (proposed)	Natural Night holdout	0.7646

<Table 7>은 합성 저조도 변환에 의존하지 않은 실제 야간 영상에서의 적용 가능성을 확인하기 위해 CULane Night subset을 이용한 추가 실험 결과이다. 제안하는 프레임워크의 적용을 위해 CULane의 Night subset을 train/validation/test(4,217장 / 1,405장 / 1,407장)로 재분할하여 위와 동일한 실험을 진행하였다. 실험 결과 Pretrained CLRNet은 F1@50 0.7491의 성능을 보였으며, 제안하는 Task-aware ZeroDCE-CLRNet은 F1@50 0.7646을 기록하여 baseline보다 높은 성능을 확인할 수 있었다.

<Table 8>

Side-effect analysis on the natural CULane Night holdout without AGLL degradation

Model	Training/Evaluation	F1@50	TP / FP / FN
Pretrained CLRNet	Natural Night holdout	0.7491	2,855 / 548 / 1,364
Pretrained CLRNet with Fine-tuning	Natural Night holdout	0.7621	2,842 / 397 / 1,377
Task-aware ZeroDCE-CLRNet (proposed)	Natural Night holdout	0.7646	2,887 / 446 / 1,332

자연 야간 영상에서는 헤드라이트와 노면 반사가 차선과 유사한 밝은 선형 구조를 형성하므로, 영상 보정 과정에서 해당 영역이 과도하게 증폭될 경우 오검출이 증가할 수 있다. 이에 <Table 8>에서는 자연 야간 시험 데이터에 대한 사전학습된 CLRNet, CLRNet만 미세조정한 모델 및 제안 모델의 참 양성(TP), 거짓 양성(FP), 거짓 음성(FN) 변화를 비교하였다. 사전학습된 CLRNet과 비교했을 때 제안 모델은 TP가 2,855개에서 2,887개로 증가하고, FP는 548개에서 446개로, FN은 1,364개에서 1,332개로 감소했으며, F1@50은 0.7491에서 0.7646으로 향상되었다. 다만 제안 모델의 FP는 CLRNet만 미세조정한 모델의 397개보다 많았으므로, 제안 방법이 모든 오검출을 최소화한다고 해석하기는 어렵다. 대신 제안 모델은 더 많은 정답 차선을 검출하고 미검출을 줄이는 과정에서 사전학습된 CLRNet보다 오검출도 감소시키는 균형을 보였다. 정성적 결과에서도 일부 사례에서는 헤드라이트와 노면 반사 영역이 밝아졌음에도 해당 영역이 추가 차선으로 검출되지 않았다. 이러한 결과는 task-aware 영상 보정이 자연 야간 환경에서 차선 단서의 복원에 기여하면서, 비차선 영역의 과도한 증폭으로 인한 오검출 증가를 일정 수준 제한할 수 있음을 시사한다.

<Table 9>

Side-effect analysis on the CULane normal subset without AGLL degradation

Model	F1@50	Precision	Recall	TP / FP / FN
Pretrained CLRNet	0.9348	0.9433	0.9265	30,367 / 1,826 / 2,410
Proposed ZeroDCE-CLRNet	0.9320	0.9421	0.9221	30,223 / 1,857 / 2,554

<Table 9>은 정상 조도 영상에 enhancement module을 적용했을 때의 부작용을 확인하기 위해 AGLL degradation이 적용되지 않은 CULane normal subset 9,621장을 대상으로 추가 평가를 수행한 결과이다. Pretrained CLRNet은 F1@50 0.9348을 기록하였으며, 제안 모델은 0.9320을 기록하였다. 제안 모델 적용 후 F1@50은 0.0028 감소하였으나, 상대적인 감소폭은 약 0.30%로 제한적이었다. 따라서 제안한 enhancement module을 정상 조도 영상에 적용했을 때 큰 성능 붕괴는 관찰되지 않았다.

<Table 10>

Generalization evaluation with SRLane under AGLL low-light input

Model	Overall F1@50	Night F1@50
SRLane baseline(pretrained)	0.7259	0.5857
SRLane+ZeroDCE (proposed framework)	0.7548	0.6433

제안한 task-aware enhancement가 CLRNet에 특화된 구조가 아님을 확인하기 위해 다른 차선 검출기와 ZeroDCE를 결합한 ablation을 <Table 10>에 제공하였다. SRLane(Chen et al., 2024)에 동일한 AGLL 저조도 설정을 적용한 뒤 동일한 프레임워크를 진행하였다. 그 결과 SRLane baseline은 전체 F1@50 0.7259, Night F1@50 0.5857의 성능을 보였으며, ZeroDCE를 결합한 경우 전체 F1@50 0.7548, Night F1@50 0.6433으로 향상된 성능을 확인할 수 있었다. 이는 제안한 프레임워크가 CLRNet에만 적용 가능한 것이 아니라 다른 차선 검출기에서도 적용 가능함을 시사한다.

2. 정성적 결과

정량적 성능 비교와 함께, 제안한 파이프라인이 저조도 입력을 차선 검출에 유리한 형태로 보정하는 과정을 시각적으로 확인하기 위해 두 개의 대표 샘플을 제시한다. <Fig. 2>의 두 그림은 원본 영상, AGLL 저조도 입력, ZeroDCE 보정 결과, GT 차선 마스크, 보정 영상에 대한 CLRNet 예측 결과를 순서대로 보여준다.

<Fig. 2>

Qualitative results of the proposed framework on two representative samples

두 예시는 AGLL 저조도 변환으로 약해진 차선 영역의 대비가 ZeroDCE 보정 이후 회복되고, 해당 보정 결과가 CLRNet의 차선 예측으로 연결되는 과정을 보여준다. 특히 보정 모듈이 단순히 전체 영상을 밝게 만드는 데 그치지 않고, 차선 검출에 필요한 도로 경계와 차선 마킹의 시각적 단서를 강화하는 방향으로 작동함을 정성적으로 확인할 수 있다.

아래의 <Fig. 3>, <Fig. 4>, <Fig. 5> 는 합성 저조도를 적용하지 않은 자연 야간 영상에 대해 제안하는 프레임워크의 성공, 부작용 억제, 한계의 사례를 보여준다.

<Fig. 3>

Missed lane recovery

<Fig. 4>

False positive suppression

<Fig. 5>

Remaining failure case

<Fig. 3> 사례에서는 pretrained CLRNet이 자연 야간 입력에서 GT 차선을 검출하지 못했으나, 제안 프레임워크 적용 후 세 개의 차선이 검출되었다. 또한 좌측 차량의 강한 헤드라이트가 보정 영상에서 밝게 나타났음에도 해당 영역이 추가 차선으로 검출되지는 않았다. 이는 제안 프레임워크가 낮은 차선 대비로 인한 기존 검출기의 실패를 일부 복구할 수 있음을 보여준다.

<Fig. 4> 사례에서는 pretrained CLRNet이 두 개의 정답 차선을 검출하는 동시에 두 개의 false positive를 생성하였다. 제안 프레임워크 적용 후에는 세 개의 정답 차선이 검출되었으며 기존의 false positive는 나타나지 않았다. 따라서 해당 사례에서는 차량 후미등과 밝은 도로 영역이 존재함에도 차선 검출 성능이 개선되고 오검출이 감소하는 결과가 확인되었다.

<Fig. 5> 사례에서는 제안 프레임워크가 pretrained CLRNet보다 더 많은 정답 차선을 검출하였으나, 강한 국부 조명과 불명확한 도로 경계로 인한 false positive가 여전히 남아 있었다. 이는 제안 프레임워크가 자연 야간 영상의 모든 오검출을 제거하는 것은 아니며, 실제 차선과 유사한 밝은 선형 구조가 존재하는 복잡한 환경에서는 한계가 있음을 보여준다.

제안 방법의 효과와 한계를 정성적으로 분석하기 위해 동일한 샘플에 대해 원본 영상, AGLL 저조도 영상, task-aware ZeroDCE 보정 영상, AGLL 저조도 영상에 대한 pretrained CLRNet 예측, 일반 ZeroDCE 보정 이후 pretrained CLRNet 예측, 제안 방법의 예측 및 ground truth를 비교하였다. <Fig. 6>-<Fig. 7>은 제안 방법을 통해 차선 검출 성능이 개선된 성공 사례를 보여주며, <Fig. 8>은 영상 보정 이후에도 차선 검출 오류가 남아 있는 실패 사례를 보여준다.

<Fig. 6>

Qualitative example of lane recovery from complete detection failure under AGLL low-light degradation

<Fig. 6>의 사례에서는 AGLL 저조도 변환으로 영상의 밝기와 차선 대비가 크게 감소하였다. 이에 따라 AGLL 저조도 영상을 직접 입력받은 pretrained CLRNet은 차선을 검출하지 못하였다. 일반 ZeroDCE 보정 이후에도 차선과 도로 배경 사이의 구분이 충분히 회복되지 않아 pretrained CLRNet의 검출 실패가 유지되었다. 반면 task-aware ZeroDCE 보정 영상에서는 차선 검출에 필요한 선형 구조가 상대적으로 명확하게 나타났으며, 제안 모델은 ground truth에 대응하는 네 개의 차선을 검출하였다. 이는 일반적인 영상 밝기 향상만으로는 복구되지 않았던 차선 정보가 검출 손실을 이용한 task-aware 학습을 통해 검출에 유리한 형태로 보정될 수 있음을 보여준다.

<Fig. 7>

Qualitative example of improved lane detection under AGLL low-light degradation

<Fig. 7>의 사례에서는 AGLL 저조도 입력에 대한 pretrained CLRNet과 일반 ZeroDCE 보정 이후의 pretrained CLRNet 모두 일부 차선을 검출하였으나, ground truth에 포함된 전체 차선 구조를 충분히 복원하지 못하였다. 반면 제안 모델은 task-aware ZeroDCE 보정을 통해 약화된 차선 단서를 보완하고, ground truth에 더 가까운 네 개의 차선을 검출하였다. 특히 이 사례는 제안 방법의 효과가 기존 모델의 완전한 검출 실패를 복구하는 경우뿐 아니라, 부분적으로 검출된 차선 구조를 보완하는 형태로도 나타날 수 있음을 보여준다.

<Fig. 8>

Qualitative failure case with a remaining lane localization error under AGLL low-light degradation

<Fig. 8>은 제안 방법 적용 이후에도 차선의 위치 추정 오류가 남아 있는 사례를 보여준다. AGLL 저조도 영상에 대한 pretrained CLRNet은 세 개의 차선을 예측하였으며, 일반 ZeroDCE 보정 이후에는 오른쪽 차선이 검출되지 않았다. 제안 방법은 다시 세 개의 차선 후보를 검출하였으나, 오른쪽 예측 차선의 위치와 진행 방향이 ground truth와 정확히 일치하지 않았다. 이는 task-aware enhancement가 저조도로 약화된 차선 후보의 검출에는 도움을 줄 수 있지만, 주변 차량과 복잡한 원근 구조로 인해 발생하는 차선의 기하학적 위치 추정 오류를 항상 해결하는 것은 아님을 보여준다.

Ⅵ. 고 찰

실험 결과는 제안 방법의 효과가 단순한 모델 연결에서 비롯된 것이 아님을 보여준다. Stage 1에서 CLRNet은 고정되어 있지만 순전파와 손실 계산을 수행하며, 검출 손실이 ZeroDCE의 업데이트 방향을 결정한다. 따라서 기본적인 성능 회복은 CLRNet의 검출 손실이 ZeroDCE까지 역전파되는 task-aware 구조에서 발생한다. 또한 lane-aware constraint를 제거한 경우에도 상당한 성능 회복이 유지된 점은 이를 뒷받침한다. Lane-aware constraint 적용 모델은 일부 평가에서 소폭 높은 성능을 보였으나, 그 차이가 크지 않았다. 따라서 본 연구에서는 해당 항을 주된 성능 향상 요인이 아닌, 차선 영역의 edge 보존과 비차선 영역의 과도한 변화를 제한하기 위해 설계된 보조 손실항으로 해석한다.

Stage 2의 공동 미세조정을 통해 ZeroDCE와 CLRNet 전체가 함께 최적화되면서, 보정 영상의 특징 분포에 대한 검출기의 적응이 이루어졌다. 그 결과 Stage 1 대비 추가적인 F1@50 향상을 확인할 수 있었으며, 이는 제안한 task-aware enhancement가 downstream lane detector와 결합될 때 더 효과적으로 작동할 수 있음을 의미한다. 더불어 합성 저조도 입력이 아닌 실제 야간 데이터에서도 성능 개선을 보였으며, 해당 프레임워크에서 다른 차선 검출기와 결합하는 추가적인 실험을 통해 제안하는 프레임워크의 일반화 가능성을 확인할 수 있었다.

Ⅶ. 결 론

본 연구는 저조도 환경에서 차선 검출 성능을 회복하기 위해 ZeroDCE와 CLRNet을 하나의 미분 가능한 계산 그래프로 연결한 Task-aware ZeroDCE-CLRNet 프레임워크를 제안하였다. 제안 방법은 ZeroDCE를 독립적인 영상 전처리기로 사용하는 대신, CLRNet에서 계산된 차선 검출 손실을 영상 보정 모듈까지 역전파하여 차선 검출에 유리한 보정 결과를 학습한다. 또한 사전학습된 검출기를 고정하여 ZeroDCE를 먼저 학습한 후 두 모듈 전체를 공동 미세조정하는 2단계 학습 전략을 적용하였다.

CULane 기반 AGLL 합성 저조도 실험에서 사전학습된 CLRNet의 F1@50은 0.7973에서 0.7151로 감소하였으나, 제안 모델은 2단계 공동 미세조정 이후 0.7713을 기록하였다. 이는 저조도로 인한 성능 저하분의 68.4%를 회복하고 정상 조도 기준 성능의 96.7% 수준에 도달한 결과이다. 또한 실제 야간 영상에서 F1@50이 0.7491에서 0.7646으로 향상되었으며, 다른 차선 검출기인 SRLane과 결합한 실험에서도 성능 개선이 관찰되었다. 정상 조도 영상에서는 F1@50이 0.9348에서 0.9320으로 소폭 감소하였으나, 상대적인 감소폭은 약 0.30%로 제한적이었다. 이러한 결과는 영상 보정 모듈을 차선 검출 손실로 학습하는 task-aware 구조가 저조도 차선 검출의 강건성 향상에 활용될 수 있음을 보여준다.

다만 lane-aware constraint의 독립적인 정량 성능 향상은 크지 않았으며, 강한 국부 조명이나 차선과 유사한 선형 구조가 존재하는 일부 자연 야간 영상에서는 오검출과 위치 추정 오류가 남아 있었다. 또한 다른 차선 검출기를 이용한 실험은 제한된 학습 조건에서 수행되었으므로, 제안 프레임워크의 일반화 성능을 확정하기 위해서는 추가 검증이 필요하다. 향후 연구에서는 실제 야간 학습 데이터의 규모와 환경 다양성을 확대하고, 장면의 조명 상태에 적응적으로 작동하는 보정 및 정규화 방법을 개발할 예정이다.

ACKNOWLEDGEMENTS

본 연구는 산업통상부(RS-2025-25451359) 지원으로 수행하였습니다.

Figure

<Fig. 1>.