Journal Search Engine

to

Search Advanced Search Adode Reader(link)
View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.25 No.4 pp.190-203
DOI : https://doi.org/10.12815/kits.2026.25.4.190

DNC-IMM: Early Lane-Change Intention Recognition via Neural Calibration Based on Driving Context Information

Woong-Chan Byun*, Seung-Hyun Kong**†
*Cho Chun Shik Graduate School of Mobility, Korea Advanced Institute of Science and Technology
**Cho Chun Shik Graduate School of Mobility, Korea Advanced Institute of Science and Technology
† Corresponding author : Seung-Hyun Kong, skong@kaist.ac.kr
2 July 2026 │ 23 July 2026 │ 5 August 2026

Abstract


Early recognition of a lane-change intention is essential for proactive decision-making in autonomous driving and advanced driver assistance systems. This paper proposes a Dual Neural-Calibrated Interacting Multiple Model (DNC-IMM) that improves driving context adaptability while preserving the probabilistic structure and interpretability of conventional IMM. The proposed method encodes driving context information, including target vehicle motion and surrounding vehicle gaps and relative velocities, through a neural network to calibrate the transition probability matrix and the measurement likelihood. The final intention is determined from the calibrated IMM mode posterior, and experiments on the highD dataset confirm that the proposed method can reliably recognize lane-change intentions before lane crossing.


Autonomous Driving , ADAS , Lane-Change Intention Recognition , Interacting Multiple Model , Neural Calibration

DNC-IMM: 주행 맥락 정보 기반 신경망 보정을 통한 조기 차선변경 의도 인식

변웅찬*, 공승현**†
*주저자 : 한국과학기술원 조천식모빌리티대학원 석사과정
**교신저자 : 한국과학기술원 조천식모빌리티대학원 교수

초록


자율주행 및 첨단 운전자 보조 시스템에서 주변 차량의 차선변경 의도 조기 인식은 선제적 주행 판단을 위해 중요하다. 본 논문에서는 기존 IMM의 확률적 구조와 해석 가능성을 유지하면서 주행 맥락 적응성을 향상시키는 Dual Neural-Calibrated IMM (DNC-IMM)을 제안한다. 제안 방법은 목표 차량 운동, 주변 차량과의 거리 및 상대 속도 등 주행 맥락 정보를 신경망으로 인코딩하여 전이 확률 행렬과 측정 가능도를 보정한다. 최종 의도는 이를 통해 산출된 IMM 모드 사후 확률로부터 판단되며, highD 데이터셋 실험에서 차선 경계 통과 이전의 차선변경 의도를 안정적으로 인식함을 확인하였다.


자율주행 , 첨단 운전자 보조 시스템 , 차선변경 의도 인식 , 상호작용 다중모델 , 신경망 보정

    Ministry of Trade, Industry and Resources
    RS-2025-25451359

    Ⅰ. 서 론

    자율주행 및 첨단 운전자 보조 시스템(Advanced Driver Assistance System, ADAS)이 안전하고 자연스러운 주행 거동을 구현하기 위해서는 주변 차량의 미래 거동을 사전에 예측하는 능력이 필수적이다(Jung et al., 2026). 특히 주변 차량의 차선변경은 자차의 충돌 위험과 직접적으로 연관되는 대표적인 거동으로, 이를 정확하고 신속하게 인식하는 것은 충돌 회피, 차간 거리 확보, 경로 계획 등 다양한 후속 의사결정의 출발점이 된다(Kim and Kong, 2013;Cho et al., 2019). 그러나 기존의 많은 차선변경 인식 연구는 차량이 차선 경계를 통과한 이후 이를 검출하는 사후적 접근에 머물러 있어, 자율주행 차량이 선제적으로 대응할 수 있는 시간적 여유를 제공하지 못한다는 한계를 가진다(Kong, 2014). 이에 본 연구에서는 차선 경계 통과 이전의 1초, 2초, 3초 시점에서 주변 차량의 주행 의도를 차선유지(Lane Keeping, LK), 좌측 차선변경(Left Lane Change, LCL), 우측 차선변경(Right Lane Change, LCR)의 세 가지 모드로 조기 인식하는 문제를 다룬다. 이는 주변 차량의 운동 변화와 교통 맥락을 바탕으로 차선변경 가능성을 선제적으로 추정한다는 점에서 중요하다(Morris et al., 2011).

    이러한 조기 차선변경 의도 인식을 위해 다양한 방법론이 제안되어 왔으며, 접근 방식에 따라 세 갈래로 구분할 수 있다. 첫째, Interacting Multiple Model(IMM)과 같은 물리 기반 모델은 차량의 운동을 명시적인 운동 모델로 표현하고, 다중 모드 간의 확률적 전이와 측정 가능도를 이용해 해석 가능한 형태로 의도를 추정한다. 그러나 이러한 접근은 고정된 전이 확률 행렬과 가능도 모델을 사용하기 때문에, 차선 가용성이나 주변 차량과의 상호작용처럼 시시각각 변화하는 주행 맥락을 충분히 반영하기 어렵다. 둘째, 이를 보완하기 위해 사람이 설계한 규칙을 이용하여 전이 확률과 측정 가능도를 보정하는 적응형 IMM 연구가 제안되었다.이 방법은 일정 수준의 맥락 반영이 가능하지만, 보정 규칙과 가중치를 설계자의 경험적 판단에 의존하므로 주행 상황에 일반화하는 데 한계가 있다. 셋째, 심층 신경망을 이용해 차선변경 의도를 직접 분류하는 학습 기반 접근법들이 연구되어 왔다. 이러한 방법들은 대용량 주행 데이터로부터 복잡한 패턴을 학습함으로써 높은 인식 성능을 보이나, 모델 내부의 추론 과정이 블랙박스 형태로 구성되어 있어 예측 결과에 대한 해석이 어렵고 물리적으로 타당하지 않은 예측이 발생할 가능성이 있다.

    본 논문에서는 기존 접근법들이 해석 가능성, 데이터 기반 적응성, 주변 차량 맥락 반영이라는 요구 조건 중 일부만을 충족할뿐, 세 조건을 동시에 만족하는 데에는 한계가 있다는 점에 주목한다. 따라서 물리 기반 모델의 확률적 구조와 해석 가능성을 유지하면서도, 데이터로부터 학습된 보정을 통해 변화하는 주행 맥락에 적응적으로 반응할 수 있는 통합적 프레임워크가 요구된다.

    이에 본 논문에서는 Dual Neural-Calibrated IMM(DNC-IMM)을 제안한다. 제안 방법은 IMM의 확률적 추정 구조를 기반으로 하되, 주변 맥락 정보를 활용한 신경망 보정을 결합하여 차선변경 이전 시점의 의도를 조기 추정한다. 최종 의도는 별도의 직접 분류기 출력이 아니라 보정된 IMM 모드 사후 확률을 통해 LK, LCL, LCR 중 하나로 결정된다.

    본 연구의 주요 기여는 다음과 같다. 첫째, IMM의 모드 전이 사전 확률과 측정 가능도를 주변 맥락 정보에 따라 보정하는 DNC-IMM 구조를 제안함으로써, 기존 IMM의 고정된 전이 확률 및 측정 가능도 모델이 갖는 맥락 반영 한계를 완화한다. 둘째, 신경망은 주행 행동을 직접 분류하지 않고 전이 확률 보정과 가능도 보정만을 출력하도록 설계하여, 최종 예측이 항상 IMM 모드 사후 확률에 기반하도록함으로써 물리적 일관성과 해석 가능성을 유지한다. 셋째, 선행연구 기반 방법론과의 비교 실험을 통해 제안한 DNC-IMM이 1초, 2초, 3초 조기 차선변경 의도 인식에서 우수한 성능을 보임을 확인하였다.

    Ⅱ. 관련 연구

    본 장에서는 조기 차선변경 의도 인식을 위한 기존 연구를 물리 기반 모델, 규칙 기반 적응형 모델, 데이터 기반 학습 모델의 세 갈래로 나누어 살펴본다.

    1. 물리 기반 의도 추정 모델

    차량의 운동을 명시적인 운동 모델로 표현하고 확률적 상태 전이를 통해 의도를 추정하는 물리 기반 접근은 차선변경 인식 연구에서 오랫동안 활용되어 왔다(Mazor et al., 1998). Zhang et al.(2018)는 Hidden Markov Model(HMM)과 Gaussian Mixture Model을 결합하여 차선변경 및 차선유지 거동을 모델링하고, 가능도 함수를 이용해 주변 교통 맥락 정보 속에서 거동을 추정하는 방법을 제안하였다. 이러한 접근은 상태 전이 확률과 측정 가능도라는 명시적 확률 구조를 사용하므로 예측 결과에 대한 해석이 비교적 용이하다는 장점을 가진다(Kaempchen et al., 2004). 그러나 모델의 전이 확률과 가능도 분포가 고정된 형태로 정의되기 때문에, 차선 가용성이나 주변 차량과의 동적 상호작용과 같이 시시각각 변화하는 주행 맥락을 충분히 반영하지 못한다는 근본적인 한계가 있다(Toledo-Moreo and Zamora-Izquierdo, 2009;Schubert et al., 2010).

    2. 규칙 기반 적응형 보정 모델

    물리 기반 모델의 경직성을 보완하기 위해, 주행 맥락에 따라 모델 파라미터를 동적으로 조정하는 적응형 접근이 제안되었다. Bayesian 추론 기반의 적응형 차선변경 예측 모델은 교통 맥락 정보만으로 주변 차량의 차선변경 거동을 예측할 수 있음을 확인하고, 이를 기반으로 적응형 예측 모델을 구축하였다(Zhang et al., 2021). 이러한 연구들은 고정된 모델 대비 일정 수준의 맥락 적응성을 확보하였다는 점에서 의의가 있다(Kesting et al., 2007). 그러나 적응 규칙과 보정 가중치가 설계자의 경험적 판단이나 사전 정의된 함수 형태에 의존하기 때문에, 다양한 주행 상황과 데이터 분포로의 일반화에는 한계를 가진다.

    3. 데이터 기반 학습 모델

    최근에는 심층 신경망을 활용하여 차선변경 의도를 직접 예측하는 데이터 기반 접근이 활발히 연구되고 있다(Berndt et al., 2008;Park et al., 2018). Liu(2023)는 관측 시점에 따라 가중치를 다르게 부여하는 시간가중 HMM을 제안하여, 최근 관측에 더 큰 비중을 두는 감쇠 계수를 도입함으로써 기존 HMM 및 순환 신경망 대비 향상된 차선변경 인식 성능을 보였다(Deo et al., 2018;Cui et al., 2019). Khelfa et al.(2023)는 MOBIL 규칙 기반 모델과 다양한 머신러닝, 앙상블 학습 기법을 비교하는 벤치마크 분석을 수행하였으며, 데이터 기반 알고리즘이 모델링 편향 없이 규칙 기반 모델 대비 유의미한 예측 성능 향상을 가져올 수 있음을 확인하였다. 이러한 데이터 기반 방법들은 대용량 주행 데이터로부터 복잡한 비선형 패턴을 학습함으로써 다양한 주행 상황에 대한 높은 적응성을 가지고 있다. 그러나 모델 내부의 추론 과정이 블랙박스 형태로 구성되어 있어 예측 결과에 대한 해석이 어렵고, 물리적으로 타당하지 않은 예측이 발생할 가능성을 배제하기 어렵다는 공통적인 한계를 가진다(Mozaffari et al., 2022;Lin et al., 2021;Messaoud et al., 2021).

    Ⅲ. Dual Neural-Calibrated IMM

    본 장에서는 IMM의 확률적 구조를 유지하면서 전이 확률 행렬과 측정 가능도를 신경망으로 보정하는 DNC-IMM을 제안한다. 제안 방법의 목적은 차선 경계 통과 시점을 기준으로 1초, 2초, 3초 이전에 주변 차량의 주행 의도를 차선유지(LK), 좌측 차선변경(LCL), 우측 차선변경(LCR)의 세 모드로 조기 인식하는 것이다. 이를 위해 제안 구조는 주변 차량 맥락 정보를 학습하는 Neural Calibration Branch와, 학습된 보정 정보를 Kalman 기반 IMM 추정 과정에 반영하는 IMM Estimation Branch로 구성된다.

    1. Neural Calibration Branch

    Neural Calibration Branch는 주행 맥락 입력을 공유 MLP 인코더로 압축한 뒤, 전이 확률 보정 헤드와 가능도 보정 헤드를 통해 전이 확률 보정 행렬 Δ t 와 가능도 보정 score r t , j 를 각각 산출하는 구조를 가진다. 두 보정 신호는 III-2의 IMM Estimation Branch에서 전이 확률 행렬과 측정 가능도를 조정하는 데 사용된다. 전체 구조는 <Fig. 1>과 같다.

    KITS-25-4-190_F1.jpg
    <Fig. 1>

    Architecture of the Neural Calibration Branch

    1) 입력 구성 및 공유 인코더

    Neural Calibration Branch의 입력은 <Table 1>과 같이 구성된 총 186차원 벡터 g t 이다. target vehicle feature와 surrounding context feature 각각에 대해 1초 이력 구간의 통계량을 산출하여 결합하였으며, 예측 시점을 추가로 결합하여 최종 입력 벡터를 구성하였다. 모든 특징값은 학습 데이터에서 산출한 평균과 표준편차로 정규화하였으며, 안정적인 추론을 위해 극단값을 제한하였다.

    <Table 1>

    Input feature configuration of Neural Calibration Branch

    Group (feature) Key Features
    Target Vehicle Feature Longitudinal/lateral kinematics(position, velocity, acceleration), lane geometry
    Surrounding Context Feature Surrounding vehicle gaps, relative speed, distance headway, time headway, time to collision
    1s history Mean, standard deviation, and temporal gradient over 1s
    Prediction horizon Horizon indicator for 1~3s early lane-change intention prediction

    구성된 입력 g t 는 공유 MLP 인코더를 통해 식 (1)과 같이 64차원 은닉 표현 h t 로 변환된다.

    h t = MLP ( g t ) , g t ∈ R 186 , h t ∈ R 64
    (1)

    이 과정에서 차선변경 의도와 관련된 공간적, 시간적 맥락 정보가 하나의 압축된 표현으로 통합되며, 산출된 h t 는 보정 헤드에 공통으로 입력되어 각각의 보정 신호 생성에 활용된다.

    2) Transition/Likelihood Calibration Matrix

    산출된 h t 는 전이 확률 보정 헤드와 가능도 보정 헤드에 각각 입력되어 두 종류의 보정 신호를 생성한다. 두 헤드는 동일한 인코더 출력을 공유하지만, 서로 다른 학습 파라미터를 통해 IMM의 서로 다른 단계에 적용되는 보정 신호를 독립적으로 산출한다.

    전이 확률 보정 헤드는 h t 를 입력으로 받아 전이 확률 보정 행렬 Δ t 를 산출한다. 이때 Δ t 는 전이 확률 보정을 위한 fully connected layer FC tr 을 통해 계산되며, 3×3 행렬 형태로 구성된다. 산출된 Δ t 의 각 원소는 tanh 함수를 통해 제한된 범위의 값을 갖도록 조정되며, 식 (2)와 같이 정의된다.

    Δ t = 3 tanh ( FC tr ( h t ) ) , Δ t ∈ R 3 × 3
    (2)

    가능도 보정 헤드는 h t 를 입력으로 받아 모드별 가능도 보정 점수 r t 를 산출한다. 이때 r t 는 가능도 보정을 위한 fully connected layer FC like 를 통해 계산되며, LK, LCL, LCR의 세 모드에 대응하는 3×1 벡터 형태로 구성된다. 산출된 r t 는 Kalman filter에서 계산된 모드별 측정 가능도를 보정하는 데 사용되며, 식 (3)와 같이 정의된다.

    r t = 3 tanh ( FC like ( h t ) ) , r t ∈ R 3 × 1
    (3)

    두 헤드는 모두 식 (2)와 식 (3)에서 3tanh 형태의 출력 제한을 적용하였다. 여기서 tanh 함수의 출력 범위는 [-1, 1]이며, 앞에 곱해진 계수 3은 이를 [-3, 3] 범위로 스케일링하기 위한 값이다. 따라서 Δ t 와 r t 의 각 원소는 [-3, 3] 범위 내에서 산출되며, 이를 통해 보정 크기가 과도하게 증가하는 것을 방지하였다. 한편, 세 모드에 공통으로 더해지는 상수 성분은 이후 softmax 연산에서 상쇄되어 최종 사후 확률에 영향을 미치지 않으므로, 가능도 보정 헤드의 출력에는 식 (4)와 같이 평균을 제거한 상대 score r ′ t 를 사용하였다.

    r ′ t , j = r t , j − 1 3 ∑ k ∈ { LK , LCL , LCR } r t , k , j ∈ { LK , LCL , LCR }
    (4)

    산출된 Δ t 와 r ′ t 는 신경망의 직접적인 주행 행동 분류 결과가 아니라, IMM Estimation Branch 내부에서 전이 확률 행렬과 측정 가능도를 조정하는 보정 신호로 사용된다.

    2. IMM Estimation Branch

    IMM Estimation Branch는 이전 시점의 모드별 상태와 공분산, 모드 확률을 입력으로 받아 표준 IMM 연산을 수행하고, 산출된 Δ t 와 r ′ t 를 전이 확률 행렬과 측정 가능도에 각각 결합하여 최종 모드 사후 확률 μ t 를 산출하는 구조를 가진다. 최종 주행 행동 예측은 신경망의 직접적인 클래스 출력이 아니라 IMM 모드 사후 확률로부터 결정되며, 이를 통해 물리적 일관성과 해석 가능성을 유지한다. 전체 구조는 <Fig. 2>와 같다.

    KITS-25-4-190_F2.jpg
    <Fig. 2>

    Architecture of the IMM Estimation Branch

    1) 상태 정의 및 Kalman 기반 모드별 추정

    주변 차량의 종방향 및 횡방향 운동을 함께 표현하기 위해 상태 벡터 x t 와 관측 벡터 z t 를 식 (5)와 식 (6)과 같이 정의한다.

    x t = [ s t , d t , v s , t , v d , t , a s , t , a d , t ]
    (5)
    z t = [ s t , d t , v s , t , v d , t ]
    (6)

    식 (5)의 상태 벡터 x t 는 차량의 종방향 위치 s t , 횡방향 위치 d t , 종방향 속도 v s , t , 횡방향 속도 v d , t , 종방향 가속도 a s , t , 횡방향 가속도 a d , t 로 구성된다. 식 (6)의 관측 벡터 z t 는 측정 가능한 위치 및 속도 성분으로 구성되며, 가속도 성분은 Kalman 기반 상태 추정 과정에서 함께 추정된다.

    IMM은 LK, LCL, LCR의 세 가지 주행 행동을 동시에 유지한다. 각 모드 j는 서로 다른 주행 가정을 나타내며, 이전 시점의 추정 상태, 추정 공분산, 모드 확률을 식 (7)과 같이 가진다.

    { x ^ t − 1 j , P t − 1 j , μ t − 1 j } , j ∈ { LK , LCL , LCR }
    (7)

    식 (7)에서 x ^ t − 1 j 는 이전 시점에서 모드 j가 가지는 추정 상태, P t − 1 j 는 해당 추정 상태의 공분산, μ t − 1 j 는 이전 시점에서 모드 j가 현재 주행 상황을 설명할 확률을 의미한다.

    현재 시점의 관측 z t 가 입력되면, 각 모드 j에 대해 Kalman 기반 상태 추정이 독립적으로 수행된다. 이를 통해 모드별 추정 상태와 추정 공분산은 식 (8)과 같이 갱신된다.

    x ^ t j , P t j = kalman ( x ^ t − 1 j , P t − 1 j , z t )
    (8)

    식 (8)은 동일한 관측 벡터 z t 가 입력되더라도 LK, LCL, LCR의 각 모드가 서로 다른 주행 가정에 따라 개별적인 추정 상태 x ^ t j 와 추정 공분산 P t j 를 유지함을 의미한다. 따라서 IMM은 단일 운동 모델에 의존하지 않고, 차선유지와 좌우 차선변경 가능성을 동시에 고려할 수 있다.

    최종적으로 식 (8)에서 산출된 x ^ t j 와 P t j 는 모드 j에 대한 차량 운동 상태 추정 결과로 사용되며, μ t j 는 해당 모드가 현재 주행 상황을 설명하는 확률을 나타낸다.

    2) Transition 및 Likelihood Matrix Calibration

    Neural Calibration Branch에서 산출된 Δ t 와 r ′ t 는 IMM Estimation Branch에서 각각 모드 전이 사전 확률과 측정 가능도를 보정하는 데 사용된다. 먼저 Δ t 는 식 (9)와 같이 기본 전이 확률 행렬인 Π base 에 결합되어 현재 시점의 보정된 전이 확률 행렬인 Π t 를 구성한다.

    Π t = softmax ( log ( Π base ) + β trans Δ t )
    (9)

    β trans 는 전이 확률 보정의 반영 강도를 조절하는 계수이며, Softmax는 각 행의 합이 1이 되도록 정규화하여 Π t 가 확률 행렬의 조건을 유지하도록 한다. 보정된 Π t 는 이전 시점의 모드 확률 μ t − 1 과 결합되어 식 (10)과 같이 현재 관측 z t 를 반영하기 전의 모드 사전 확률 μ ¯ t 를 산출한다.

    μ ¯ t = Π t μ t − 1
    (10)

    이후 r ′ t 는 Kalman 기반 측정 가능도를 모드별로 보정하는 데 사용된다. 모드 j의 기존 로그 가능도를 log Λ t j 라 할 때, 보정된 가능도 log Λ ~ t j 는 식 (11)과 같이 계산된다.

    log Λ ~ t j = log Λ t j + clip ( α like r ′ t , j , − 2 , 2 )
    (11)

    α like 는 가능도 보정의 반영 강도를 조절하는 계수이며, 클리핑 연산은 보정값이 과도하게 커지는 것을 방지한다. 최종 모드 확률 μ t 는 전이 확률 보정으로 계산된 μ ¯ t 와 가능도 보정으로 계산된 log Λ ~ t j 를 결합하여 식 (12)와 같이 산출한다.

    μ t = softmax ( log μ ¯ t + log Λ ~ t j )
    (12)

    식 (12)에 따라 제안 방법의 최종 주행 행동 판단은 신경망의 직접적인 클래스 출력이 아니라 IMM 모드 사후 확률 μ t 로부터 결정된다. 따라서 최종 예측 y ^ t 은 식 (13)과 같이 가장 큰 모드 확률을 갖는 모드로 정의된다.

    y ^ t = argmax j μ t j , j ∈ { LK , LCL , LCR }
    (13)

    3) 사후 확률 정렬 기반 손실 함수 설계

    제안 모델은 별도의 주행 행동 분류 헤드를 사용하지 않고, 식 (12)에서 산출된 최종 IMM 모드 사후 확률 μ t 를 직접 학습 대상으로 사용한다. 즉, 신경망의 출력값 자체를 정답 라벨과 비교하는 것이 아니라, 전이 확률 보정과 가능도 보정이 반영된 최종 사후 확률이 정답 주행 행동에 높은 확률을 부여하도록 학습한다. 이를 위한 전체 손실 함수는 식 (14)와 같이 정의된다.

    L = L post + λ Δ t L Δ t + λ invalid L invalid
    (14)

    L post 는 정답에 대한 사후 확률 정렬 항으로, 최종 사후 확률의 분포를 정답 모드 중심으로 유도한다. L Δ t 는 전이 보정 행렬 Δ t 의 크기를 제한하는 보정 안정화 항이며, λ Δ t 는 해당 항의 반영 강도를 조절하는 가중치이다. L invalid 는 차선 가용성 제약 항으로, 좌측 또는 우측 차선이 존재하지 않는 상황에서 해당 차선변경 모드가 선택되는 것을 억제하며, λ invalid 는 이 제약의 반영 강도를 조절한다. 이와 같이 전체 손실 함수는 사후 확률 정렬 항을 중심으로 하되, 신경망 보정의 과도한 보정과 물리적으로 불가능한 차선변경 예측을 함께 억제하도록 구성된다.

    Ⅳ. 실험 결과

    본 장에서는 highD 데이터셋을 활용하여 제안한 DNC-IMM의 조기 차선변경 의도 인식 성능을 검증한다(Krajewski et al., 2018). 특히 차선변경 이전 1초, 2초, 3초 시점에서 LK, LCL, LCR 모드 사후 확률의 예측 정확도를 평가하고, 전이 확률 보정과 가능도 보정이 최종 IMM 사후 확률에 미치는 영향을 비교 분석한다.

    1. 실험 환경 설정

    실험에는 독일 고속도로에서 드론으로 수집된 차량 궤적 데이터셋인 highD 데이터셋을 사용하였다. highD 데이터셋은 각 차량의 시간별 위치, 속도, 가속도, 차선 ID, 차량 크기 및 recording별 도로 정보를 포함하며, 이를 통해 주변 차량과의 상대 거리 및 속도, 차선 가용성, 차선변경 시점 등을 계산할 수 있다. 본 연구에서는 목표 차량의 운동 정보, 차선 정보, 주변 차량과의 상대 거리 및 상대 속도, 단기 이력 기반 통계값을 입력 특징으로 구성하였으며, 모든 입력 특징은 학습 데이터 기준으로 정규화하여 사용하였다.

    전체 데이터는 동일 recording이 학습과 평가에 동시에 포함되지 않도록 recording 단위로 분할하였으며, training 43개, validation 5개, test 12개 recording을 사용하였다. 평가 대상 주행 행동은 LK, LCL, LCR의 세 가지이며, 차선변경 기준 1초, 2초, 3초 이전 프레임에서 예측을 수행하였다. 제안 모델은 입력 특징으로부터 전이 확률 보정값과 가능도 보정값을 산출한 뒤, 이를 IMM의 전이 확률 행렬과 측정 가능도에 반영하여 최종 모드 사후 확률을 계산하도록 학습하였다.

    학습에는 AdamW optimizer를 사용하였고, learning rate는 0.001, weight decay는 0.0001, batch size는 1024, epoch는 20으로 설정하였다. 최종 baseline의 보정 계수는 α like = 1.0 , β trans = 1.5 로 설정하였으며, 손실 함수의 가중치는 λ Δ t = 0.0001 , λ invalid = 0.5 로 설정하였다. 모든 실험은 NVIDIA GeForce RTX 3070 GPU 환경에서 수행하였다.

    2. 실험 결과

    성능 평가는 class-wise F1과 macro F1을 사용하였다. Class-wise F1은 각 주행 행동에 대한 precision과 recall의 조화평균이다. Macro F1은 LK, LCL, LCR 세 클래스의 F1을 평균한 값으로, 클래스 불균형이 존재하는 조기 차선변경 인식 성능을 평가하기 위해 사용하였다. 각 평가 지표는 식 (15), 식 (16)과 같이 계산된다.

    F1 = 2 Precision j Recall j Precision j + Recall j , j ∈ { LK , LCL , LCR }
    (15)
    Macro F1 = 1 3 ∑ j F1 j , j ∈ { LK , LCL , LCR }
    (16)

    <Table 2>는 test set에서 선행연구와 제안 방법의 차선변경 이전 1초, 2초, 3초 시점 macro F1을 비교한 결과를 나타낸다. 비교 결과, 제안한 DNC-IMM은 1초 전 예측에서는 Shi et al.(2026)보다 낮은 성능을 보였으며, 이에 따라 1–3초 전체 평균에서도 근소하게 낮은 값을 기록하였다. 그러나 조기 차선변경 의도 인식에서 더 중요한 2–3초 구간의 장기 예측 평균에서는 0.9185로 가장 높은 성능을 보였다. 이는 Shi et al.(2026)와 비교해 전체 평균 성능은 다소 낮지만, 차선변경이 임박하기 이전의 더 이른 예측 구간에서는 제안 방법이 상대적으로 안정적인 성능을 보임을 의미한다. 또한 Mozaffari et al.(2022) 및 Liu et al.(2023)와 비교해서도 장기 예측 평균에서 더 높은 성능을 보여, 제안한 DNC-IMM 구조가 조기 의도 인식에 효과적임을 확인하였다.

    <Table 2>

    Comparative macro F1 performance on test set

    Method F1@1s↑ F1@2s↑ F1@3s↑ Average F1@2~3s↑ Average Macro F1↑
    Shi et al.(2026) 0.9802 0.9536 0.8789 0.9162 0.9376
    Mozaffari et al.(2022) 0.9750 0.9494 0.8629 0.9061 0.9291
    Liu et al.(2023) 0.7283 0.7743 0.5977 0.6860 0.7001
    DNC-IMM (ours) 0.9726 0.9567 0.8804 0.9185 0.9366

    <Fig. 3>은 대표적인 LK, LCL, LCR 시나리오에서 모드 확률이 시간에 따라 변화하는 양상을 나타낸다. LK 시나리오에서는 P ( LK ) 가 전체 구간에서 높게 유지되고 P ( LCL ) , P ( LCR ) 은 낮은 값을 유지하여, 제안 모델이 차선유지 상황에서 불필요한 차선변경 예측을 억제함을 확인할 수 있다. 반면 LCL 및 LCR 시나리오에서는 차선변경 이전부터 P ( LK ) 가 감소하고, 실제 차선변경 방향에 해당하는 P ( LCL ) 또는 P ( LCR ) 이 증가한다. 특히 실제 차선을 넘기기 전에 해당 차선변경 모드의 확률이 0.5 이상으로 상승하므로, 제안 모델이 차선변경 완료 이후가 아니라 차선변경이 진행되기 전 단계에서 의도를 인식할 수 있음을 보여준다.

    KITS-25-4-190_F3.jpg
    <Fig. 3>

    IMM mode probabilities from highD Recording 59

    정량 결과와 모드 확률 결과를 종합하면, 제안한 DNC-IMM은 최종 클래스 라벨뿐만 아니라 IMM 사후 확률의 시간적 변화도 함께 제공한다. 따라서 LK에서 LCL 또는 LCR로 사후 확률이 전이되는 과정을 통해 차선변경 의도 형성 과정을 해석 가능한 형태로 확인할 수 있다.

    3. 구성요소별 성능 분석 실험

    제안 모델에서 신경망 전이 확률 보정과 신경망 가능도 보정의 기여도를 확인하기 위해 네 가지 조건을 비교하였다. DNC-IMM은 두 calibration을 모두 적용한 모델이며, Transition-only와 Likelihood-only는 하나의 보정만 적용한 모델이다. No Neural IMM은 두 신경망 보정을 모두 제거한 기준 모델이다.

    <Table 3>

    Component ablation results

    Method F1@1s↑ F1@2s↑ F1@3s↑ Mean Macro F1↑
    Likelihood-only IMM 0.9600 0.9500 0.8767 0.9289
    Transition-only IMM 0.9578 0.9395 0.8426 0.9133
    No Neural IMM 0.5335 0.5430 0.4487 0.5084
    DNC-IMM (Proposed) 0.9726 0.9567 0.8804 0.9366

    <Table 3>은 각 모델의 예측 시점별 macro F1을 나타낸다. DNC-IMM은 모든 예측 시점에서 가장 높은 성능을 보였으며, 평균 macro F1은 0.9366로 가장 높았다. Likelihood-only는 평균 macro F1 0.9289로 Transition-only의 0.9133보다 높은 성능을 보였으며, 이는 주변 차량 맥락을 반영한 가능도 보정이 조기 차선변경 인식에 중요한 역할을 함을 의미한다. 반면 No Neural IMM은 평균 macro F1이 0.5084로 다른 조건들에 비해 낮은 성능을 보였으며, 이를 통해 신경망 보정이 없는 경우 LK에 치우친 보수적 예측이 발생할 수 있음을 확인하였다.

    <Fig. 4>는 대표적인 LCR test case에서 각 구성요소별 성능 분석 모델의 모드 사후 확률 변화를 비교한 결과이다. 제안한 DNC-IMM은 차선변경 3초 전부터 모든 평가 시점에서 LCR을 정확히 예측하며 높은 P ( LCR ) 을 유지하였다. 반면 Transition-only 모델은 1초 전에서만 LCR로 전환되어 상대적으로 늦은 반응을 보였고, Likelihood-only 모델은 2초 전부터 LCR을 예측하였으나 3초 전에는 LK로 판단하였다. 두 신경망 보정을 모두 제거한 No Neural IMM은 모든 시점에서 LK로 예측하였다. 이러한 결과는 전이 확률 보정과 가능도 보정을 함께 사용할 때 가장 이른 시점부터 안정적으로 차선변경 의도를 인식할 수 있음을 보여준다.

    KITS-25-4-190_F4.jpg
    <Fig. 4>

    Qualitative component ablation on a representative LCR test case

    4. 신경망 보정 신호 사례 분석

    <Fig. 5>는 LCR 사례를 대상으로, 주행 맥락 정보와 DNC-IMM 내부 보정 과정에서 산출되는 주요 변수들을 동일한 시간축에 정렬하여 나타낸 것이다. 그림은 총 네 개의 패널로 구성되며, (a)는 인접 차선 전방 간격과 차선변경 방향의 횡방향 속도, (b)는 LK에서 LCR로의 전이 확률 보정 신호 Δ t 와 LCR에 대한 가능도 보정 신호 r ′ t 를 나타낸다. 또한, (c)는 기본 LK에서 LCR로의 전이 확률과 보정 후 전이 확률을 함께 제시하며, (d)는 LK, LCL, LCR에 대한 최종 IMM 모드 사후 확률을 나타낸다.

    해당 사례에서는(a)의 주행 맥락 정보가(b)의 신경망 보정 신호로 변환되고, 이것이(c)의 전이 확률 변화와(d)의 최종 모드 사후 확률 변화로 이어지는 과정을 확인할 수 있다. 구체적으로(a)는 차선변경 이전 구간에서 차량의 횡방향 움직임과 인접 차선의 전방 간격이 함께 변화하는 상황을 보여주며, (b)는 이러한 주행 맥락에 대응하여 LCR에 대한 가능도 보정 신호 r ′ t 와 LK에서 LCR로의 전이 확률 보정 신호 Δ t 가 증가하는 양상을 나타낸다. 이러한 보정 신호의 영향으로(c)에서는 보정 후 LK에서 LCR로의 전이 확률이 기본 전이 확률보다 높게 산출되며, (d)에서는 P ( LK ) 가 감소하고 P ( LCR ) 이 증가하여 차선변경 이전에 LCR 모드가 우세해지는 결과가 나타난다. 이는 제안한 DNC-IMM이 주행 맥락 정보를 신경망 보정 신호, 전이 확률 행렬 보정, 측정 가능도 보정, 최종 IMM 모드 사후 확률로 연결하여 해석 가능한 판단 과정을 제공할 수 있음을 보여준다.

    KITS-25-4-190_F5.jpg
    <Fig. 5>

    Neural calibration and mode posterior changes in an LCR case

    Ⅴ. 결 론

    본 논문에서는 주변 차량 맥락을 고려한 조기 차선변경 의도 인식을 위해 DNC-IMM을 제안하였다. 제안 방법은 기존 IMM의 확률적 구조를 유지하면서 신경망 기반 전이 확률 보정과 가능도 보정을 결합하고, 별도의 분류기 출력이 아닌 보정된 IMM 모드 사후 확률을 기반으로 LK, LCL, LCR 의도를 판단하도록 설계하였다. highD 데이터셋 기반 실험 결과, 제안한 DNC-IMM은 차선 경계 통과 이전의 차선변경 의도를 안정적으로 인식할 수 있음을 보였으며, 선행연구와의 비교에서도 차선변경이 임박하기 전인 2–3초 조기 예측 구간에서 우수한 성능을 나타냈고, 구성요소별 성능 분석에서도 전이 확률 보정과 가능도 보정을 함께 사용하는 제안 구조가 단일 보정 또는 신경망 보정 제거 조건보다 높은 성능을 보임을 확인하였다. 또한 신경망 보정 신호 사례 분석을 통해 주행 맥락 정보가 전이 확률 보정, 가능도 보정, 최종 IMM 모드 사후 확률 변화로 이어지는 과정을 확인함으로써, 제안한 DNC-IMM이 해석 가능한 IMM 구조를 유지하면서도 주변 차량 맥락을 효과적으로 반영할 수 있는 조기 차선변경 의도 인식 방법임을 확인하였다.

    ACKNOWLEDGEMENTS

    본 연구는 산업통상부(RS-2025-25451359) 지원으로 수행하였습니다.

    Figure

    KITS-25-4-190_F1.jpg

    Architecture of the Neural Calibration Branch

    KITS-25-4-190_F2.jpg

    Architecture of the IMM Estimation Branch

    KITS-25-4-190_F3.jpg

    IMM mode probabilities from highD Recording 59

    KITS-25-4-190_F4.jpg

    Qualitative component ablation on a representative LCR test case

    KITS-25-4-190_F5.jpg

    Neural calibration and mode posterior changes in an LCR case

    Table

    Input feature configuration of Neural Calibration Branch

    Comparative macro F1 performance on test set

    Component ablation results

    Reference

    1. Berndt, H., Emmert, J. and Dietmayer, K.( 2008), “Continuous Driver Intention Recognition with Hidden Markov Models”, 2008 11th International IEEE Conference on Intelligent Transportation Systems (ITSC), pp.1189-1194.
    2. Cho, S. J., Kim, B. S., Kim, T. S. and Kong, S. H.( 2019), “Enhancing GNSS performance and detection of road crossing in urban area using deep learning”, 2019 IEEE Intelligent Transportation Systems Conference (ITSC), pp.2115-2120.
    3. Cui, H., Radosavljevic, V., Chou, F.-C., Lin, T.-H., Nguyen, T., Huang, T.-K., Schneider, J. and Djuric, N.( 2019), “Multimodal Trajectory Predictions for Autonomous Driving Using Deep Convolutional Networks”, 2019 International Conference on Robotics and Automation (ICRA), pp.2090-2096.
    4. Deo, N. and Trivedi, M. M.( 2018), “Multi-modal Trajectory Prediction of Surrounding Vehicles with Maneuver based LSTMs”, 2018 IEEE Intelligent Vehicles Symposium (IV), pp.1179-1184.
    5. Jung, H. Y., Paek, D. H. and Kong, S. H.( 2026), “Open-source Autonomous Driving Software Platforms: Comparison of Autoware and Apollo”, 2026 IEEE Intelligent Vehicles Symposium (IV).
    6. Kaempchen, N., Weiss, K., Schaefer, M. and Dietmayer, K. C. J.( 2004), “IMM Object Tracking for High Dynamic Driving Maneuvers”, 2004 IEEE Intelligent Vehicles Symposium (IV), pp.825-830.
    7. Kesting, A., Treiber, M. and Helbing, D.( 2007), “General Lane-Changing Model MOBIL for Car-Following Models”, Transportation Research Record, vol. 1999, no. 1, pp.86-94.
    8. Khelfa, B., Ba, I. and Tordeux, A.( 2023), “Predicting highway lane-changing maneuvers: A benchmark analysis of machine and ensemble learning algorithms”, Physica A: Statistical Mechanics and its Applications, vol. 612, Article 128471.
    9. Kim, B. and Kong, S. H.( 2013), “Two-Dimensional Compressed Correlator for Fast Acquisition of BOC(m, n) Signals”, IEEE Transactions on Vehicular Technology, vol. 63, no. 6, pp.2662-2672.
    10. Kong, S.-H.( 2014), “Fast Multi-Satellite ML Acquisition for A-GPS”, IEEE Transactions on Wireless Communications, vol. 13, no. 9, pp.4935-4946.
    11. Krajewski, R., Bock, J., Kloeker, L. and Eckstein, L.( 2018), “The highD Dataset: A Drone Dataset of Naturalistic Vehicle Trajectories on German Highways for Validation of Highly Automated Driving Systems”, 2018 21st IEEE International Conference on Intelligent Transportation Systems (ITSC), pp.2118-2125.
    12. Lin, L., Li, W., Bi, H. and Qin, L.( 2021), “Vehicle Trajectory Prediction Using LSTMs With Spatial-Temporal Attention Mechanisms”, IEEE Intelligent Transportation Systems Magazine, vol. 14, no. 2, pp.197-208.
    13. Liu, P., Qu, T., Gao, H. and Gong, X.( 2023), “Driving Intention Recognition of Surrounding Vehicles Based on a Time-Sequenced Weights Hidden Markov Model for Autonomous Driving”, Sensors, vol. 23, no. 21, Article 8761.
    14. Mazor, E., Averbuch, A., Bar-Shalom, Y. and Dayan, J.( 1998), “Interacting Multiple Model Methods in Target Tracking: A Survey”, IEEE Transactions on Aerospace and Electronic Systems, vol. 34, no. 1, pp.103-123.
    15. Messaoud, K., Yahiaoui, I., Verroust-Blondet, A. and Nashashibi, F.( 2021), “Attention Based Vehicle Trajectory Prediction”, IEEE Transactions on Intelligent Vehicles, vol. 6, no. 1, pp.175-185.
    16. Morris, B., Doshi, A. and Trivedi, M.( 2011), “Lane Change Intent Prediction for Driver Assistance: On-Road Design and Evaluation”, 2011 IEEE Intelligent Vehicles Symposium (IV), pp.895-901.
    17. Mozaffari, S., Arnold, E., Dianati, M. and Fallah, S.( 2022), “Early Lane Change Prediction for Automated Driving Systems Using Multi-Task Attention-based Convolutional Neural Networks”, IEEE Transactions on Intelligent Vehicles, vol. 7, no. 3, pp.758-770.
    18. Park, S. H., Kim, B., Kang, C. M., Chung, C. C. and Choi, J. W.( 2018), “Sequence-to-Sequence Prediction of Vehicle Trajectory via LSTM Encoder-Decoder Architecture”, 2018 IEEE Intelligent Vehicles Symposium (IV), pp.1672-1678.
    19. Schubert, R., Schulze, K. and Wanielik, G.( 2010), “Situation Assessment for Automatic Lane-Change Maneuvers”, IEEE Transactions on Intelligent Transportation Systems, vol. 11, no. 3, pp.607-616.
    20. Shi, J., Lin, Y., Hua, Y., Wang, Z., Zhang, Z., Zheng, W., Song, Y., Lu, K. and Lu, S.( 2026), “Multiscenario Highway Lane-Change Intention Prediction: A Physics-Informed AI Framework for Three-Class Classification”, International Conference on Smart Transportation and City Engineering (STCE 2025), vol. 14120, SPIE.
    21. Toledo-Moreo, R. and Zamora-Izquierdo, M. A.( 2009), “IMM-Based Lane-Change Prediction in Highways with Low-Cost GPS/INS”, IEEE Transactions on Intelligent Transportation Systems, vol. 10, no. 1, pp.180-185.
    22. Zhang, Y., Hu, J. and Yin, G.( 2021), “A Bayesian inference based adaptive lane change prediction model”, Transportation Research Part C: Emerging Technologies, vol. 132, Article 103363.
    23. Zhang, Y., Lin, Q., Wang, J., Verwer, S. and Dolan, J. M.( 2018), “Lane-change Intention Estimation for Car-following Control in Autonomous Driving”, IEEE Transactions on Intelligent Vehicles, vol. 3, no. 3, pp.276-286.

    저자소개

    Footnote