Journal Search Engine

to

Search Advanced Search Adode Reader(link)
View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.24 No.6 pp.121-133
DOI : https://doi.org/10.12815/kits.2025.24.6.121

Anticipating Front-Side Vehicles’ Maneuvers for Trustworthy Autonomous Driving

Hyunsik Min*, Yeeun Kim**, Jungryul Kim***, Seongjin Lee***, Byeongjoon Noh****
*Department of Future Convergence Technology, Soonchunhyang University
**Department of Civil and Environmental & Construction Engineering, University of Central Florida
***ITS Team, Nota AI
****Department of AI and Big Data, Soonchunhyang University
† Corresponding author : Byeongjoon Noh, powernoh@sch.ac.kr
9 November 2025 │ 29 November 2025 │ 5 December 2025

Abstract


The advent of level 4+ autonomous driving exposes the limitations of threshold-based reactive planning and underscores the necessity of predictive strategies to ensure safety and ride comfort. This paper presents a framework that proactively forecasts the trajectory of the front-side vehicle to enable anticipatory decision-making. Inter-vehicle interactions in the front-side view were modeled as a spatiotemporal graph, and a Temporal Graph Cross Attention (TGCA) module performed cross-frame attention to fuse temporal trajectory cues while integrating edge weights to emphasize contextually influential front-side vehicles selectively, thereby refining the estimates of their trajectories and maneuver intent. Evaluated on real-world front-side dashcam footage, the approach consistently outperforms representative graph-based and sequence-based predictors across key metrics. These findings suggest that a spatiotemporal cross-attention design for TGCA effectively captures the interaction patterns in natural traffic scenes, supporting a transition from threshold-based control to anticipatory driving decisions informed by predicted front-side vehicle maneuvers.


Autonomous driving system , Anticipatory driving , Front-side vehicle trajectory prediction , Spatio-temporal interaction graph , Temporal Graph Cross Attention

전방 차량의 선제적 기동 판단을 통한 신뢰 가능한 자율주행 시스템 연구

민 현 식*, 김 예 은**, 김 정 렬***, 이 성 진***, 노 병 준****
*주저자 : 순천향대학교 미래융합기술학과 석사과정
**공저자 : University of Central Florida 박사후연구원
***공저자 : Nota AI ITS팀 책임연구원
****교신저자 : 순천향대학교 AI·빅데이터학과 조교수

초록


본 연구는 레벨 4+ 자율주행의 신뢰성과 승차감을 확보하기 위해, 임계값 중심의 반응적 계획 한계를 보완하고 전방 차량의 미래 궤적을 조기 예측해 선제적 주행 판단을 구현하는 프 레임워크를 제안한다. 제안하는 프레임워크는 전방 영상에서 차량 간 상호작용을 시공간 그래 프 구조로 표현한다. 시공간 그래프는 Temporal Graph Cross Attention(TGCA)을 통해 프레임 간 교차 어텐션으로 시간적 궤적 정보를 통합하고, 엣지 가중치를 반영해 문맥상 영향도가 큰 전 방 차량을 선택적으로 강조함으로써 전방 차량의 궤적과 기동 의도를 정교하게 추정한다. 실 제 도로에서 수집한 전방 영상 데이터로 검증한 결과, 다양한 그래프 기반 및 시계열 기반 예 측 모델 대비 주요 평가 지표에서 일관된 우위를 보였다. 이러한 성능은 시공간 정보를 통합한 TGCA의 교차 어텐션 설계가 실제 교통 장면의 상호작용 패턴을 효과적으로 반영한 결과이며, 나아가 임계값 중심의 제어에서 전방 차량 기동 예측 정보 기반 선제적 주행 판단으로의 전환 가능성을 제시한다.


자율주행시스템 , 선제적 주행 판단 , 전방 차량 궤적 예측 , 시공간 상호작용 그래프 , Temporal Graph Cross Attention

    Ⅰ. 서 론

    레벨 4 이상의 자율주행 단계에서는 특정 조건(기상, 속도 범위 등) 하에서 운전자의 개입 없이 차량이 주 행 기능 전반을 독립적으로 수행할 수 있어야 한다(SAE International, 2021;Chen et al., 2022). 이러한 자율주 행 시스템은 충돌 회피와 같은 기능적 안전성을 넘어, 승차감과 심리적 안정감과 같은 요소들이 종합적으로 보장되어야 사용자의 자율주행 차량에 대한 신뢰와 수용성을 지속적으로 확보할 수 있다(Omeiza et al., 2022).

    현행 자율주행 시스템 및 첨단운전자보조시스템(Advanced Driver Assistance System, ADAS)은 비상 제동, 차로 유지 보조, 적응형 정속 및 차간거리 제어 등 주요 기능에서 상용화 단계에 이르렀으나(Groelke et al., 2021;Bian et al., 2020;Zhang et al., 2024), 센서 기반 거리·시간 임계값에 의존하는 반응적 제어 구조를 갖기 때문에 여전히 한계가 존재한다(Nidamanuri et al., 2022). 한 예로 전방 또는 인접 차량이 돌발적인 기동(차선 변경, 감속 등)을 하는 경우, 시스템은 상황이 임계 상태에 근접한 이후에야 감지·대응하는 경향이 있으며 (Groelke et al., 2021), 이로 인해 1) 급감속 및 급제동과 같은 잦은 임박 상황 대응으로 인한 주행 안정성의 저하, 2) 이러한 반응적 조작에 의한 후방 충격파 전달로 인한 교통류 안정성의 약화, 3) 갑작스러운 제동과 불안정한 기동으로 인한 탑승자의 불안감·주행 스트레스 유발 및 자율주행 시스템 신뢰도 저하와 같은 문제 를 야기하며, 이는 자율주행 기능의 지속적 사용을 저해할 수 있다(Bae et al., 2020;Peng et al., 2024).

    이러한 한계를 극복하기 위해서는, 주변 차량의 주행 행태와 교통 상황을 사전에 파악하고, 예측하여 대응 하는 능력, 즉, 선제적 주행과 같은 기능의 도입이 필수적이다(Liu et al., 2024;Chen et al., 2025;Reuten et al., 2024). 특히, 전방 차량의 향후 이동 궤적과 그 의도를 조기에 파악할 수 있다면, 자율주행차량(기준 차량)은 불필요한 급제동 없이 여유 있는 대응이 가능하며, 이는 주행 안정성과 교통 흐름 유지, 그리고 탑승자의 심 리적 만족도 향상으로도 이어질 수 있다(Noh and Yeo, 2022).

    본 연구는 이러한 목표를 달성하기 위해, 전방 영상을 기반으로 자율주행차량과 전방 차량의 움직임을 조 기에 판단하는 프레임워크를 제안한다. 제안하는 프레임워크는 자율주행차량이 영상 속 차량 간 상호작용을 시공간 구조로 표현하고, 이를 통해 전방 차량의 향후 궤적과 기동 의도를 미리 추정함으로써 자율주행차량 이 부드러운 감속·가속 등 선제적 대응을 수행하도록 한다. 이 과정은 급제동 빈도를 줄이고 승차감을 높일 뿐 아니라, 후방 차량으로 전달되는 교통 충격파를 완화하여 교통 흐름을 안정화하는 효과가 있다.

    제안하는 프레임워크는 1) 시공간 상호작용 구조화, 2) 문맥 기반 중요도 부여, 3) 미래 기동 예측의 세 축 으로 구성된다. 먼저, 도로 장면에서 차량 상태 정보를 추출하고 이를 시공간 그래프 형태로 정렬하여, 각 시 간 단위에서 차량 간 상대 위치와 상호작용 구조를 표현한다(Kipf and Welling, 2016;Zhao et al., 2019). 이때, 그래프의 노드는 차량을, 간선은 상대적 거리·위치 관계를 나타내며, 단일 영상 관측을 시공간적 상호작용의 표현으로 확장한다. 다음으로, Temporal Graph Cross Attention(TGCA) 메커니즘을 적용하여 시간에 따른 차량 간 상호작용을 학습한다. TGCA는 자율주행차량의 주행에 실질적 영향을 미치는 차량을 문맥적으로 선별하 여 가중치를 동적으로 조정함으로써, 단순 근접 정보가 아닌 의미적 영향도 기반의 학습을 수행한다. 마지막 으로, 학습된 시공간 표현을 기반으로 전방 차량의 향후 궤적과 기동 패턴을 추정한다. 이를 통해 복잡한 교 통 환경에서도 선행차량의 의도 변화를 조기에 포착하고, 자율주행차량이 급제동이 아닌 여유 있는 기동을 선택하도록 지원한다.

    이와 같은 접근을 통해 본 연구는 임계값 중심의 제어와 같은 기존의 자율주행 방식에서 벗어나, 전방 차 량 기동 예측 기반 선제적 주행 판단이라는 새로운 관점을 제시한다.

    Ⅱ. 선행연구 고찰

    자율주행 기술은 단순 충돌 회피와 같은 기능적 안전 수준을 넘어, 탑승자의 심리적 안정감과 승차감 확 보를 함께 고려하는 방향으로 발전하고 있다(Omeiza et al., 2022;Nidamanuri et al., 2022). 기존의 연구들을 살펴보면, 급격한 기동을 최소화하고, 잠재적 위험을 사전에 인지하며, 인간 운전자와 유사한 자연스러운 주 행 패턴을 구현하는 데 초점을 두고 있다(Liu et al., 2024;Chen et al., 2025;Peng et al., 2024;Reuten et al., 2024). 예를 들어, 불필요한 가속·감속을 억제하여 탑승자의 만족도를 높이거나(Peng et al., 2024), 차량의 예 정된 조작을 사전에 예고하여 심리적 안정감을 향상하는 접근이 제시된 바 있다(Reuten et al., 2024). 특히, 고속도로 진출입과 같이 기동 변화가 빈번한 환경에서, 조향 및 가감속의 부드러움을 정량화하고 이를 개선 하기 위한 전략도 일부 보고되었다(Liu et al., 2024;Baek et al., 2025).

    이러한 연구들은 자율주행 시스템이 주변 차량의 행태를 조기에 파악하고, 급격한 조작 없이 부드럽고 안 정적인 대응을 수행해야 함을 강조하고 있다(Bae et al., 2020). 본 연구 또한 전방 차량 기동을 사전에 추정함 으로써 불필요하고 급격한 차량 반응을 억제하고 안정적인 주행 흐름을 유도한다는 점에서, 인간 중심 안전 성 관점의 연구 흐름과 그 결을 함께한다(Groelke et al., 2021;Zhang et al., 2024). 특히, 기존 연구들이 고속 도로 진출입과 같은 특정 시나리오나 제한된 교통 상황을 중심으로 승차감 개선을 모색한 데 비해, 본 연구 는 일반적인 고속도로 주행 상황에서 영상 정보를 통해 기동 예측을 수행함으로써, 다양한 차량 간 상호작용 이 발생하는 구간에서도 선제적 판단이 가능함을 보이고자 한다.

    이와 같은 선제적 대응 전략이 실효성을 갖기 위해서는 전방 차량의 미래 궤적을 정밀하게 예측하는 기술 적 토대가 필수적으로 요구된다. 차량 궤적 예측은 자율주행 시스템의 핵심 요소로, 교통 주체 간 시공간적 상호작용과 도로 구조, 운전자의 행동 불확실성을 정교하게 고려해야 한다(Sheng et al., 2022;Lin et al., 2021). 최근 연구들을 살펴보면, Transformer 기반 구조와 그래프 기반 표현을 활용하여 예측 정확도와 계산 효율성을 향상시키는 방향으로 발전하고 있다(Zhou et al., 2023;Tang et al., 2024;Hong et al., 2025). 몇 가지 예시를 살펴보자면, 차량을 그래프의 노드로 보고 상호작용 강도를 학습하는 방식(Zhang et al., 2022a)과 지 역·전역 문맥을 통합하여 복잡한 교통 상황의 불확실성을 반영하는 궤적 예측 연구도 제안된 바 있다. 또한, 도로 구조나 운전 의도를 예측 과정에 포함하여 행동적 일관성과 도로 제약을 반영하는 연구(Zhou et al., 2025), 다중 미래 시나리오 생성을 위한 확산 모델 기반 접근 또한 보고되고 있다(You et al., 2024).

    그러나 대부분의 기존 연구는 주변 차량을 동일한 중요도로 처리하거나 장면 전체에 대한 포괄적 표현에 의존하여, 실제 자율주행차량의 주행 의사결정에 가장 큰 영향을 미치는 요인 중 하나인 전방 및 인접 차량 의 상대적 중요도를 반영하지 못한다는 한계가 있다. 이러한 문제의식에 기반하여, 본 연구는 차량 전방을 촬영한 영상으로부터 시공간 그래프를 구성하고, 교차 어텐션 메커니즘(Cross attention mechanism)을 적용함 으로써, 차량의 주행에 실질적 영향을 미칠 전방 차량을 선택적으로 강조하도록 설계하였다. 이를 통해 전방 차량의 궤적을 조기에 파악하고, 급격한 조작을 최소화하는 선제적 대응을 가능하게 한다는 점에서 기존 궤 적 예측 연구 대비 차별적 의의를 갖는다.

    Ⅲ. 제안 방법론

    1. 문제 정의

    본 연구의 목표는 전방에 위치한 차량의 향후 궤적을 조기에 예측하여, 자율주행 차량이 급제동이나 불연 속적 조향과 같은 불안정한 조작을 수행하기 전에 선제적 대응을 가능하게 하는 데 있다. 이를 위해 전방 차 량 카메라로부터 획득한 시각 정보를 기반으로, 자율주행차량과 선행 차량 간 상대적 위치 변화를 관찰하고, 시간에 따른 상호작용을 기반으로 미래 궤적을 추정한다.

    이러한 문제를 모델링하기 위해, 본 연구에서는 연속된 시각 정보로부터 시공간 그래프를 구성한다. 각 시 점 t에서 단일 프레임은 그래프 Gt = {Vt, Et}는 노드 집합 Vt 와 간선 집합 Et 로 정의된다. 여기서 Vt 는 자율주행차량 및 전방 차량의 위치 좌표를 포함하는 노드 집합을, Et 는 차량 간의 상대적 거리 정보를 포함하는 간선 집합을 의미한다. 과거의 주행 맥락을 반영하기 위해, 관찰 구간(Observation Horizon)을 1 ≤ t ≤ Tobs 로 설정하고, 해당 구간 동안 수집된 프레임별 그래프를 시계열 순서로 연결하여 입력 그래프 시퀀스를 구성한다. 입력 그래프 시퀀스는 다음과 같이 표현된다.

    { G t } t = 1 T o b s
    (1)

    모델의 목적은 관찰된 시퀀스 Gt 를 입력으로 하여, 예측 구간(Prediction Horizon) Tobs + 1 ≦ t ≦ Tobs + Tpred 동안 선행 차량의 미래 상대 좌표를 추정하는 것이다. 이를 수식으로 표현하면 다음과 같다.

    Y ^ t = f θ ( G t ) ,      t = T obs + 1 , ⋯ , T obs + T pred
    (2)

    여기서 fθ 는 학습 가능한 파라미터 θ 를 갖는 예측 모델이며, 출력 Y ^ t 는 각 시점 t에서 선행 차량의 이차 원 상대 위치 좌표 (x, y)를 의미한다. 모델은 예측된 궤적과 실제 궤적(Ground Truth) 간 오차를 최소화하는 방향으로 학습된다.

    2. 제안 프레임워크

    본 연구에서 제안하는 프레임워크는 <Fig. 1>과 같으며, 전방 주행 영상으로부터 주변 차량의 상호작용을 구조적으로 해석하고, 이를 바탕으로 선행 차량의 기동 변화를 조기에 포착하는 궤적 예측 프레임워크이다. 전체 구조는 1) 영상 처리 및 시공간 그래프 구성, 2) 시공간 상호작용 학습을 통한 미래 궤적 예측, 3) 예측 결과에 기반한 기동 판단의 세 단계로 이루어진다.

    KITS-24-6-121_F1.jpg
    <Fig. 1>

    Overview of the proposed monocular dashcam-based anticipatory driving framework.

    먼저, 영상 처리 및 시공간 그래프 구성에서는 기준 차량에 장착된 카메라로부터 촬영된 전방 영상으로부 터 전방 차량을 탐지 및 추적하고, 상대 좌표를 기반으로 시점별 그래프를 구성한다. 그래프의 구체적인 표 현 방식은 이후 절에서 상세히 기술한다. 다음으로, Temporal Graph Cross Attention (TGCA) 전략을 통해 시 간에 따른 상호작용 패턴과 차량간 영향도를 학습한다. 이를 통해 장면 내 다수 차량 중 선행 차량의 주행에 실질적 영향을 주는 대상에 집중하고, 미래 위치를 정밀하게 추정할 수 있다. 마지막으로, 예측 궤적의 변화 양상 (방향 전환, 감속 경향 등)을 기반으로 잠재적 기동 변화를 해석하고, 이를 통해 충돌 회피나 급제동 이 전에 안정적 조치를 취할 수 있는 판단 근거를 제공한다.

    1) 영상 처리 및 시공간 그래프 표현

    본 절에서는 영상으로부터 전방 차량을 탐지 및 추적하고, 이를 시공간 그래프로 표현하는 일련의 과정에 대해 서술한다. 본 절의 목적은 연속된 영상 프레임 내에서 각 차량의 위치 정보를 정량적으로 추출하고, 차 량 간 상호작용 관계를 수학적으로 표현 가능한 그래프 형태로 변환하는 것이다.

    먼저, 영상 내 전방 차량의 탐지는 컴퓨터 비전 분야에서 널리 활용되는 You Only Look Once version 11 (YOLOv11) 모델(Jocher and Qiu, 2024)을 활용하였으며, 탐지된 차량의 프레임 간 추적은 다중 객체 추적기인 ByteTrack(Zhang et al., 2022b)을 활용하였다. 이후, 이미지 평면상의 픽셀 좌표는 OpenCV 라이브러리의 원근 변환(Perspective Transform) 함수를 활용하여 도로 평면 기준 좌표계로 투영된다(OpenCV Team, 2021). 이를 통해 장면 내 차량의 상대 위치 및 거리 정보가 확보되며(OpenCV Team, 2021; Noh et al., 2018), 이는 그래프 기반 상호작용 모델링의 기초 입력으로 활용된다.

    따라서, 각 시점t에서의 노드 집합은 V t = { p t ego , p t 1 , ⋯ , p t N } 와 같이 정의되며, 각 차량은 p t i = ( x t i , y t i ) 영상 내 좌표로 나타낼 수 있다. 이때, p t e g o 는 자율주행차량을 의미한다. 또한, 간선 집합은 E t = { 1 / ( d 0 , i + ϵ ) |   i = 1 , ⋯ , N } 는 자율주행차량을 의미한다. 또한, 간선 집합은 Et = {1/(d0, i + ϵ) ∣ i = 1,⋯, N }와 같이 자율주행차량과 전방 차량 간 유클리드 거리(d)의 역수 형태 로 정의된 간선 가중치로 구성된다. 즉, 거리가 가까울수록(d가 작을수록) 가중치 값이 커지도록 설계하여, 모델이 주행에 직접적인 위협이나 영향을 주는 인접 차량에 더 높은 중요도를 부여하도록 유도하였다. 이때 분모가 0이 되는 것을 방지하기 위한 보정 상수를 포함하여 계산한다. 이렇게 얻은 프레임별 그래프를 시간 축을 따라 순차적으로 연결하여 그래프 시퀀스를 이루며, 이는 이후 궤적 예측 모듈의 입력으로 사용된다. 이러한 구조를 통해 영상 기반 관측을 시공간 상호작용 표현으로 변환함으로써 실제 주행 환경에서의 차량 간 관계 변화를 효과적으로 반영할 수 있다.

    2) 전방 차량 궤적 예측

    본 절에서는 구성된 시계열 그래프를 입력으로 하여 선행 차량의 향후 궤적을 예측하기 위한 방법론에 관 하여 서술한다. 제안하는 전방 차량 궤적 예측 모델은 <Fig. 2>와 같다. 입력으로는 인식된 전방 영상으로부 터 구축된 시계열 그래프가 주어지며, 궤적 예측 모델은 이러한 시계열 그래프를 기반으로 차량 간 상대 움 직임과 상호작용 변화를 단계적으로 학습한다.

    KITS-24-6-121_F2.jpg
    <Fig. 2>

    The proposed Temporal Graph Cross Attention (TGCA) model

    먼저, 시점 t의 차량 특징 행렬은 학습 가능한 투영 행렬을 통해 Query로 변환되고, 이전 시점 t - 1의 특 징 행렬은 Key와 Value로 선형 투영(Linear Projection)되어 시간적 교차 어텐션의 입력을 구성한다. 이후 TGCA 모듈은 이들을 활용하여 상호작용을 학습하는데, 이 과정에서 엣지 가중치(이전 절에서 서술한 Et )가 어텐션 연산의 핵심 조절 인자(Modulator)로 작용한다.

    구체적으로, Query와 Key의 내적(Dot-product)을 통해 산출된 어텐션 스코어 행렬에 정규화된 엣지 가중치 를 요소별 곱(Element-wise multiplication) 연산으로 반영한다. 이는 단순히 유사도에 의존하는 기존 어텐션과 달리, 물리적 거리가 가깝거나 상호작용 강도가 높은 차량에 구조적으로 더 높은 가중치를 부여하도록 유도 한다. 이렇게 보정된 어텐션 분포는 Softmax 함수를 거쳐 Value와 결합됨으로써, 주행 문맥과 공간적 근접성 이 동시에 반영된 시계열 표현으로 통합된다.

    이후, 통합된 시공간 특징은 회귀 모듈을 통해 미래 시점의 선행 차량의 상대 위치로 변환되며, 이러한 구 조적 설정을 통해 모델은 단순한 위치 연속성 기반 예측을 넘어, 주행 문맥과 상호작용을 반영한 선제적 궤 적 추정이 가능하다. 결과적으로, 제안된 구조는 갑작스러운 속도 변화 또는 끼어들기와 같이 실제 위험도 또는 영향도가 높은 대상에 집중하여 보다 안정적이고 현실적인 궤적 예측 결과를 도출한다.

    3) 예측 기반 주행 형태 판별

    본 절에서는 예측된 전방 차량 궤적을 활용하여 향후 주행 행태를 판단하는 절차에 관하여 서술한다. 이 단계의 목적은 궤적 예측 결과를 의미적 주행 의도 정보로 변환하여, 기준 차량의 선제적 주행 전략 수립을 지원하는 것이다. 즉, 모델이 산출한 연속 좌표 열을 기반으로 전방 차량의 잠재적 기동 변화를 조기에 파악 하여 이에 적합한 대응 판단(감속 준비, 차간거리 유지, 부드러운 조향 계획 등)을 가능하게 한다.

    본 과정은 예측 궤적의 공간적·시간적 변화 패턴을 활용하여 규칙 기반으로 판단하며, 이는 예측 결과를 해석 가능한 형태로 제공함으로써 향후 실제 제어 모듈과의 연동 가능성을 높이는 동시에, 운전자 승차감 유 지 및 안전 중심 주행 전략을 지원하는 실용적인 접근이다.

    예측된 주행 행태는 전방 차량의 궤적 변화 양상에 따라 1) 인접 차선 유지, 2) 기준 차선 방향 진입, 3) 반 대 방향 차선 이동, 4) 기준 차선 내 유지 등과 같은 네 개의 대표적 시나리오로 구분할 수 있다. 이와 같은 분류는 예측 좌표 열을 단순 수치 정보가 아닌 미래 교통 상호작용에 대한 의미적 판단 요소로 해석하는 과 정으로, 기준 차량이 위험 상황을 조기에 인지하고 부드러운 감속, 차간거리 조절, 조향 계획 등의 대응을 준 비할 수 있도록 한다. 결과적으로, 제안하는 프레임워크는 전방 차량의 기동 변화를 능동적으로 파악하여 급 작스러운 조작을 줄이고 안정적인 추종 주행을 유도하는 선제적 주행 판단을 위한 근거를 제공한다.

    Ⅳ. 실험 및 결과

    1. 실험 설계

    본 절에서는 제안한 프레임워크의 핵심인 궤적 예측 모델의 성능 검증을 위한 실험 환경과 설계 내용을 기술한다. 실험은 데이터 수집 환경, 비교 모델, 평가 지표 정의, 학습 방법으로 구성되며, 실제 도로 주행 영 상을 기반으로 모델의 예측 정밀도와 적용 가능성을 검증하였다.

    1) 데이터 수집

    데이터는 충청남도 천안–아산 지역의 자동차 전용도로(약 7 km 구간)에서 직접 수집하였다. 테스트 차량 전방에 탑재된 카메라로 주행 영상을 촬영하였으며, 영상에는 차선 변경, 차선 유지 등 다양한 상호작용 상 황이 포함된다. 수집한 데이터의 대표적 예시는 <Fig. 3>에 제시하였으며, 우측 인접 차선의 트럭이 기준 차 선으로 진입하는 cut-in 사례를 전방 대시캠 영상과 탑뷰 기반 상호작용 그래프 형태로 함께 보여준다. 영상 은 초당 30프레임 (30fps)로 촬영되었으며, 이로부터 총 261개의 클립(클립당 약 10초, 차선 변경 상황 약 67 개, 차선 유지 상황 약 194개)을 확보하였다. 모델 입력은 슬라이딩 윈도우 방식으로 생성하였으며, 관측 구 간 Tobs 는 약 1초(30프레임), 예측 구간 Tpred는 약 5초(150프레임)으로 설정하였다. 이는 실제 주행 환경에 서 단기 관측을 기반으로 향후 기동을 조기에 판단해야 한다는 조건을 반영한 것이다.

    KITS-24-6-121_F3.jpg
    <Fig. 3>

    Representative example of a cut-in scenario

    2) 비교 모델

    제안 모델의 효과를 검증하기 위해 그래프 기반 및 시계열 기반 대표 모델들을 비교 대상으로 선정하였 다. 그래프 기반 모델로는 차량 간 공간적 상호작용을 직접 반영하는 Graph Convolutional Network (GCN) (Kipf and Welling, 2016)와 Graph Attention Network (GAT) (Veličković et al., 2017)를 사용하였다. 한편, 시계 열 기반 모델인 Long Short-Term Memory (LSTM) (Hochreiter and Schmidhuber, 1997)과 Transformer (Vaswani et al., 2017)를 적용하여 시간 의존성 학습 성능을 검토하였다. 이러한 구성은 단순 시간 예측 기반 접근법과 공간 관계 기반 접근법 모두 포함함으로써, 제안하는 TGCA 기반 궤적 예측 모델이 시공간 정보를 통합적으 로 반영하여 성능을 개선하는 지를 종합적으로 검증하기 위함이다.

    3) 평가 지표

    모델의 궤적 예측 성능은 오차 위치 기반 지표를 통해 정량적으로 평가하였다. Mean Absolute Error (MAE) 는 프레임 단위 절대 오차의 평균을 나타내며, 값이 낮을수록 전체 예측 구간에서의 위치 오차가 작아 모델 의 전반적 정확도가 높음을 의미한다. Root Mean Square Error (RMSE)는 큰 오차에 더 민감하게 반응하는 지 표로, 값이 높을 경우 일부 시점에서 큰 예측 실패가 발생했음을 의미하며, 이는 모델의 안정성을 저해하는 요인으로 해석된다. Min Average Displacement Error (Min ADE)는 전체 예측 구간에서의 평균 위치 오차로, 낮을수록 모델이 전체 시퀀스를 일관되게 잘 추적했음을 의미한다. Min Final Displacement Error (Min FDE) 는 예측 종료 시점에서의 최종 위치 오차를 측정 하며, 장기 예측 성능 및 최종 기동 판단의 신뢰성을 평가 하는 핵심 지표로서 값이 낮을수록 바람직하다.

    이들 지표는 다중 차량 궤적 예측 연구에서 표준적으로 활용되는 평가 체계로, 단순 평균 성능뿐 아니라 최적 궤적 선택 시의 성능까지 포괄적으로 확인할 수 있다(Zhou et al., 2023;Tang et al., 2024;Sun et al., 2024). 이를 통해 제안 모델의 예측 정밀도 및 신뢰도를 기존 기법과 객관적으로 비교하였다.

    4) 구현 및 학습 설정

    본 절에서는 제안하는 궤적 예측 모델의 재현을 위해 필요한 학습 시 설정 값들에 대하여 서술한다. 모델 학습에는 Adam Optimizer(Kingma and Ba, 2014)를 사용하였으며, 학습률은 0.001로 설정하였다. 이는 최근 궤 적 예측 및 시공간 그래프 기반 예측 모델에서 Adam Optimizer(learning rate = 0.001)을 기본 설정으로 사용하 는 선행연구들의 설정을 참고한 것이며, 본 연구에서도 여러 후보 학습률 중 해당 값이 가장 안정적인 수렴 특성과 낮은 검증 오차를 보여 채택하였다. 배치 크기는 64로 설정하였으며, 이는 GPU 메모리 제약 내에서 batch-level variance를 효과적으로 줄여 학습 안정성을 확보할 수 있는 값으로 예비 실험을 통해 확인되었다.

    제안하는 TGCA 모델의 은닉 차원은 128로 설정하였다. 이는 64·128·256 차원을 비교한 예비 실험에서 128이 가장 낮은 검증 오차(MAE 및 RMSE)를 보였고, 모델 복잡도와 일반화 성능의 균형을 고려한 결과이 다. 또한 어텐션 연산의 헤드 수는 4로 설정하였으며, 이는 Transformer 기반 구조에서 경량성(연산 효율)과 다중 표현 학습의 장점을 동시에 확보할 수 있는 값이다.

    학습은 총 100 epoch 동안 수행하였으며, 예비 실험 결과 약 80 epoch 이후부터 성능 향상이 미미해지고, 110 epoch 이후 과적합 조짐이 나타나는 것을 확인하여 적절한 에포크 수로 판단하였다.

    2. 성능 평가

    본 절에서는 제안한 궤적 예측 성능을 그래프 기반(GCN, GAT) 및 시계열 기반 (LSTM, Transformer)모델 과 비교한 결과에 대해 서술한다. 실험 결과는 <Table 1>에 정리되어 있다. 이때, 표에 제시된 P (s)는 미래 예측 시점(초)을 의미하며, 본 평가는 관측 종료 시점 이후 1초(30프레임)부터 5초(150프레임)까지의 구간에 대해 단계적으로 성능을 측정하였다. 제안하는 궤적 예측 모델은 MAE 약 0.085, RMSE 약 0.269, Min ADE 0.586, Min FDE 약 0.513로 모든 지표에서 비교 모델 대비 우수한 성능을 보였다. 그래프 기반 모델 및 시계 열 기반 모델은 시간적 연속성 또는 공간적 상호작용 중 일부만을 학습하기에, 시공간적 정보를 모두 반영한 제안하는 모델 대비 오차가 상대적으로 높게 나타난 것으로 사료된다. 이는 시공간 정보를 반영한 교차 어텐 션이 실제 도로 환경에서 차량 간 상호작용을 정교하게 반영할 수 있다는 것을 보이며, 제안하는 접근 방법 이 복잡한 교통 장면에서도 안정적이고 신뢰도 높은 예측 성능을 제공함을 확인할 수 있다.

    <Table 1>

    Performance Comparison of Graph based, Time series, and Proposed Models

    Baseline Prediction window P (s) MAE RMSE MinADE MinFDE
    GCN 1 0.665 0.955 3.689 4.286
    2 0.778 1.066 4.386 4.227
    3 0.772 1.051 4.348 4.242
    4 0.774 1.055 4.352 4.257
    5 0.784 1.066 4.401 4.330
    GAT 1 0.636 0.918 3.572 4.063
    2 0.739 1.025 4.219 4.135
    3 0.746 1.033 4.274 4.185
    4 0.754 1.048 4.320 4.21
    5 0.759 1.057 4.351 4.265
    LSTM 1 0.492 0.705 2.464 3.984
    2 0.903 1.132 4.631 4.700
    3 0.868 1.097 4.415 3.938
    4 0.743 0.972 3.686 3.52
    5 0.784 1.058 3.824 4.137
    Transformer 1 0.582 0.770 2.969 3.61
    2 0.732 0.923 3.739 3.696
    3 0.767 0.967 3.902 3.873
    4 0.803 1.019 4.13 4.199
    5 0.954 1.199 4.88 5.471
    Ours 1 0.087 0.279 0.587 0.504
    2 0.081 0.256 0.569 0.505
    3 0.080 0.250 0.567 0.509
    4 0.085 0.268 0.580 0.515
    5 0.092 0.294 0.625 0.533

    3. 논의

    본 연구는 자율주행 시스템에서 선제적 주행 판단을 지원하기 위해 전방 차량 궤적 예측을 중심으로 한 시공간 학습 프레임워크를 제시하였다. 핵심 구성요소인 TGCA 메커니즘은 단기 관측 구간에서 발생하는 차 량 간 상호작용을 구조적으로 해석하고, 주행 맥락에서 영향도가 높은 객체에 선택적으로 집중함으로써 전 방 차량의 미래 기동을 조기에 추정할 수 있도록 설계되었다. 이를 통해 임계값 기반 대응에 머물던 기존 접 근과 달리, 문맥 인식 기반의 예측적 주행 전략 수립이 가능함을 보였다.

    제안한 프레임워크는 실제 도로 환경에서 수집된 전방 영상 데이터에 기반하여 검증하였다. 다양한 그래 프 기반 및 시계열 기반 예측 모델과의 비교 결과, 제안하는 궤적 예측 모델이 모든 평가 지표에서 안정적 우위를 보였으며, 이는 시공간 정보를 통합한 교차 어텐션 구조가 실제 교통 장면의 상호작용 패턴을 효과적 으로 반영함을 의미한다. 본 결과는 단일 카메라 입력만으로도 실시간 예측 주행 기반 판단 모듈을 구성할 수 있는 가능성 또한 제시한다.

    아울러 본 연구의 범용성과 관련하여, 제시된 4가지 주행 기동 시나리오는 예측된 연속 궤적의 활용성을 보여주기 위한 대표적인 해석 사례(Representative Examples)이며 모델의 입력을 제한하는 조건이 아님을 밝힌 다. 제안 모델은 시공간 그래프를 통해 연속적인 궤적을 회귀적으로 예측하므로, 정의된 케이스 외의 변칙적 인 기동에 대해서도 유연한 추정이 가능하다. 또한, 실험 데이터는 약 7km 구간에서 수집되었으나, 이는 고 속화도로 환경의 보편적인 차량 간 상호작용(General Highway Driving) 패턴을 학습하기 위한 표본으로서 특 정 지리적 특성에 국한되지 않는 범용성을 갖는다

    한편, 영상 기반 구조는 관측 시야 제한과 전방 차량의 일시적 가려짐 등의 문제 발생 시 거리 추정의 불 확실성이 증가할 수 있다. 다만, 이는 실제 ADAS 환경과 동일한 제약 조건으로, 본 연구는 이러한 현실적 센서 성정에서도 예측 기반 판단이 유의미한 성능을 발휘할 수 있음을 확인하였다.

    종합적으로, 본 연구는 전방 차량 궤적 예측을 통한 전방 차량 기동의 선제적 판단을 현행 자율주행 시스 템의 고질적 한계를 보완할 수 있는 실질적 방안으로 제시하였다. 단기 관측 기반의 시공간 해석과 교차 어 텐션을 결합함으로써, 비교적 제한된 센서 구성에서도 주변 상황 변화에 대한 조기 대응이 가능한 예측 기반 주행 의사결정 체계를 구현하였다는 의의를 갖는다.

    Ⅴ. 결 론

    본 연구는 전방 영상을 기반으로 전방 차량의 미래 기동을 조기에 추정하기 위한 시공간 학습 프레임워크 를 제안하였다. 제안하는 접근법은 단기 관측에서 도출된 차량 간 상호작용을 시공간 그래프 구조로 해석하 고, 이를 TGCA와 같은 학습 메커니즘을 통해 학습하였다. 이는 자율주행차량 주행에 실질적으로 영향을 미 치는 객체를 문맥적으로 식별하고 가중치를 동적으로 할당할 수 있으며, 이를 통해 단순 임계값 기반 반응이 아닌, 예측 정보에 기반한 선제적 주행 판단이 가능함을 보였다.

    실험 결과, 제안하는 모델은 그래프 기반 및 시계열 기반 대표 예측 모델 대비 모든 지표에서 우수한 성능 을 확인하였다. 이는 시공간 구조적 관계와 영향도 중심의 어텐션을 결합한 TGCA 메커니즘이 실제 교통 장 면의 동적 상호작용을 효과적으로 반영함을 의미한다. 특히, 단일 카메라 센서만으로도 안정적인 예측 정밀 도를 확보하였다는 점도 하나의 의의를 갖는다.

    다만, 본 연구는 데이터 수집 환경이 자동차전용도로의 정형화된 시나리오에 국한된다는 한계가 있었다. 따라 서 도심부 교차로, 혼잡 교통류 등 복잡·비정형적 환경에서 모델의 일반화된 성능과 안정성을 확보하기 위해, 다양한 주행 환경에서의 데이터 수집 및 정제에 대한 사전 검토가 향후 연구의 필수적인 과정으로 요구된다.

    향후 연구에서는 본 연구에서 중점적으로 다룬 자동차전용도로 상호작용 시나리오를 넘어, 다양한 도로 기하구조(예: S자 곡선로, 차선 유실 구간 등) 및 극한 상황(Edge Case)에 대한 시각적·정성적 검증을 확대할 필요가 있다. 이를 위해 도심부 교차로, 혼잡 교통류, 야간 및 악천후와 같은 복잡·비정형 주행 상황을 포함 한 확장 실험을 수행할 계획이다. 아울러 다중 카메라·라이다 센서와의 융합을 통한 장기 예측 성능 고도화, 그리고 예측 결과를 실제 제어 정책과 연동하는 통합 실험을 추진하고자 한다. 이러한 후속 연구는 자율주행 시스템이 임계값 중심의 반응형 제어를 넘어서, 예측 기반 지각·판단 패러다임을 구현하는 데 중요한 기여를 할 것으로 사료된다.

    ACKNOWLEDGEMENTS

    본 연구는 산업통상자원부와 한국산업기술진흥원의 "국제공동기술개발사업"의 지원을 받아 수행된 연구 결과임 (과제번호: P0025819)

    Figure

    KITS-24-6-121_F1.jpg

    Overview of the proposed monocular dashcam-based anticipatory driving framework.

    KITS-24-6-121_F2.jpg

    The proposed Temporal Graph Cross Attention (TGCA) model

    KITS-24-6-121_F3.jpg

    Representative example of a cut-in scenario

    Table

    Performance Comparison of Graph based, Time series, and Proposed Models

    Reference

    1. Bae, I., Moon, J., Jhung, J., Suk, H., Kim, T., Park, H., Cha, J., Kim, J., Kim, D. and Kim, S. ( 2020), “Self-driving like a human driver instead of a robocar: Personalized comfortable driving experience for autonomous vehicles”, arXiv preprint arXiv:2001.03908.
    2. Baek, G., Kim, J., Ka, D. and Noh, B. ( 2025), “A decision transformer-based approach for predicting selfish cutting-in behavior of vehicles at roadway entrance/exit ramps”, The Journal of the Korea Institute of Intelligent Transport Systems, vol. 24, no. 1, pp.71-85.
    3. Bian, Y., Ding, J., Hu, M., Xu, Q., Wang, J. and Li, K. ( 2020), “An advanced lane-keeping assistance system with switchable assistance modes”, IEEE Transactions on Intelligent Transportation Systems, vol. 21, no. 1, pp.385-396.
    4. Chen, X., Zhang, H., Zhao, F., Cai, Y., Wang, H. and Ye, Q. ( 2022), “Vehicle trajectory prediction based on intention-aware non-autoregressive transformer with multi-attention learning for Internet of Vehicles”, IEEE Transactions on Instrumentation and Measurement, vol. 71, pp.1-12.
    5. Chen, Z., Liu, Y., Ni, W., Hai, H., Huang, C., Xu, B., Ling, Z., Shen, Y., Yu, W. and Wang, H. ( 2025), “Predicting driving comfort in autonomous vehicles using road information and multi-head attention models”, Nature Communications, vol. 16, no. 1, p.2709.
    6. Groelke, B., Earnhardt, C., Borek, J. and Vermillion, C. ( 2021), “A predictive command governor-based adaptive cruise controller with collision avoidance for non-connected vehicle following”, IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 8, pp.12276-12286.
    7. Hochreiter, S. and Schmidhuber, J. ( 1997), “Long short-term memory”, Neural Computation, vol. 9, no. 8, pp.1735-1780.
    8. Hong, S., Im, J. and Noh, B. ( 2025), “Attention-driven lane change trajectory prediction with traffic context in urban environments”, IEEE Access, vol. 13, pp.108059-108075.
    9. Jocher, G. and Qiu, J.,https://github.com/ultralytics/ultralytics, 2024.09.28.
    10. Kingma, D. P. and Ba, J. ( 2014), “Adam: A method for stochastic optimization”, arXiv preprint arXiv:1412.6980.
    11. Kipf, T. N. and Welling, M. ( 2016), “Semi-supervised classification with graph convolutional networks”, arXiv preprint arXiv:1609.02907.
    12. Lin, L., Li, W., Bi, H. and Qin, L. ( 2021), “Vehicle trajectory prediction using LSTMs with spatial-temporal attention mechanisms”, IEEE Intelligent Transportation Systems Magazine, vol. 14, no. 2, pp.197-208.
    13. Liu, S., Wei, J., Cui, K., Zhao, Y. and Liu, Y. ( 2024), “Comfort-aware lane change planning with exit strategy for autonomous vehicle”, IEEE Transactions on Knowledge and Data Engineering, vol. 36, no. 11, pp.2927-2941.
    14. Nidamanuri, J., Nibhanupudi, C., Assfalg, R. and Venkataraman, H. ( 2022), “A progressive review: Emerging technologies for ADAS driven solutions”, IEEE Transactions on Intelligent Vehicles, vol. 7, no. 2, pp.326-341.
    15. Noh, B. and Yeo, H. ( 2022), “A novel method of predictive collision risk area estimation for proactive pedestrian accident prevention system in urban surveillance infrastructure”, Transportation Research Part C: Emerging Technologies, vol. 137, p.103570.
    16. Noh, B., No, W. and Lee, D. ( 2018), “Vision-based overhead front point recognition of vehicles for traffic safety analysis”, Proceedings of the 2018 ACM International Joint Conference and 2018 International Symposium on Pervasive and Ubiquitous Computing and Wearable Computers, pp.1096-1102.
    17. Omeiza, D., Webb, H., Jirotka, M. and Kunze, L. ( 2022), “Explanations in autonomous driving: A survey”, IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 8, pp.10142-10162.
    18. OpenCV Team,https://docs.opencv.org/3.4.15/dd/d52/tutorial_js_geometric_transformations.html, 2025.06.19.
    19. Peng, C., Herrenkind, B., Bär, T. and Bruder, R. ( 2024), “Drivers’ evaluation of different automated driving styles: Is it both comfortable and natural?”, Transportation Research Part F: Traffic Psychology and Behaviour, vol. 105, pp.196-210.
    20. Reuten, A. J. C., Nooij, S. A. E. and Bos, J. E. ( 2024), “Anticipatory cues can mitigate car sickness on the road”, Transportation Research Part F: Traffic Psychology and Behaviour, vol. 105, pp.211-221.
    21. SAE International,https://www.sae.org/standards/content/j3016_202104/, 2021.04.30.
    22. Sheng, Z., Xu, Y., Xue, S. and Li, D. ( 2022), “Graph-based spatial-temporal convolutional network for vehicle trajectory prediction in autonomous driving”, IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 10, pp.17654-17665.
    23. Sun, Z., Dong, C., Ji, A., Zhao, R. and Zhao, Y. ( 2024), “A structure-aware lane graph transformer model for vehicle trajectory prediction”, arXiv preprint arXiv:2405.20121.
    24. Tang, Y., He, H. and Wang, Y. ( 2024), “Hierarchical vector transformer vehicle trajectories prediction with diffusion convolutional neural networks”, Neurocomputing, vol. 580, p.127526.
    25. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł. and Polosukhin, I. ( 2017), “Attention is all you need”, Advances in Neural Information Processing Systems(NeurIPS), vol. 30.
    26. Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P. and Bengio, Y. ( 2017), “Graph attention networks”, arXiv preprint arXiv:1710.10903.
    27. You, J., Shi, H., Wu, K., Long, K., Fu, S., Chen, S. and Ran, B. ( 2024), “Crossfusor: A cross-attention transformer enhanced conditional diffusion model for car-following trajectory prediction”, arXiv preprint arXiv:2406.11941.
    28. Zhang, K., Feng, X., Wu, L. and He, Z. ( 2022a), “Trajectory prediction for autonomous driving using spatial-temporal graph attention transformer”, IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 11, pp.22343-22353.
    29. Zhang, Y., Sun, P., Jiang, Y., Yu, D., Weng, F., Yuan, Z., Luo, P., Liu, W. and Wang, X. ( 2022b), “ByteTrack: Multi-object tracking by associating every detection box”, Proceedings of the European Conference on Computer Vision(ECCV), pp.1-21.
    30. Zhang, Z., Ding, H., Guo, K. and Zhang, N. ( 2024), “An eco-driving control strategy for connected electric vehicles at intersections based on preceding vehicle speed prediction”, IEEE Transactions on Transportation Electrification, Early Access.
    31. Zhao, L., Song, Y., Zhang, C., Liu, Y., Wang, P., Lin, T., Deng, M. and Li, H. ( 2019), “T-GCN: A temporal graph convolutional network for traffic prediction”, IEEE Transactions on Intelligent Transportation Systems, vol. 21, no. 9, pp.3848-3858.
    32. Zhou, X., Chen, X. and Yang, J. ( 2025), “Heterogeneous hypergraph transformer network with cross-modal future interaction for multi-agent trajectory prediction”, Engineering Applications of Artificial Intelligence, vol. 144, p.110125.
    33. Zhou, Z., Wang, J., Li, Y. H. and Huang, Y. K. ( 2023), “Query-centric trajectory prediction”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), pp.17863-17873.

    저자소개

    Footnote