Ⅰ. 서 론
기존 자율주행 연구는 인지, 예측, 계획 등 기능별 모듈을 조합하는 구조를 중심으로 발전해 왔으며(Paden et al., 2016), Autoware와 같은 오픈소스 플랫폼을 통해 그 활용 가능성이 검토되어 왔다(Kato et al., 2018; Jung et al., 2026). 이러한 기존 접근은 위치 추정과 같은 개별 요소 기술의 정밀화(Kong, 2014)나, 제어 정책의 개선(Kong et al., 2021)을 통해 성능을 높이고자 하였으나, 모듈 간 정보 전달 과정에서 센서 입력단의 풍부한 정보가 중간 표현으로 요약되며 주행 판단에 필요한 단서가 손실될 수 있다는 한계를 가진다(Chen et al., 2024). 이러한 한계를 보완하고자 최근에는 센서 입력으로부터 주행 행동을 직접 생성하는 End-to-End (E2E) 자율주행 연구가 활발히 진행되고 있다(Chekroun et al., 2023; Bojarski et al., 2016; Codevilla et al., 2018; Codevilla et al., 2019; Chitta et al., 2023).
E2E 자율주행의 성능은 입력 장면에서 주행에 필요한 단서를 효과적으로 파악하고, 이를 실시간 주행 행동으로 연결하는 능력에 크게 좌우된다(Chen et al., 2024). 이러한 특성은 고속 주행 환경에서 더욱 중요한데, 고속 주행에서는 차량이 짧은 시간 동안 긴 거리를 이동하므로, 작은 원거리 객체와 전방 도로 구조가 안전한 의사결정을 위한 핵심 단서가 된다(Betz et al., 2022). 그러나 카메라 기반 입력은 제한된 영상 해상도로 인해 원거리 단서를 명확하게 포착하는 데 한계가 있으며, 이러한 한계는 원거리 객체나 도로 구조를 이른 시점에 인식해야 하는 고속 주행에서 더욱 두드러진다. 기존 E2E 자율주행 연구는 대부분 도심 주행 상황을 중심으로 검증되어 왔기 때문에, 원거리 장면 이해와 실시간 제어가 동시에 요구되는 고속 주행 환경에 대한 검증은 아직 충분하지 않다.
나아가 고속 주행에서는 작은 행동 차이도 주행 안정성에 큰 영향을 미칠 수 있으므로(Betz et al., 2022), 인식된 장면 정보가 최종 조향, 가속, 제동 출력으로 일관되게 반영되는 것이 중요하다. 그러나 모방학습 기반 E2E 자율주행 모델은 실제 주행 데이터에 기록된 행동을 학습하기 때문에, 유사한 장면에서도 운전자에 따라 서로 다른 조향 및 가감속 행동이 기록될 수 있다(Fig. 1). 이러한 행동 후보의 다중성(multimodality)은 장면 정보와 최종 행동 사이의 일관된 대응 관계를 학습하기 어렵게 만든다(Chen et al., 2024; Codevilla et al., 2019). 따라서 고속 주행을 위한 E2E 자율주행에서는 원거리 장면 단서를 강화하는 것뿐만 아니라, 이를 주행 의도와 최종 행동으로 명확하게 연결하는 구조가 필요하다.
본 논문은 고속 주행 환경에서 E2E 자율주행이 직면하는 이러한 문제를 해결하기 위한 실시간 주행 프레임워크를 제안한다. 제안 방법은 효율적인 장거리 시각 인코딩 구조를 통해 원거리 장면 단서를 강화하면서도 실시간 추론 성능을 확보한다. 또한 Scene-Trajectory-Action 정렬 모듈을 통해 원거리 장면 단서, 미래 주행 의도, 최종 주행 행동 사이의 대응 관계를 명시적으로 모델링한다. 실험 결과, 제안한 구조는 open-loop 및 closed-loop 평가에서 인지 성능과 제어 성능을 모두 향상시켰으며, 약 22 Hz의 추론 속도를 달성하여 실시간 고속 E2E 자율주행 프레임워크로서의 적용 가능성을 확인하였다.
본 연구의 주요 기여는 다음과 같다.
다중 카메라 시계열 영상의 원거리 세부 정보를 보존하면서 적은 수의 장면 토큰으로 정보를 압축하는 효율적인 비전 인코딩 구조를 적용하여 실시간 추론 성능을 확보한다.
고속 주행에서 빠르게 변화하는 장면 정보가 제어 출력에 전이되도록, 미래 궤적을 기준으로 장면정보와 제어 출력을 정렬하는 STA Module을 제안한다.
제안한 모델은 MORAI 고속 경주용 폐쇄 코스의 closed-loop 평가에서 회귀 기반 모델 대비 주행 점수를 28.69에서 43.75로, 평균 경로 완주율을 53.72%에서 98.72%로 향상시켜 동적 차량과의 상호작용 상황에서의 폐루프 주행 성능을 개선한다.

<Fig. 1>
Behavioral multimodality in human driving data. Even in the same driving scene, human drivers may choose different steering actions, leading to distinct future trajectories.
Ⅱ. 관련 연구
본 장에서는 고속 자율주행 구조의 설계 배경이 되는 관련 연구를 세 가지 관점에서 정리한다. 먼저 End-to-End 자율주행 모델에서 장면 정보를 표현하고 이를 주행 행동으로 연결하는 기존 방식들을 살펴본다. 다음으로, 모방학습 기반 행동 예측에서 발생할 수 있는 행동 후보의 다중성과 예측 불확실성을 반영하기 위한 방법을 검토한다. 마지막으로, 다중 카메라 시계열 입력에서 증가하는 계산 부담을 완화하기 위한 효율적 시각 인코딩 연구를 다룬다. 이러한 논의를 통해 기존 연구의 주요 개념들이 고속 자율주행 환경에서 요구되는 장거리 장면 이해, 안정적 행동 예측 및 실시간 구조를 설계하는 데 어떤 기반을 제공했는지 설명한다.
1. End-to-End 모델의 장면-행동 연결 구조
End-to-End 자율주행 연구는 장면 정보를 구조화하고 이를 궤적 및 제어 예측에 연결하는 방향으로 발전해 왔다. Hu et al.(2023)은 쿼리 기반 표현으로 객체·지도·계획 정보를 통합하였고, Jiang et al.(2023)은 벡터화된 장면 표현을 통해 주행 정보를 효율적으로 구성하였다. Wu et al.(2022)은 단안 영상의 2차원 특징 맵에 궤적 기반 가중치를 부여하여 제어에 필요한 특징을 강조하였다. 본 연구는 이미지 좌표계에서 특징의 중요도를 간접적으로 조절하는 Wu et al.(2022)과 달리, 다중 카메라 시계열 정보를 BEV 장면 토큰으로 표현하고 예측 궤적 좌표를 기준으로 경로 주변 특징을 선택적으로 샘플링한다. 이를 시점별 행동 토큰과 정렬함으로써 불필요한 장면 정보의 영향을 줄이고, 행동 변화를 일으키는 요인을 제어값에 보다 직접적으로 반영한다.
2. 불확실성을 고려한 행동 예측
모방학습 기반 주행 모델에서는 동일하거나 유사한 장면에서도 복수의 유효한 행동 후보가 존재할 수 있으며, 단일 연속 값을 예측하는 회귀 방식은 이러한 행동 후보의 다중성과 예측 불확실성을 명시적으로 반영하기 어렵다. 이러한 문제를 완화하기 위해 Chekroun et al.(2023)은 조향 및 종방향 제어와 같은 주행 행동을 이산화된 행동 공간으로 구성하고 분류 학습을 통해 행동을 예측하였다. 한편 분류 학습에서는 원-핫 정답의 과도한 확신을 완화하기 위해 라벨 평활화(label smoothing)가 활용되어 왔다(Szegedy et al., 2016). 본 연구는 행동 구간을 이산화한 뒤 분류 학습을 적용하며, 정답 행동을 중심으로 정규분포 형태의 확률을 부여한 정답 분포를 사용한다. 이에 따라 정답과 가까운 인접 행동 구간에는 상대적으로 높은 확률을 부여하고, 거리가 먼 행동 구간에는 낮은 확률을 부여하여 연속 제어값의 인접 관계와 행동 불확실성을 함께 반영한다.
3. 다중 카메라 시계열 입력을 위한 효율적 시각 인코딩
다중 카메라 시계열 입력을 사용하는 비전 기반 주행 모델에서는 카메라 수와 시간 스텝 수로 인해 비전 토큰 수가 증가하며, 이는 후단 트랜스포머의 주요 계산 병목으로 작용한다. 따라서 모든 영상 토큰을 그대로 사용하는 대신, 주행 판단에 필요한 정보를 제한된 수의 표현으로 요약하는 과정이 필요하다. Li et al.(2023)은 학습 가능한 쿼리를 통해 시각 정보를 압축하였으며, Marafioti et al.(2025)은 전역 문맥과 지역 세부 정보를 함께 사용하는 경량 구조를 통해 계산 효율과 정보 보존을 함께 고려하였다. 또한 Yang et al.(2025)은 다중 카메라 시계열 입력을 압축된 장면 표현으로 변환하여 후단 정책 모델의 계산 부담을 줄였다. 본 연구는 이러한 흐름을 바탕으로 다중 카메라 시계열 입력을 고정된 수의 장면 토큰으로 요약하면서도 고속 주행에 필요한 장거리 문맥과 정면 영상의 세부 정보를 함께 유지하는 구조를 사용한다.
Ⅲ. 제안하는 방법
본 연구에서는 고속 주행 환경에서 다중 카메라 시계열 영상과 차량 상태, 트랙 경계 정보를 입력으로 받아 미래 여러 시점에 대한 조향과 통합 종방향 제어값(throttle-brake)을 예측하는 End-to-End 주행 모델을 제안한다. 전체 구조는 <Fig. 2>와 같이 세 단계로 구성된다. 먼저 Global-Local Perception Module은 전역 영상과 전방 지역 영상을 함께 인코딩하여 장거리 주행 장면 표현을 생성한다. 다음으로 World Interaction Module은 요약된 장면 정보와 차량 궤적, 행동, 상태 및 지도 관련 토큰 사이의 관계를 트랜스포머 구조에서 학습한다. 마지막으로 Scene-Trajectory-Action Align Module은 미래 궤적을 기준으로 장면 정보와 행동 토큰을 정렬하고, 각 시간 구간에 대한 차량의 행동을 예측한다.

<Fig. 2>
Overview of the proposed End-to-End architecture. The model integrates multi-view temporal images, ego-state, and track boundary information to predict future steering and throttle-brake actions.
1. Global-Local Perception Module
고속 주행 상황에서는 차량 속도가 높기 때문에 근거리 시각 정보만으로는 충분한 의사결정 시간을 확보하기 어렵다. 고속 주행 시 실제 운전자가 멀리 위치한 도로 상황을 확인하며 조작을 결정하는 것처럼, 본 연구에서는 장거리 장면 정보를 효과적으로 반영하기 위해 전역-지역 시각 인코딩 구조를 사용한다.
<Fig. 3>에서 볼 수 있듯이, 입력 영상 는 여러 카메라 시점과 시간 단계로 구성된다. 전역 분기에서는 모든 카메라 시점과 여러 시간 단계 이미지의 해상도를 축소하여 전체적인 장면 문맥을 유지하고, 지역 분기에서는 전방 카메라 영상을 중심으로 관심 영역을 추출하여, 원거리 도로 구조의 세부 정보를 보완한다. 전역 영상과 지역 영상은 동일한 해상도로 변환한 뒤 하나의 영상 집합 로 결합된다.
구현에서는 정면, 전방 좌측 및 전방 우측의 3개 카메라 시점에 대한 최근 3개 시간 단계의 영상을 전역 분기에 사용하였다. 지역 분기에서는 원본 1,280×720 정면 영상의 [448, 264, 832, 456] 영역을 전방 관심 영역으로 추출하였으며, 전역 영상과 지역 영상은 모두 192×384의 동일한 해상도로 변환하였다.
결합된 영상은 사전학습된 DINOv3 ViT-B/16 비전 인코더를 통해 이미지 토큰으로 변환된다(Simeoni et al., 2026). 이때 각 특징에는 카메라 시점과 시간 순서를 구분하기 위한 카메라-시간 위치 임베딩을 더한다.
이후 Scene Resampler는 영상 특징 를 고정된 수의 장면 토큰으로 변환한다. Scene Resampler는 트랜스포머 디코더 구조로 구성되며, 학습 가능한 비대칭 직사각형 Bird's-Eye View(BEV) 토큰을 쿼리 입력으로 활용하고 영상 특징을 key/value로 사용한다. 이를 통해 모든 이미지 토큰을 후단 모델에 전달하는 대신, 고속 주행에 필요한 장거리 장면 정보를 BEV 기반 토큰으로 요약한다.
여기서 는 장거리 영역을 반영하는 비대칭 직사각형 형태의 학습 가능한 쿼리이고, 공간 위치 임베딩이 반영된다. 본 연구에서는 32×16 배열의 512개 쿼리를 사용하였으며, 각 쿼리는 자차 좌표계를 기준으로 전방 70 m, 후방 10 m, 좌우 각 20 m의 총 80 m×40 m 영역에 대응한다. S는 후속 모듈로 전달되는 장면 토큰이며, 토큰 압축과정을 통해 넓은 가시 영역의 정보를 활용하면서도 후단 트랜스포머의 입력 토큰 수를 제한하여 실시간 추론 효율성을 유지하는 역할을 한다.
이미지 입력 해상도 설정과 512개의 장면 토큰 수는 약 20 Hz 수준의 처리 속도와 인지 성능 사이의 균형을 고려하여 실험적으로 설정하였다. 약 500개 전후의 토큰 수에서 후단 트랜스포머의 계산량을 제한하면서도 장거리 도로 구조와 객체 정보를 유지할 수 있었기 때문에 32×16의 쿼리 구성을 사용하였다. 기존 TCP가 단안 영상의 2차원 특징 맵에서 궤적 및 제어 분기의 은닉 표현으로 attention weight를 생성하여 특징을 집계하는 것과 달리, 본 연구는 다중 카메라 시계열 정보를 BEV 장면 토큰으로 통합한다. 이 장면 토큰은 후속 STA Module에서 예측 궤적의 BEV 좌표를 참조점으로 사용하여 경로 주변 특징을 선택적으로 샘플링하는 데 활용되며, 이를 통해 경로와 공간적으로 대응되는 장면 정보를 행동 예측에 연결한다.
2. World Interaction Module
Global-Local Perception Module에서 얻은 장면 토큰은 차량의 궤적 토큰과 행동 토큰, 차량 상태 및 트랙 경계로부터 생성된 상태·지도 토큰과 함께 World Interaction Module의 입력으로 사용된다(Fig. 2). 차량의 과거 상태와 트랙 경계는 MLP를 통해 토큰 형태로 변환되며, 궤적 토큰과 행동 토큰은 학습 가능한 쿼리 토큰으로 정의된다. 구현에서는 장면 토큰과 상태·지도 토큰을 먼저 배치하고 그 뒤에 궤적 토큰과 행동 토큰을 배치하여, 장면과 차량 상태 정보가 미래 궤적 및 행동 예측으로 전달되도록 구성하였다.
World Interaction Module은 LLaMA 계열의 트랜스포머 구조를 사용한다. 언어 토크나이저와 어휘 집합, 사전학습 언어 가중치는 사용하지 않았으며, 22개의 트랜스포머 레이어, 은닉 차원 768, 8개의 어텐션 헤드 및 중간 차원 3,072로 구성된 네트워크를 처음부터 학습하였다. 장면·상태·궤적·행동 토큰을 처리하는 World Interaction Module과 Scene Resampler 및 예측 출력층으로 구성된 정책 네트워크는 약 0.3B개의 매개변수를 가진다. 본 모듈은 언어 기능을 사용하지 않고 비언어적 주행 토큰을 처리하는 주행 정책 네트워크로 학습하였다. 각 토큰 표현은 인과 마스크가 적용된 하나의 토큰 열에서 갱신되며, 앞쪽에 배치된 장면 및 상태·지도 정보가 궤적 토큰과 행동 토큰의 표현을 형성하는 데 사용된다.
출력 토큰은 입력 토큰의 종류에 따라 정제된(Refined) 장면 토큰, 상태·지도 토큰, 궤적 토큰 및 행동 토큰으로 분리된다.
여기서 은 BEV 의미론적 분할(Semantic Segmentation)에 활용되고, 은 미래 자차 궤적을 예측하는 데 사용된다. 은 최종 행동 출력을 위한 표현으로 사용되기 위해 STA Module로 전달된다. 상태·지도 토큰의 출력은 토큰 상호작용 과정에는 사용되지만 최종 출력 단계에서는 직접 사용하지 않는다.
3. Scene-Trajectory-Action Align Module (STA Module)
World Interaction Module을 거친 정제된 행동 토큰 은 앞선 장면 토큰과 상태·지도 토큰 및 궤적 토큰의 정보를 반영한 표현이다. 그러나 이 단계에서는 행동 토큰이 여러 정보를 반영하고 있을 뿐, 각 시간 단계의 행동이 미래 주행 경로의 어떤 구간과 관련되는지는 명시적으로 정해져 있지 않다. 특히 모방학습 데이터에서는 유사한 장면에서도 운전자마다 조향 및 종방향 제어 선택이 달라질 수 있으므로, 행동을 전역 표현에서 바로 분류하면 행동 선택이 모호해질 수 있다. 따라서 본 연구에서는 최종 행동을 예측하기 전에 예측된 자차의 미래 궤적 를 활용하여 장면 토큰 에서 경로 주변의 특징을 추출하고, 추출된 장면 특징을 행동 토큰 에 연결하는 정렬 과정을 수행한다. 이러한 정렬 과정의 전체 구조는 <Fig. 4>에 나타내었다.
자차의 미래 궤적은 다음과 같이 생성된다.
이는 차량이 앞으로 지나갈 가능성이 높은 위치를 나타내므로, 각 행동 토큰이 어떤 장면 정보를 참고해야 하는지 결정하는 기준이 된다. 구체적으로 정제된 행동 토큰 은 deformable cross-attention을 통해 장면 토큰 에서 경로 주변의 정보를 선택적으로 참조한다. 이때 미래 궤적은 참조 위치로 사용하되 궤적 예측 오차가 행동 특징 정렬 과정으로 역전파되지 않도록 기울기를 분리하였다.
이를 통해 행동 토큰은 전체 장면을 균등하게 참조하는 대신, 미래 경로 주변의 객체와 주행 가능 영역 등 실제 행동 결정에 필요한 정보에 집중한다. 또한 식 (8)의 는 <Fig. 4>의 History Blocking Mask를 의미하며, 각 행동 토큰이 과거 위치가 아니라 현재 및 이후의 궤적 구간을 중심으로 장면 정보를 활용하도록 제한한다. 이는 TCP가 시점별 은닉 표현으로 2차원 특징 맵 전체에 대한 attention을 학습하는 방식과 달리, BEV 경로상의 명시적 참조점과 행동 시점별 참조 구간을 함께 사용하는 구조이다. 구현에서는 2개의 deformable cross-attention 계층, 4개의 어텐션 헤드 및 헤드당 4개의 표본점을 사용하였다. 이에 따라 시간 구간별 행동 예측은 해당 시점 이후의 주행 맥락과 정렬된다.
Ⅳ. 데이터 취득 및 학습 방법
1. 데이터 취득 방법
본 연구에서는 MORAI 시뮬레이터에서 수집된 고속 주행 데이터를 사용하였다(MORAI Inc., n.d.). 데이터는 총 길이 4.174 km의 경주용 폐쇄 코스에서 수집되었으며, 해당 코스는 터널 구간, 다양한 도로 폭 및 급격한 곡률 변화를 갖는 커브 구간을 포함한다. 전체 데이터의 표본 간격은 0.1초이며, 약 43.35시간 분량의 주행으로부터 취득되었다.
데이터의 전체 구성은 인간 운전자가 직접 주행한 수동 주행 데이터와 규칙 기반 오토 에이전트 주행 데이터로 구성된다(<Table 1>). 수동 주행 데이터는 고속 주행 중 발생하는 추월, 감속, 회피 등 주변 차량과의 상호작용을 포함하기 위해 수집하였다. 이를 위해 1,000개 이상의 무작위 경로로 증강한 오토 에이전트를 함께 배치하여, 매 순간 다양한 주행 상황이 나타나도록 구성하였다. 또한 출발선 출발, 피트 진입·이탈, 차량이 많은 상황과 적은 상황, 단독 주행, 추월 및 충돌 이후 복구 주행을 포함하여 폐루프 주행 중 발생할 수 있는 상태 분포를 학습 데이터에 반영하였다.
수동 주행 데이터 수집 시 인간 운전자는 직선 구간에서 약 230 km/h 수준으로 주행하고, 곡선 구간에서는 120 km/h 이하로 감속하였으며, 전방 저속 차량으로 인해 주행 경로가 제한되는 경우 감속, 회피 및 추월 행동을 수행하였다. 반면 규칙 기반 오토 에이전트는 모델이 기본적인 트랙 주행과 곡선 구간 감속 패턴을 안정적으로 학습할 수 있도록 단독 주행 환경에서 데이터를 수집하였다.
수집된 데이터의 경로별 속도와 행동 분포는 <Fig. 5>에 나타내었으며, 직선 구간에서는 고속 주행이 수행되고 곡선 구간에서는 감속이 이루어지는 경향을 확인할 수 있다. 또한 조향값은 0도 부근에 집중되어 있으며, 전체 표본의 99.9%가 약 ±6.5° 범위 안에 포함된다.
학습 및 검증에 활용한 데이터는 샘플 단위로 학습 80%, 검증 15%, 테스트 5%로 분할하였다. 테스트 세트는 단독 주행 장면에 편중되지 않도록 주변 차량과의 상대속도 및 충돌 상황을 강조한 표본 추출 방식을 적용하였다. 검증 세트는 학습 중 모델 선택과 하이퍼파라미터 결정에 사용하였으며, 테스트 세트는 최종 개루프 평가에만 사용하였다.

<Fig. 5>
Route-based vehicle speed heatmap and action distributions of the collected dataset. Raw steering values are concentrated around zero, and 99.9% of samples lie within approximately ±6.5 before normalization
<Table 1>
Collected Dataset Scale
| Rule-based Auto Agents | Manual Driving | |
|---|---|---|
| # of Scenarios | 6,952 Scenarios | 6,483 Scenarios |
| # of Samples | 548,522 Samples | 1,012,080 Samples |
| Driving Times | 15.24 hr | 28.11 hr |
2. 학습 방법
본 연구에서는 주행 행동 예측을 연속 값 회귀가 아닌 이산화된 행동 구간에 대한 분류 문제로 정의하고 교차엔트로피 손실을 통해 학습했다. 제어 명령은 조향과 통합 종방향 제어값(throttle-brake)으로 구성되며, 종방향 제어 값은 제동과 가속을 통합한 [−1, 1] 범위의 단일 값으로 표현했다. 분류 학습을 위해, 조향은 총 180개의 구간으로 이산화하였으며, 이 중 140개를 데이터 분포가 집중된 [−6.5°, 6.5°] 구간에 할당하였다. 이때, 해당 구간은 로그 척도 기반의 비균일 간격으로 구성하여 0도 부근의 해상도를 높였다. 반면, 종방향 제어값은 [−1, 1] 범위를 약 40개의 구간으로 균일하게 이산화하였다.
학습 시 궤적 예측 손실 및 BEV 의미론적 분할 손실을 보조 손실로 사용하며, 행동에 대한 라벨은 사람 데이터의 불확실성과 행동 다중성(Multimodality)를 반영하기 위해, 실제 정답 값을 중심으로 정규분포 형태의 확률을 갖는 정답 분포로 변환하였다. 조향에는 , 종방향 제어값에는 의 불확실도(표준편차)를 활용하여 라벨을 부여하였으며, 행동 예측 손실은 조향과 종방향 예측값에 대한 정답 분포와 예측 확률 사이의 교차엔트로피로 정의하였다.
통합 손실함수는 다음과 같다.
여기서 , 및 는 각각 행동 예측 손실, 미래 궤적 예측 손실 및 BEV 의미론적 분할 손실을 의미하며, 와 는 각 보조 손실의 가중치로 각각 1과 5로 설정하였다. 최적화 알고리즘으로는 AdamW와 OneCycleLR을 적용하였으며, 단일 NVIDIA H100 GPU에서 최대 10 epoch, 배치 크기 20, BF16 혼합 정밀도로 학습하였다. 학습률은 으로 설정했으며, DINOv3 비전 인코더(Simeoni et al., 2026)에는 10배 감소된 학습률 을 활용하였다. 뿐만 아니라, 비전 인코더는 초기 2 epoch 동안 매개변수를 고정한 뒤 전체 모델과 함께 미세조정하였다.
Ⅴ. 실험 결과
1. 인지 모듈 평가
인지 모듈 평가는 Global-Local Perception Module의 효용성을 확인하기 위해 수행하였다. 학습 및 평가는 주변 차량과의 상대속도를 통해 계산한 위험도 기반 샘플링으로, 축소 데이터셋(65,000개 표본)을 구성하여 활용하였으며, 학습에는 0.05B 경량 트랜스포머 모델을 사용하였다. 의미론적 분할 성능은 mIoU, mDice, Drivable IoU, Object IoU 및 Object Dice로 평가하였다(Long et al., 2015). 추론 속도는 단일 NVIDIA RTX A5000 GPU에서 배치 크기 1과 BF16 혼합 정밀도로 측정하였다. TensorRT와 torch.compile은 적용하지 않았으며, 결과는 지연시간과 처리 빈도로 나타내었다.
<Table 2>에서 전방 영역 Crop을 적용한 0.05B 모델은 이를 적용하지 않은 모델보다 mIoU와 mDice가 향상되었으며, 특히 Object IoU와 Object Dice에서 더 큰 개선을 나타냈다. 이는 지역 인지 분기가 고속 주행에서 중요한 정면 원거리 영역과 작게 관측되는 객체 정보를 보완했기 때문으로 해석된다. 한편 추론 지연은 약 5 ms 증가하는 수준으로, 전방 영역 추출에 따른 추가 연산 부담은 제한적이었다. 이 비교는 0.05B 모델과 축소 데이터 집합에서 수행한 인지 성능 분석이며, 0.3B 전체 모델의 제어 성능에 대한 전방 영역 추출의 기여는 별도로 분리하지 않았다.
제어 성능 평가에 사용한 0.3B 모델의 인지 성능은 참고를 위해 함께 제시하였다. World Interaction Module의 규모가 증가하였음에도 평균 44.27 ms의 추론 지연과 약 22.6 Hz의 처리 속도를 유지하였다.
<Table 2>
Perception Module Evaluation. Bold indicates the best performance among 0.05B ablation models. The 0.3B full-dataset model is reported for reference
| Model / Checkpoint | mIoU↑ | mDice↑ | Drivable IoU↑ | Object IoU↑ | Object Dice↑ | Latency↓ | Hz↑ |
|---|---|---|---|---|---|---|---|
| 0.05B w/ Front Crop | 82.9 | 88 | 95.5 | 37.9 | 55 | 35.27 ms | 28.4 |
| 0.05B w/o Front Crop | 82.1 | 87.1 | 95.4 | 35 | 51.8 | 30.20 ms | 33.1 |
| 0.3B w/ Front Crop + Full Dataset |
84.7 | 90.1 | 93.0 | 49.0 | 65.8 | 44.27 ms | 22.6 |
2. 개루프 제어 성능 검증
제어 성능 평가는 전방 영역 Crop 기반 인지 구조를 포함한 모델을 전체 데이터 집합으로 학습하여 수행하였다. 개루프 평가는 위험도 기반으로 샘플링한 테스트 세트로 수행하였다.
비교군으로 사용한 STA + Regression은 제안 모델과 동일한 인코더, World Interaction Module, STA Module, 학습 데이터 및 최적화 조건을 사용하고 최종 행동 출력 방식만 회귀로 변경하였다. 조향 출력은 전체 데이터의 99.9%가 포함되는 ±6.5° 범위를 기준으로 6.5로 나누어 정규화하였으며, 평균제곱오차로 학습하였다. throttle-brake는 분류 모델과 동일하게 [−1, 1] 범위의 단일 종방향 제어 축으로 통합하였다.
평가 지표는 조향 및 종방향 제어 값의 평균절대오차(MAE)로 구성하였다. 조향 MAE와 종방향 제어 MAE가 낮을수록 정답 제어 명령에 가까운 예측을 의미한다.
개루프 평가 결과는 <Table 3>에 나타내었다. 제안한 STA + Classification이 가장 낮은 조향 MAE와 종방향 제어 MAE를 나타냈다. 반면 동일한 STA 출력을 연속값으로 회귀한 경우 오차가 가장 크게 나타났다. 고속 주행에서는 작은 조향 오차도 짧은 시간 안에 큰 횡방향 위치 차이로 누적될 수 있으며, 평균제곱오차 기반 회귀는 복수의 유효한 행동이 존재하는 장면에서 행동 모드 사이의 평균값을 예측할 수 있다. 이러한 특성이 회귀 모델의 개루프 오차와 폐루프 완주율 저하에 영향을 준 것으로 해석된다.
STA Module의 효과를 분리하여 분석하기 위해 동일한 분류 기반 행동 출력 구조에서 STA Module을 제거한 Naïve Classification을 함께 비교하였다. Naïve Classification은 회귀 방식보다 낮은 조향 및 종방향 제어 오차를 나타내어 행동 이산화와 정규분포 기반 정답 분포가 행동 모호성을 완화하는 데 기여했음을 보여준다. STA + Classification은 Naïve Classification보다 조향 MAE를 0.2499에서 0.2418로, 종방향 제어 MAE를 0.1013에서 0.0902로 감소시켰다. 이는 미래 궤적과 경로 주변 장면 정보를 행동 토큰에 정렬하는 과정이 최종 행동 예측의 일관성을 높였음을 보여준다.
<Table 3>
Open-loop Evaluation
| Method | Steering MAE↓ | Throttle-Brake MAE↓ |
|---|---|---|
| STA + Regression | 0.5410 | 0.2296 |
| Naïve Classification | 0.2499 | 0.1013 |
| STA + Classification | 0.2418 | 0.0902 |
3. 폐루프 제어 성능 검증
폐루프 평가는 저속(100 km/h 내외)으로 주행하는 규칙기반 오토 에이전트를 배치한 MORAI 시뮬레이터 환경에서 수행하였다(Fig. 6). 본 평가는 단독 주행 성능뿐만 아니라, 고속 주행 중 발생하는 추월, 회피, 감속 판단 등 다른 차량과의 상호작용을 검증하기 위한 것이다. 이를 위해 오토 에이전트의 경로를 1,000개 이상으로 증강하고, 일부 주행에는 노이즈를 추가하여 예측하기 어려운 움직임을 유도하였다. 특히 자차는 200 km/h 이상으로 주행하는 반면 주변 에이전트는 저속으로 이동하므로, 큰 상대속도로 인해 제한된 시간 안에 안정적인 의사결정을 수행해야 하는 평가 환경이다.
폐루프 평가는 CARLA Leaderboard의 경로 완주율과 위반 패널티의 곱으로 구성된 평가 체계 및 이를 따르는 Bench2Drive의 평가 방식을 참고하여 구성하였다(CARLA Team, 2026; Jia et al., 2024). 본 연구의 평가 환경과 충돌 특성을 반영하기 위해 주행 점수(Driving Score)는 각 세트의 경로 완주율에 벽·정적 구조물 충돌 계수 0.85와 차량 충돌 계수 0.70을 충돌 횟수만큼 곱하는 방식으로 정의하였다. 차량 충돌은 고속의 동적 상호작용 실패를 직접 반영하므로 더 큰 감점을 적용하였고, 벽·정적 구조물 접촉은 좁은 코스 경계에서 발생할 수 있는 경미한 접촉을 고려하여 상대적으로 완화된 계수를 적용하였다. 본 지표는 MORAI 평가 환경 안에서 모델을 비교하기 위해 정의한 점수이다. 총 길이 4.174 km의 트랙을 3바퀴 주행하는 것을 하나의 평가 세트로 정의하였으며, 총 10개 세트를 수행하였다.
여기서 는 i번째 평가 세트의 경로 완주율, 와 는 각각 i번째 평가 세트의 벽·정적 구조물 및 차량 충돌 횟수이다. 최종 주행 점수()와 경로 완주율()은 10개 세트의 산술평균으로 계산하였다. 완주 성공률(Success Rate)은 3바퀴를 모두 완료한 평가 세트의 비율로 정의하였으며, 완주 성공은 충돌 여부와 별개로 판정하였고, 충돌은 주행 점수에 감점으로 반영하였다.
폐루프 평가 결과는 <Table 4>에 제시하였다. 제안한 STA + Classification은 회귀 기반 모델 대비 평균 RC를 53.72%에서 98.72%로, DS를 28.69에서 43.75로 향상시켰으며, 3바퀴 완주 횟수도 1회에서 9회로 증가시켰다. 이는 행동 분류와 장면–궤적–행동 정렬이 동적 차량과의 상호작용 상황에서 경로 완주 성능을 높이는 데 기여했음을 보여준다.
STA Module의 효과는 Naïve Classification과의 비교에서 확인할 수 있다. 두 모델 모두 10회 중 9회를 완주하였으나, STA + Classification은 평균 RC를 97.42%에서 98.72%로, DS를 40.32에서 43.75로 향상시켰다. 또한 RC의 표준편차는 8.17에서 4.05로, DS의 표준편차는 30.05에서 9.26으로 감소했으며, 전체 차량 충돌 횟수도 25회에서 17회로 줄었다. 이는 미래 궤적을 기준으로 장면 정보와 제어 출력을 정렬하는 과정이 폐루프 주행 안정성을 높이는 데 기여했음을 나타낸다.
<Table 4>
Closed-loop Driving Performance over 10 trials (mean ± standard deviation). Collision counts are totals across all test runs.
*: This value was obtained at a low RC and does not indicate robust driving performance
| Method | Route Completion (%)↑ | Success Rate↑ | Wall Collisions↓ | Vehicle Collisions↓ | Driving Score↑ |
|---|---|---|---|---|---|
| STA + Regression | 53.72 ± 25.46 | 1/10 | 18 | 8* | 28.69 ± 11.37 |
| Naïve Classification | 97.42 ± 8.17 | 9/10 | 15 | 25 | 40.32 ± 30.05 |
| STA + Classification | 98.72 ± 4.05 | 9/10 | 14 | 17 | 43.75 ± 9.26 |
Ⅵ. 결 론
본 연구에서는 고속 경주용 폐쇄 코스를 대상으로, 원거리 장면 정보를 효율적으로 처리하고 이를 제어 출력에 반영하는 실시간 E2E 자율주행 구조를 제안하였다. 제안 방법은 원거리 세부 정보를 유지하면서 영상 토큰을 압축하는 비전 인코딩 구조와, 미래 궤적을 기준으로 BEV 장면 정보와 제어 출력을 정렬하는 STA Module로 구성된다. 개루프 및 폐루프 평가를 통해 제안 방법이 행동 예측 오차를 줄이고 동적 차량과의 상호작용 상황에서 주행 성능과 안정성을 향상시키면서 실시간 추론 성능을 유지함을 확인하였다.
본 연구의 시사점은 고속 E2E 자율주행에서 원거리 장면을 인식하는 것뿐만 아니라, 주행 경로와 관련된 장면 정보를 제어 출력에 직접 연결하는 과정이 중요함을 보인 데 있다. 또한 다중 카메라 시계열 입력을 제한된 수의 장면 토큰으로 표현함으로써, 고속 주행에 필요한 시각 정보와 실시간 처리 성능을 함께 고려할 수 있음을 제시하였다.
다만 본 연구의 운행설계영역은 최고 약 230 km/h로 주행하는 단일 4.174 km 고속 경주용 폐쇄 코스 시뮬레이션으로 한정되어, 미학습 트랙, 다양한 환경 및 실차에 대한 일반화 성능은 확인하지 못하였다. 이러한 제한에도 불구하고, 동일한 고속 코스에서 무작위 경로로 주행하는 동적 차량에 따라 추월·감속·회피 상황이 달라지는 조건으로 폐루프 평가를 수행함으로써, 단독 반복 주행과 구분되는 동적 상호작용 상황의 주행 안정성을 확인하였다. 향후 미학습 트랙과 실차 환경으로 평가 범위를 확대할 예정이다.












