Journal Search Engine

to

Search Advanced Search Adode Reader(link)
View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.21 No.5 pp.233-252
DOI : https://doi.org/10.12815/kits.2022.21.5.233

Predicting Accident Vulnerable Situation and Extracting Scenarios of Automated Vehicleusing Vision Transformer Method Based on Vision Data

Woo seop Lee*, Min hee Kang**, Young Yoon***, Kee yeon Hwang****
*Transportation Policy Division, Seoul Metropolitan Government
**Dept. of Smart-city, Univ. of Hongik
***Dept. of Computer Science, Univ. of Hongik
****Dept. of Urban Planning, Univ. of Hongik
† Corresponding author : Kee Yeon Hwang, keith@hongik.ac.kr
16 August 2022 │ 2 September 2022 │ 17 October 2022

Abstract


Recently, various studies have been conducted to improve automated vehicle (AV) safety for AVs commercialization. In particular, the scenario method is directly related to essential safety assessments. However, the existing scenario do not have objectivity and explanability due to lack of data and experts’ interventions. Therefore, this paper presents the AVs safety assessment extended scenario using real traffic accident data and vision transformer (ViT), which is explainable artificial intelligence (XAI). The optimal ViT showed 94% accuracy, and the scenario was presented with Attention Map. This work provides a new framework for an AVs safety assessment method to alleviate the lack of existing scenarios.


Automated Vehicels , Safety Assessment , Vision Transformer , Scenario , Vulnerable Situation

Vision Transformer를 활용한 비전 데이터 기반 자율주행자동차 사고 취약상황 예측 및 시나리오 도출

이 우 섭*, 강 민 희**, 윤 영***, 황 기 연****
*주저자 : 서울특별시 도시교통실 교통정책과
**공저자 : 홍익대학교 일반대학원 산업융합협동과정 스마트도시전공 박사수료
***공저자 : 홍익대학교 컴퓨터공학과 교수
****교신저자 : 홍익대학교 도시공학과 교수

초록


자율주행자동차 상용화를 위해 자율주행자동차 안전성 제고를 위한 다양한 연구가 수행되 고 있으며, 그 중 시나리오 연구가 안전성 평가에 직접적으로 연관되어 필수적으로 고려되고 있다. 그러나 기존 시나리오 제시의 경우 데이터 부재 및 전문가 개입으로 인해 객관성 및 설 명력이 보완될 필요가 있다는 의견이 제시되고 있다. 이에 본 연구에서는 실제 사고 데이터 및 설명력 있는 인공지능 방법론인 ViT 모델을 활용하여 확장된 자율주행자동차 안전성 평가 시나리오를 제시한다. 활용 데이터에 최적화시킨 ViT 모델 학습 결과, 94% 정확도가 확인되었 으며 Attention Map을 추가적으로 활용하여 설명력 있는 시나리오를 제시하였다. 본 연구를 통 해 기존 시나리오 접근법의 한계를 보완하고 인공지능을 활용하여 새로운 안전성 평가 시나리 오 수립 프레임워크를 제시할 수 있을 것으로 기대된다.


자율주행자동차 , 안전성 평가 , Vision Transformer , 시나리오 , 사고취약상황

    Ⅰ. 서 론

    자율주행자동차는 첨단교통체계 (ITS)에서 가장 중요한 요소 중 하나로, 도로 용량증대 및 교통류 개선 등 긍정적인 효과를 이룰 것으로 평가되고 있다. 특히, 교통사고 발생 원인 중 운전자 과실이 90% 이상을 차지 함에 따라, 자율주행자동차는 안전성 측면에서 사고 예방을 위한 대안으로 주목받고 있으며 (Masmoudi et al., 2019;Luettel et al., 2012), 자율주행기술의 고도화에 따라 상용화에 대한 기대감이 또한 높아지고 있다. 그러나 자율주행상황에서 주변 객체 인식 오류에 따른 충돌사고와 긴급 상황 시 운전자에게 운행제어권이 전환되는 상황 등 자율주행자동차의 상용화에 앞서 해결해야 할 안전성 관련 문제들이 여전히 존재한다 (Zhao et al., 2019). 이와 관련하여 최근 자율주행자동차의 안전성 제고를 위해 무선통신을 통한 교통 인프라 및 차량, 보행자 등과의 연결인 Vehicle to Everything(V2X) 기술과 안전기준 제정 및 운행을 위한 안전성 평 가 등 다양한 연구가 진행되고 있다 (Jenkins et al., 2018;Lim et al., 2017). 그 중 자율주행자동차의 상용화를 위한 안전성 평가 관련 시뮬레이션 기반의 시나리오 연구가 진행 중이나, 대부분 임시운행 허가를 위한 기준 및 평가 요소 선정에 집중되어있다. 또한, 시뮬레이션 기반 안전성 평가는 다양한 사고 상황을 고려할 수 있 으나 모든 사고상황에 대해 일반화하기 어렵고, 실제 도로상에 대한 검증이 불확실하다는 한계를 보인다. 이 에 따라 자율주행자동차의 안전성 평가를 위해 실제 데이터 기반의 시나리오 개발이 요구되고 있으나 자율 주행자동차 주행 데이터 부재 및 사고 데이터 수집의 어려움으로 일반차량 운행 데이터로 연구되고 있다.

    앞서 언급한 것과 같이, 자율주행자동차는 사고 예방을 위한 대안으로 주목받고는 있으나 이는 자율주행 자동차의 보급이 일정 수준에 다달았을 경우에 한한다. 자율주행자동차 도입 초기에 일반 차량과의 혼재상 황으로 다양한 사고가 발생할 것으로 예상되며 (Kang et al., 2020;Lee et al., 2021;Kang et al., 2022a), 이상적 인 상황에서도 자율주행자동차의 사고가 발생할 수 있다는 의견이 제기되고 있다 (Goodall, 2014). 이에 따라 자율주행자동차의 안전성을 확보하기 위해서는 사전에 능동적으로 대응하여 사고를 예방할 수 있는 능동적 대응체계가 제안되고 있다 (Kim et al., 2017). 이와 함께, 사고 데이터 수집의 어려움으로 실사고 데이터 수 집과 더불어 사고로 이어질 수 있는 취약한 상황 데이터를 확보하여 다양한 연구가 진행되고 있다 (Osaman et al., 2019;Arvin et al., 2021).

    한편, 차량 평가를 위한 기존 시나리오 방식의 전문가 적극 개입과 주관에 따른 객관성 결여가 한계로 지 적되면서 (Ulbrich et al., 2015;Erdogan et al., 2019;Kang et al., 2022b), 데이터 기반 머신러닝 및 인공지능 방 법론을 활용한 자율주행자동차 시나리오 도출 연구가 진행되고 있다 (Demetriou et al., 2020). 특히 Vision 데 이터 등을 활용하여 하나의 시점이 아닌 연속적인 사고상황에 대해 분석하기 위해 딥러닝 네트워크의 시퀀 스 분석 모델인 Long Short-Term Memory (LSTM) (Virdi, 2018) 등 다양한 인공지능 기반 시나리오 도출연구 가 주로 수행되고 있다. 그러나 이는 병렬 처리의 한계와 결과에 대한 취약한 설명력으로 시나리오의 신뢰성 을 확보하기 어렵다는 한계가 존재한다. 이러한 한계를 보완하기 위해 설명가능한 인공지능(eXplainable Artificial Intelligence, XAI)이 제시되었으며, 이는 판단에 대한 이유를 인공지능 스스로 설명하고 제시하는 설 명력 높은 인공지능 기법으로 최근 많은 관심을 받고 있다. 특히 데이터의 패턴이나 특징을 분석하고, 판단 의 이유를 설명함으로써 의료 및 금융 등 다양한 분야에서 결과에 대한 높은 신뢰도와 함께 활용도 또한 높 아지고 있다 (Das and Rad, 2020). XAI 방법론 중 하나인 Attention 기반의 Transformer는 데이터의 중요 부분 에 집중하여 설명가능성을 제시하고, 계산 복잡도와 연산시간을 감소시키며 연속된 시퀀스 분석 및 자연어 처리에서 높은 성능을 보이고 있다 (Vaswani et al., 2017). 또한, 최근 이미지 분류 및 생성과 같은 Computer Vision 등 다양한 분야에 Transformer를 적용한 연구가 진행되고 있다.

    이에 본 연구는 XAI 기반의 Transformer를 Vision 분야에 적용한 Vision Transformer (ViT)를 활용하여 실제 도로상의 사고 및 사고 취약상황을 예측하고자 한다. 또한, 이를 토대로 사고 취약상황에 대한 자율주행자동 차 안전성 평가 기준을 마련하고자 시나리오를 제시하고자 한다. 본 연구는 다음과 같은 목적을 가진다.

    1. 실사고 영상 데이터 기준 사고 및 사고 취약상황 분류

    2. 설명가능한 시나리오 도출

    본 연구는 다음과 같은 순서로 진행된다: 먼저, 자율주행자동차의 안전성 평가 및 사고 시나리오 도출 관 련 연구에 관한 선행연구를 고찰하여 본 연구의 차별성을 도출하고자 한다. 다음으로, 본 연구에서 활용한 데이터 소개와 함께 연구에서 사용한 Attention 기반의 ViT 방법론을 소개하여 연구의 목적에 맞게 모델을 재구조화 한다. 마지막으로, ViT 기반 사고 및 사고 취약상황 예측 분석결과를 제시하고 Functional 시나리오 를 도출한다. 최종적으로 이를 토대로 자율주행자동차 안전성 평가 기준을 마련하고 향후 연구 및 시사점을 도출하고자 한다 <Fig. 1>.

    <Fig. 1>

    Overall flow of the study

    KITS-21-5-233_F1.gif

    Ⅱ. 이론적 고찰

    본 장에서는 기존에 수행되고 있는 자율주행자동차 안전성 평가에 대한 선행연구를 검토하고 현재 다양 하게 사용되고 있는 자율주행자동차 안전성 평가 방법인 사고 시나리오와 관련 선행연구를 고찰하고자 한 다. 종합적으로 새로운 방법론 적용을 위한 본 연구의 차별성을 도출한다.

    1. 자율주행자동차 안전성 관련 선행연구 고찰

    자율주행기술의 고도화에 따라 상용화에 대한 기대감이 높아지고 있으나 여전히 사고위험에 대한 안전성 문제가 존재한다. 특히, 자율주행자동차는 인간 운전자가 아닌 시스템 운전자가 인지 및 판단, 제어를 수행 하기 때문에 돌발상황에 대한 능동적인 대처가 어렵고, 현재 단계에서는 인간 운전자로 제어권이 전환되는 상황에서 안전성 문제가 제기된다. 미국의 캘리포니아주와 네바다주에서는 사고 대응을 기준으로 자율주행 자동차 임시운행허가가 진행되고 있으며, 유럽에서는 AdaptIVe와 L3Pilot을 통해 자동화 수준과 법적·인적 요인을 고려한 자율주행기술 적용을 테스트하고 있으나 구체적인 안전성 평가방안은 미비한 실정이다 (Bartels et al., 2015;Hiller et al., 2019). 이에 따라 자율주행자동차의 안전성을 확보하고 평가하기 위한 기술 제시와 함께 시나리오와 지표 등 안전성 평가 기준이 마련될 필요가 있다 (Chae et al., 2019).

    자율주행자동차의 안전성 평가의 일환으로 임시운행 허가를 위한 기준 마련과 평가지표 산정 관련 연구 가 진행되었다(Chea et al., 2019; Lim et al., 2017;Zhao et al., 2019;Koorpman et al., 2019). Chae et al.(2017)은 현재 제정되어있는 자율주행자동차의 임시운행 및 평가기술을 분석하여 허가 기준과 평가항목을 마련한 후 시뮬레이션 기반 시나리오를 통해 안전 성능을 평가하였다. 유사하게, Lim et al.(2017)은 자율주행자동차의 임시운행 허가를 위한 최소 요건을 확인하여 시나리오별 평가항목을 제시하고, 실주행 데이터 기반 평가 시 나리오를 통해 안전 성능 평가하고 검증하였다. Zhao et al.(2019)은 지속적인 안전성과 신뢰성 평가를 위해 새로운 추론 방법인 Conservative Baysian Inference (CBI)를 제안하고, Waymo의 도로 주행 테스트 데이터에 Software Reliability Growth Models (SRGM)을 적용하여 인간 운전자의 제어권 전환 상황을 평가하였다. Koorpman et al.(2019)은 기존 안전기준 직접 적용에 따른 문제를 제시하고 사전 피드백 경로를 포함하는 목 표 기반 안전사례 접근방식을 제안하여 자율주행 안전성 평가 표준인 Underwriters Laboratories (UL) 4600 기 준의 기초를 마련하였다.

    안전성 평가에 대한 검증은 주로 시뮬레이션을 통한 사고 시나리오 개발을 통해 이루어지고 있다 (Park et al., 2019b, Kim et al., 2019;Abbas et al., 2017;Norden et al., 2019;Fremont et al., 2020). Park et al.(2019b)은 VR 시뮬레이터를 통해 고속도로 내 제어권 전환 안전성 평가를 위한 시나리오를 개발하였으며, Kim et al.(2019)은 시뮬레이션 환경 내 차량 고장을 임의로 발생시켜 운전자의 제어 가능성을 정량화하였다. Abbas et al.(2017) GTA 게임을 활용한 시뮬레이션을 통해 자율주행 위험 상황 조건을 도출하였다. Norden et al.(2019)은 희소 상황인 사고에 대한 확률을 효율적으로 학습하기 위해 적응형 중요도 샘플링 방법을 적용하 여 시스템을 블랙박스로 평가하고 사고 확률을 추정하는 테스트 프레임워크를 구현하였다. 특히 Fremont et al.(2020)은 시뮬레이션과 실주행에서 모두 테스트하는 포괄적인 안전성 시나리오 기반 실험을 제안하였으며, 공식 시뮬레이션을 활용한 알고리즘 테스트 사례를 생성하고 데이터를 분석하여 시뮬레이션과 실주행 사이 의 간격을 체계적으로 평가하였다.

    <Table 1>

    The Previous Studies of AVs Safety Assessment

    KITS-21-5-233_T1.gif

    2. 사고 시나리오 도출 선행연구 고찰

    시나리오란 어떤 사건과 장면들의 양립 순서 또는 전개로, 행위자와 환경, 연속된 장면에 대한 배경정보를 포함하는 각 장면 사이의 시간적 발전으로 정의되며 시스템의 기능 설명 및 검증을 위한 일반적인 접근법으 로 사용된다 (Ulbrich et al., 2015). 특히 자율주행자동차 운행에 대한 시나리오는 장면 요소의 일시적 순서 내에서 발생하는 행위자(Actor)의 차선 변경(Lane-change), 끼어들기(Cut-in) 등의 조작을 의미하며 추상도에 따라 Functional, Logical, Concrete로 구분될 수 있다 (Riedmaier et al., 2020).

    자율주행자동차의 안전성 평가를 위한 시나리오는 주로 고속도로 및 도심부 교차로에서 주행 및 Cut-in 상황에서 발생하는 사고를 중심으로 구성되고, 실제 데이터와 시뮬레이션 데이터를 활용하여 제시된다 (Park et al., 2019a;Lee et al., 2020;Strickland et al., 2018;Sui et al., 2019). Park et al.(2019a)은 5-layer 포맷을 적용 한 안전성 평가 시나리오를 활용하여 커뮤니티 도로의 교통사고를 토대로 텍스트 마이닝을 통해 교통안전 상황 키워드를 도출하였다. Lee et al.(2020)은 교통사고 통계 데이터에서 사망사고 중심의 위험 시나리오를 선정하고, 충돌 유형을 세분화하여 테스트 시나리오를 구성한 후 시뮬레이션을 통해 상세 위험 시나리오를 탐색하여 평가를 진행하였다. Sui et al.(2019)은 자동차와 Two-Wheel (TW) 이동체 간의 충돌사고 데이터를 토대로 발생 시간, 장애물 유무, 충돌 직전 차량과 TW의 상태 등을 변수로 추출하여 클러스터링 분석을 통 해 6개의 자동차-TW 충돌 시나리오를 도출하였다.

    특히 사고데이터 자체가 드물게 발생하기 때문에 데이터를 증강하고, 시나리오를 효율적으로 생성하기 위 해 최근 머신러닝과 딥러닝 기반의 시나리오 도출 연구가 활발히 진행되고 있다 (Jenkins et al., 2018;Remmen et al., 2018;Yu et al., 2020;Karims et al., 2021). Jenkins et al.(2018)은 차량의 속도와 방향을 토대로 V2X 데이터를 추출하여 Recurrent Neural Networks (RNN)에 입력해 시나리오를 생성하고, 실제 값과 비교 후 Kernel Density Estimation (KDE)로 분포를 표현하였다. Remmen et al.(2018)은 호스트 차량의 Radar로 수집한 데이터(종/횡방향 거리, 종/횡방향 속도, 매트릭스 위치, 선행 호스트 차량과의 거리 등)를 토대로 머신러닝 알고리즘인 Random Forest (FR), Support Vector Machine (SVM), Adaboost 등을 통해 Cut-in 예측 시나리오를 도출하였다. 특히, Yu et al.(2020)은 Convolutional Neural Networks (CNN)을 통해 비정형 비디오 데이터를 수 집하고, LSTM으로 시계열 기능을 학습한 CNN-LSTM 모델과 Resnet-LSTM 모델을 통해 고위험 시나리오의 성능을 평가하였다.

    <Table 2>

    The Previous Studies of AVs Scenarios Extraction

    KITS-21-5-233_T2.gif

    3. 연구의 차별성

    자율주행자동차의 안전성 평가는 임시운행을 위한 허가 기준 마련과 함께 평가지표 산정 관련 연구가 진 행되었으며, 교통 시뮬레이터 및 게임 등을 통한 시뮬레이션 기반 검증이 주로 이루어지고 있다. 또한, 안전 성 평가를 위해 사고 시나리오 기반의 다양한 테스트 방법이 제안되고 있으며 평가항목과 주행환경 등에 따 라 다양한 유형의 시나리오가 도출되었다. 그러나, 기존 시나리오 도출 연구의 전문가 개입에 따른 객관성 한계가 존재하여 시뮬레이션 데이터가 아닌 실제 데이터 기반 시나리오 도출방법의 필요성이 제기되고 있 다. 이에 따라 자율주행자동차의 안전성 평가를 위해 주로 사용되는 사고 시나리오는 고속도로 및 도심부 교 차로에서 발생하는 충돌사고 및 Cut-in 상황 등에서 발생하는 사고를 중심으로 구성하여 실제 데이터와 시뮬 레이션 데이터를 혼합 사용하여 도출되고 있다. 더하여, 사고 데이터 자체가 희소하므로 데이터를 증강하여 시나리오를 효과적으로 생성하는 머신러닝 및 딥러닝 적용 연구가 제안됨을 확인하였다.

    이와 같은 다양한 연구 노력에도 불구하고, 자율주행자동차 안전성 평가를 위한 시나리오는 객관성 확보 를 위해 전문가의 개입이 보다 최소화되어야 하므로 실제 데이터에 기반한 인공지능 적용이 필수적으로 고 려되어야 한다. 더하여, 시나리오의 신뢰성과 설명력을 확보하기 위해 기존 인공지능 방법론을 넘어 설명가 능한 인공지능을 도입할 필요가 있다.

    이에 본 연구는 실제 사고 영상 데이터 및 ViT 방법론을 통해 사고 및 사고 취약상황을 예측하고, 설명력 있는 시나리오 개발에 중점을 두어 자율주행자동차 안전성 평가를 위한 기준 마련을 목표로 한다.

    Ⅲ. 분석방법론

    본 장에서는 사고 및 사고 취약상황을 예측을 위한 실사고 데이터 소개 및 전처리와 본 연구에서 활용하 고자 하는 인공지능 모델(ViT) 소개 및 활용 데이터에 적합한 튜닝 ViT 모델을 제시한다. 더불어 3장에서 제 시한 모델의 학습결과 및 Attention Map을 4장에서 확인하고 5장에서 3, 4장 내용에 기반한 자율주행자동차 사고 취약상황 시나리오를 소개한다 <Fig. 2>.

    <Fig. 2>

    AVs Safety Assessment Scenario Extraction Flow

    KITS-21-5-233_F2.gif

    1. 활용 데이터

    본 연구에서 활용한 데이터는 실제 사고 데이터로, 국내 사고 데이터 접근 및 수집이 제한되어 있어 대만 의 오픈 데이터 세트인 Dashcam Accident Dataset(DAD) 영상을 활용하였다. 이는 대만의 6개 도시 (Taipei, Taichung, Yilan, Tainan, Kaohsiung, Hsinchu)에서 2014년부터 2016년까지 3년간 Dashcam을 통해 수집된 사고 영상이다. DAD 데이터는 총 1,730개의 영상 중 사고가 일어난 데이터는 620개(Positive)로 모든 영상이 100 frame (25Fps * 4s)로 구성된 455개의 Training set과 165개의 Testing set으로 구분되어 있다. DAD 데이터는 이륜차대차 (42.6%), 차대차 (19.7%), 이륜차대이륜차 (15.6%) 등으로 사고 유형이 확인되고, 대만의 도로 특 성상 복잡하고 이륜차 운행이 많은 주행환경이나 국내와 유사한 도로환경이기 때문에 이를 활용하였다. 이 에 따라 데이터를 정상상황, 사고 취약상황, 사고 상황 및 사고 후 상황을 구분하기 위해 TTC(Time To Collision)를 기준으로 총 4개의 클래스로 분류하기 위해, 총 455개의 Training set (45,500 frame)을 확인하였다 <Fig 3>. 본 연구는 자율주행자동차 안전성 평가를 위한 연구이므로 사고 취약상황 시 인간 운전자의 인지반 응보다1) 신속하게 대응할 필요가 있다고 판단하여 영상기준 충돌발생 예상시간인 TTC ≤ 1초 상황을 취약 상황으로 설정하였다. 또한 사고 상황의 경우 평균적으로 3초에 발생(74 frame)하고 0.5초 정도 지속된다. 이 에 따라 각 클래스의 데이터 불균형을 해소하고자 정상 주행 일부 상황을 제외하였으며, 사고 상황 이후인 사고 후 상황 클래스는 데이터의 양이 상대적으로 적게 나타났다. 최종적으로 4개의 클래스로 분류한 데이 터 수는 다음과 같다 <Table 3>.

    <Fig 3>

    DAD Video Dataset sample; (a) Before, (b) Vulnerable, (c) Collision, (d) After

    KITS-21-5-233_F3.gif
    <Table 3>

    The Number of Frame per Class

    KITS-21-5-233_T3.gif

    2. ViT (Vision Transformer)

    Computer Vision 분야에서 가장 많이 활용되는 인공지능 방법론은 합성곱 신경망(Convolutional Neural Network, 이하 CNN)으로 Convolution layer와 Pooling layer를 통해 행렬로 표현된 필터의 합성곱을 진행하여 이미지를 학습하고 분류하는 모델이다. CNN은 You Only Look Once(YOLO), AlexNet 등 다양한 응용 모델과 방법이 제안되었으나 고정된 크기의 필터를 가지고 있어 전체 부분을 고려하여 학습하지 못하는 경우가 발 생한다. 이를 해결하기 위해 Non-local Neural Networks, Criss-ross Attention, Local Relation Networks 등 다양한 모델이 제안되었음에도 이러한 모델들 또한 여전히 Convolution layer를 가지고 있다.

    ViT(Vision Transformer)는 CNN 모델과 달리 Self-Attention만으로 이미지를 분류하는 Transformer 모델로, 이미지를 patch로 분할하고 1차원으로 flatten 한 벡터를 자연어처리의 토큰과 같은 형태로 처리한 입력값을 토대로 학습한다(Dosovitskiy et al., 2020) <Fig 4(a)>.

    <Fig 4>

    (a) Transformer Model and (b) Embedding process

    KITS-21-5-233_F4.gif

    <Fig. 4(b)>와 같이 이미지를 분할하고 평면화하기 위해 입력 Image size(Height x Width), Channel, Patch size, Patch Number 등을 통해 Patch Embedding이 진행되며, 이미지 전체의 Representation을 위해 Class token이 추가된다. 이후, Transformer 모델과 마찬가지로 위치 정보 저장을 위해 Positional Embedding이 진행되며, Encoder를 통과하여 학습을 진행한다. ViT는 Transformer Encoder를 모델의 Architecture로 가지며, Multi-Head Self Attention을 수행하지만, Residual connection 이전에 Normalization이 먼저 이루어지게 되고, Feed Forward 신경망 대신 모든 레이어의 노드가 동일한 MLP(Multi-Layer Perceptron) Head를 통해 클래스를 분류한다. 이 때 MLP에서는 비선형 활성화 함수인 GELU(Gaussian Error Linear Unit)가 사용된다. 분석에서 사용한 모델은 12개의 Encoder layer와 768차원의 텐서로 이루어져 있으며, 정사각형 형태로 이미지를 분할하여 Transformer 의 토큰처럼 분석하기 위해 Image size는 224 x 224, Patch size는 32로 설정하였다. 이를 토대로 Patch Embedding을 진행하고, 224 x 224의 이미지가 32 x 32의 Patch에 의해 분할되어 (Batch_size, 49, 768) 형태의 텐서로 조정되었으며, 클래스를 특정하기 위한 Class token 추가 및 Positional Embedding의 결합을 통해 Encoder에 최종 입력하고자 (Batch_size, 50, 768) 형태의 텐서로 재구성하였다.

    본 연구는 사고 및 사고 취약상황 예측을 위해 사고상황과 정상상황에 대한 4개의 Class로 모델을 Fine-tuning 하였고, Normalization Layer와 Softmax를 활성화 함수로 사용하는 Dense Layer를 추가하였다 <Fig. 5>. 최종적으로 구축한 모델의 구조는 <Table 4>와 같으며, 전체 Parameter의 개수는 87,466,855개다.

    <Fig. 5>

    Vision Transformer Model Process (Fine-tunned Model)

    KITS-21-5-233_F5.gif
    <Table 4>

    Configuration of ViT Structure

    KITS-21-5-233_T4.gif

    Ⅳ. 사고 취약상황 분석 결과

    앞서 데이터 전처리과정을 거쳐 4개의 클래스로 분류된 DAD 사고데이터와 사고 및 사고 취약상황 예측 을 위한 Fine-tunned ViT 모델을 설계하였다. 분석을 위해 클래스가 부여된 총 24,740개 Frame을 8:2의 비율로 Train 데이터 (19,792개)와 Validation 데이터 (4,948개)로 분류하였고, 한 번에 학습할 데이터의 크기인 Batch size를 16, 32, 64로 3가지를 설정하여 각각 학습하였다. 모델 학습을 위해 평가지표는 정확도(accuracy)이며 모델 최적화를 위한 목적함수인 loss function으로 categorical crossentropy를 설정하여 label smoothing을 0.2로 지정해 데이터 정규화 및 모델 일반화 성능을 높였다 (Szegedy et al., 2016). 특히, 학습의 가중치 업데이트를 위한 최적화 함수로 Adaptive Moment Estimation (Adam)의 변형인 Rectified Adam (RAdam)2)을 사용하였고, 전체 반복 학습 수인 Epochs를 1,000으로 설정해 학습을 진행하였다. 또한, 초기 learning rate 값을 1e-4로 설 정하였고, Validation 데이터에 대한 학습 정확도인 Validation accuracy를 기준으로 2회 이상 값이 향상되지 않으면 learning rate를 최소기준 1e-6까지 감소시키도록 설정하였다. 최종적으로 해당 학습에 대해 하향 learning rate 이후 Validation accuracy가 향상되지 않을 경우, 학습을 조기에 종료하는 Early Stopping을 설정하 였다. 이를 종합한 ViT 모델의 학습 변수는 <Table 5>와 같다.

    <Table 5>

    Configuration of ViT Training

    KITS-21-5-233_T5.gif

    분석 모델에 대한 평가를 위해 Batch size에 따른 validation 데이터의 accuracy, precision, recall, F1-score를 비교하였고, 예측 값과 실제 값을 비교하기 위해 혼동행렬을 시각화하였다. True (T)와 False (F)는 예측의 성 공 여부를 나타내고, Positive (P)와 Negative (N)은 예측 클래스와 그 외 클래스 여부를 나타낸다. 설정한 지 표의 경우, accuracy(정확도)는 모델이 데이터를 학습하고 제대로 예측한 비율을 의미하며 precision(정밀도) 또한 모델의 관점에서 모델이 참으로 예측한 결과 중 실제 데이터 또한 참인 경우의 비율이다. Recall(재현 율)은 데이터 관점에서 실제 값이 참인 데이터 중 모델이 참으로 예측한 비율을 의미하며, f1-score는 모델 (Precision)과 데이터(Recall)를 모두 고려하여 모델의 예측 성능을 나타내는 지표이다. 각 지표의 대한 수식은 다음과 같다.

    a c c u r a c y = T P + T N T P + F N + F P + T N r e c a l l = T P T P + F N p r e c i s i o n = T P T P + F P f 1 − s c o r e = 2 * p r e c i s i o n * r e c a l l p r e c i s i o n + r e c a l l

    학습결과, 최종적으로 Batch size가 64일 때 가장 높은 지표들이 확인되었다. Epoch 29에서 학습이 완료되 었으며 Train 데이터에 대한 정확도는 99.87%, Test 데이터 정확도는 94.01%로 나타났다 <Table 6>. Class 별 분류 결과, 정상 주행상황(Before)에 대한 예측을 가장 잘 수행하였고, 전체적으로 약 94%의 예측 정확도를 보였다. 혼동행렬을 살펴보면, 실제 정상 주행상황(Before)에서 취약상황(Vulnerable)으로 예측한 경우가 가장 많았고, 실제 사고 상황(Collision)을 직전·직후 상황인 취약상황(Vulnerable)이나 사고 후 상황(After)으로 예측 하는 오류가 일부 확인되었다. 그러나, 정상 주행상황(Before)과 취약상황(Vulnerable)을 사고 후 상황(After)으 로 혼동 예측하는 경우는 거의 없는 것으로 나타났다. 이는 ViT 모델이 Class 별 상황 내에서 발생하는 시퀀 스적 데이터 특성을 잘 학습한 것으로 판단되며 전체적으로 모든 Class에서 직전·직후 상황에 대한 예측값 일부 부정 예측이 존재하였으나, 두 단계 이상 떨어진 상황에 대한 예측 오류는 거의 존재하지 않아 각 클래 스의 특징점을 명확하게 파악한 것으로 판단된다.

    <Table 6>

    ViT Learning Result_Batch size 64

    KITS-21-5-233_T6.gif

    사고 및 사고 취약상황 예측을 위해 ViT 학습을 진행하였으며, 학습결과와 함께 시나리오 제시에 활용할 수 있는 Attention Map을 추가적으로 활용하고자 한다. Attention Map은 해당 데이터에서 Attention이 발생한 patch를 두드러지게 표현하여 Map으로 나타낸 것으로, 앞서 ViT 기반 사고 및 사고 취약상황에 대한 예측 분 석의 설명력을 보완하는 데 도움을 줄 수 있어 이를 활용하였다. 그러나 상황에 대해 4개의 Class로 Fine-tuning 된 모델은 시공간 시퀀스를 고려한 분류는 가능하지만, Attention이 발생한 객체의 Class를 개별적 으로 정의하지 못하는 한계가 존재한다. 따라서 앞서 예측 정확도가 가장 높았던 Batch size 64 Fine-tuning 모 델로 사고 취약상황을 예측하고, 1,000개의 Class로 구성된 ViT-Base 모델로 Attention Map을 시각화하였다.

    사고 취약시나리오 도출을 위해 사고가 발생하는 대표적인 상황에 기반하여 취약상황 Attention Map을 제 시하고자 한다 (Alambeigi et al., 2020;Kang et al., 2022b). 이는 Cut-in 상황으로 차로 변경에 따른 차량 간 상 호작용으로 잦은 사고가 발생하는 대표적인 상황이다. 이에 따라 조도 및 도로구조에 따른 주간 상황, 야간 상황, 야간 회전교차로 상황, 총 세 가지로 기하구조 및 객체를 <Table 7>에 제시하였다.

    <Table 7>

    Road Geometries, Objects

    KITS-21-5-233_T7.gif

    첫 번째 상황의 경우, 목표차량(Target Vehicle)이 1차로에서 안전거리를 확보하지 않고 3차로로 차선변경 을 시도하다가 사고가 발생한 주간 상황이며, 두 번째 상황은 4차로 야간 환경에서 2차로에 있던 목표차량이 1차로 Cut-in을 시도하다가 발생한 사고 상황이다. 마지막 상황은 야간 회전교차로 내 3차로에서 2차로로 차 선 변경을 시도하다 발생한 사고 상황이다. 세 가지 상황 모두 목표차량의 차선 변경에 의한 사고로, 연속적 인 사고로 이어질 수 있는 취약상황이기 때문에 추종하고 있는 대상차량인 자율주행자동차의 신속한 대응이 필수적으로 요구되어 이에 대한 Attention Map을 확인하였다.

    제시한 세 가지 취약상황 내 Attention Map을 확인한 결과, 모두 사고를 유발하는 목표차량에 Attention 값 이 두드러지게 표현되는 것으로 나타났다. 이는 해당 사고 취약상황에서 주목해야하는 객체가 해당 대상 차 량임을 의미하며, 이를 활용하여 보다 직관적인 자율주행자동차 사고 취약상황 시나리오를 제시할 수 있다.

    <Table 8>

    Configuration of ViT-TA Structure

    KITS-21-5-233_T8.gif

    Ⅴ. 취약상황 사고 시나리오 도출

    본 장에서는 앞서 ViT 튜닝 모델을 활용하여 사고 및 사고 취약상황 예측하였으며, 이를 기반으로 표출한 Attention Map을 활용하여 자율주행자동차 안전성 평가에 활용할 수 있는 직관적인 시나리오를 제시하고자 한다.

    1. 자율주행자동차 안전성 평가를 위한 시나리오 정의

    세계적으로 자율주행자동차 사고 시나리오를 제안하기 위한 연구가 수행되고 있으며, 자동차 기능 안전성 국제 표준인 ISO 26262를 토대로 다양한 프로젝트가 제시되고 있다. 그 중 PEGASUS project(Audi and Volkswagen, 2019), CETRAN project(de Gelder et al., 2020), ENABEL-S(ENABLE-S3 Consortium, 2019) 등 다양 한 자율주행 프로젝트가 수행되고 있으며, 특히 PEGASUS project는 독일 연방 주도하에 BMW, Audi 등 산학 연이 협업하여 자율주행 기능의 안전성 확보 방법과 요구사항을 체계화하고 고속도로에서 발생할 수 있는 다양한 사고 시나리오를 구체화하였다. PEGASUS project는 체계적인 시나리오 수립을 위해 6-layer를 제시하 고 이를 기반으로 시나리오의 추상 수준에 따라 Functional scenario, Logical scenario, Concrete scenario로 구분 한다. Functional scenario는 도로의 형태, 고정요소 및 동적요소에 관한 정보, 환경 조건, 상황 등을 자연어로 설명한 시나리오로 <Fig. 6>와 같이 차로 수, 도로의 제한 속도, 차량의 움직임, 계절, 날씨 등의 정보를 제공 한다. Logical scenario와 Concrete scenario는 Functional scenario를 기반으로 사고와 관련된 요인의 세부적인 수 치를 제공하여 시나리오를 실험하기 위한 시나리오이다. Logical scenario는 Functional scenario에서 제공한 인 덱스의 범위를 제공하고 Concrete scenario는 인덱스의 값을 지정하여 자율주행자동차의 안전성 평가에 활용 된다. 활용되는 데이터와 시나리오의 종류에 따라 Logical scenario와 Functional scenario에서 제공하는 범위와 값이 상이하게 제시되며, 통상적으로 동적 객체의 위치, 속도, 제원, 차선폭, time to collision 등을 제시하여 자율주행자동차의 안전성 평가를 위한 테스트에 활용된다 <Fig. 6>.

    <Fig. 6>

    Functional, Logical, Concrete Scenario defined by PEGASUS project

    KITS-21-5-233_F6.gif

    2. 사고취약상황 시나리오

    본 연구에서는 Pegasus 프로젝트를 참고하여 작성한 Functional Scenario를 활용하고자 한다 (Ko et al., 2022a;Ko et al., 2022b). 시나리오 양식은 <Fig. 7>와 같이, Scenario Type, Overall flow of situation, Scenario Description 등으로 구성된다. Scenario Type은 해당 상황 시나리오의 유형, 위치, 목적에 대해 나타내는 항목 으로 세부적으로 Type은 상황이 발생하기 전 상태, Location은 해당 시나리오의 상황이 발생하는 위치, Purpose는 본 시나리오의 목적에 대해 간단히 기술한다. Overall flow of situation은 시나리오에서 상황을 이해 하기 쉽게 그림으로 표현하는 항목으로 Scene의 진행도에 따라 점차 진하게 표현하여 주행 경과를 나타내고, 객체 및 기하구조를 추가한다. 마지막으로 Scenario description은 해당 시나리오를 설명하기 위해 텍스트 (자 연어)를 이용하여 이동객체와 상황에 대해 표현하는 항목으로 차로 수 및 유형 등의 간략한 기하구조와 시 나리오 내 이동객체의 차종, 주행차로, 위치, 움직임 등을 포함한 현재 상황을 작성한다 <Fig 7>.

    <Fig. 7>

    Example of Functional Scenario

    KITS-21-5-233_F7.gif

    상황 시나리오의 경우 추상도가 높아 평가가 필요한 상황이 명확하게 전달되는 것을 주요 목적으로 하여 평가를 위한 구성요소는 상대적으로 중요하지 않다. <Fig. 7>은 전체적인 상황을 개략적으로 파악할 수는 있 으나, 어떠한 근거에 의해서 자율주행자동차 안전성 확보를 위한 평가가 필요한 상황인지에 대한 뒷받침 자 료는 부족한 상황이다. 이를 해소하기 위해 본 연구에서 제시한 실사고 데이터 기반의 자료 및 전문가의 주 관이 최소화된 인공지능 학습 결과를 토대로 평가가 필요한 상황에 대한 명확한 근거를 제시할 수 있을 것 으로 판단된다. 이에 따라 본 연구에서는 ViT 기반 Attention Map 분석 결과를 <Fig. 7>에 추가하여 보다 설 명력 있는 사고 취약상황 Extended Funtional Scenario를 제시하고자 한다 <Fig. 8>.

    <Fig. 8>

    Extended Functional Scenario with Attention Map Example #1 : Evaluation Plan for the sudden accident between Target Vehicles ahead

    KITS-21-5-233_F8.gif

    본 연구에서 제시하는 Extended Funtional Scenario는 Ko et al.(2022)이 제시한 Funtional Scenario <Fig. 7>에 서 인공지능 학습결과를 추가하여 보다 설명력이 보완된 평가 시나리오이다.

    앞서 확인한 세 가지 사고 취약사황 중 대표적으로 주간 시간대 주변 차량의 Cut-in으로 사고에 취약해진 상황에 대한 평가 시나리오를 제시하고자 한다. 자율주행자동차 평가가 필요한 시나리오 내 도로 및 상황은 도심부 3차로 직선부 구간에서 2차로에 차량이 서행하고 있는 중에 이륜차의 진입 및 갑작스런 차선변경으 로 후방충돌한 사고상황이다. 이는 갑작스러운 Cut-in 상황에서 이륜차가 안전거리를 제대로 확보하지 못하 여 발생한 상황으로 Dashcam 기준 운전자가 사고 발생에 따라 사고에 취약해진 상황이라 할 수 있다. <Fig. 8> 상단 Attention Map에서 사고를 유발한 이륜차에 Attention이 두드러지게 발생하면서 본 상황이 사고 취약 상황이며 이를 주목해야함을 확인할 수 있다. 이는 자율주행자동차가 갑작스러운 목표차량의 cut-in으로 인 해 발생하는 사고 취약상황에 대한 인지 및 대응할 수 있는지에 대해 평가하는 시나리오로 제시될 수 있다.

    본 연구에서는 기존 차량 안전성 평가 시나리오의 객관성의 부재 및 전문가 주관의 개입을 최소화하고자 Funtional Scenario에 인공지능 방법론 결과를 시각화하여 함께 제시하였다. 이는 실 데이터 및 인공지능 학습 결과를 함께 확인함으로써 객관성을 확보하고 전문가 주관을 완화할 수 있어 해당 상황에서 자율주행자동차 안전성 평가가 왜 필요한지에 대한 근거를 제시할 수 있을 것으로 판단된다.

    Ⅵ. 결 론

    자율주행자동차는 이동성 증대 및 사고 예방을 위한 대안으로 관심받고 있으며 자율주행 기술의 고도화 에 따라 상용화에 대한 기대감이 높아지고 있으나, 여전히 안전성 관련 문제들이 존재한다. 이에 따라 최근 자율주행자동차의 안전성 제고를 위해 다양한 연구가 진행되고 있으며, 특히 상용화를 위한 사고 시나리오 기반 안전성 평가가 이루어지고 있다. 그러나, 안전성 평가를 위한 시뮬레이션 기반 시나리오는 일반화하기 어렵고 실제 도로상에서의 검증이 불확실하여 실제 데이터 기반의 시나리오 개발이 요구되고 있다. 또한 기 존 시나리오의 전문가 개입을 최소화 하여 시나리오의 객관성을 확보하고자 인공지능 방법론을 활용한 자율 주행자동차 시나리오 도출 연구가 진행되고 있으며, 연속된 상황에 대한 시퀀스 분석을 위해 seq2seq 모델이 활용되고 있다. 이에 본 연구에서는 ViT 모델을 활용하고 Attention Map을 추가적으로 제시하여 보다 설명력 있는 자율주행자동차 안전성 평가를 위한 시나리오를 제안하였다.

    최종적으로 세 가지 취약상황을 확인하였으며 대표적인 Cut-in 상황에 대한 Extended Functional scenario를 제시하였다. 특히, Attention Map을 통해 적정 안전거리를 산정하지 않고 갑작스럽게 cut-in 하여 사고에 취약 한 상황이 발생한 것을 확인하였으며, 이는 자율주행자동차의 상황 인지 및 대응(급정거 및 차로변경)을 확 인할 수 있는 시나리오로 활용될 수 있을 것이라 판단된다. 본 연구는 실사고 데이터를 활용하여 자율주행자 동차 사고 예방적 관점에서 사고취약상황을 고려하였으며, 설명가능한 인공지능의 도입을 통해 기존 시나리 오의 설명력 부족의 한계 및 평가에 대한 근거를 보완한 것에 의의가 있다.

    이처럼 본 연구는 인공지능을 활용하여 자율주행자동차 안전성 평가용 시나리오에 설명력을 보완하였으 나, 다음과 같은 사항을 고려하지 못하였다. 첫 번째로 앞서 언급한 것과 같이 NCAP(New Car Assessment Program)은 각 나라 도로 실정에 맞게 조정되는 사항으로, 본 연구는 한국의 자율주행자동차 안전성 평가를 위해 연구되었다. 그러나 국내 사고 데이터의 확보가 어려워 대만의 오픈소스 데이터를 활용하였다. 이를 고 려하여 향후 국내에서 실제로 수집한 주행데이터를 활용하여 한국에 적합한 자율주행자동차 평가용 시나리 오를 제시하고자 한다. 두 번째, 본 연구에서 활용한 ViT 모델은 전체적인 시공간을 고려하여 상황만을 구분 할 수 있어 Attention Map에서 객체에 대한 내용을 제시하지 못하였다. 향후 상황에 대한 클래스 구분 모델 에 객체 분류를 수행할 수 있는 모델을 추가하고 이를 기반으로 보다 구체적인 시나리오를 제시할 예정이다. 세 번째로 시나리오의 경우, Functional, Logical, Concrete scenario가 존재하나 본 연구에서는 상황만을 확인하 는 모델을 활용하여 Functional Scenario까지만 제시할 수 있다. 추후 사고 이미지 데이터가 아닌 LiDAR 데이 터를 활용하여 실제 물리적인 속도, 가속도, 거리 등을 추출하여 Functional 시나리오에서 세부적인 요소를 덧붙여 Logical, Concrete 시나리오를 제시하고자 한다.

    ACKNOWLEDGMENTS

    본 연구는 이우섭 석사 학위 논문 「Vision Transformer를 활용한 실주행 데이터 기반 자율주행자동차 사 고 취약상황 예측 및 시나리오 도출 연구」를 수정·보완하여 작성되었으며, 국토교통부 자율주행기술개발혁 신사업 ‘주행 및 충돌상황 대응 안전성 평가기술개발(22AMDP-C161754-02)’ 과제 지원으로 수행되었습니다.

    Figure

    KITS-21-5-233_F1.gif

    Overall flow of the study

    KITS-21-5-233_F2.gif

    AVs Safety Assessment Scenario Extraction Flow

    KITS-21-5-233_F3.gif

    DAD Video Dataset sample; (a) Before, (b) Vulnerable, (c) Collision, (d) After

    KITS-21-5-233_F4.gif

    (a) Transformer Model and (b) Embedding process

    KITS-21-5-233_F5.gif

    Vision Transformer Model Process (Fine-tunned Model)

    KITS-21-5-233_F6.gif

    Functional, Logical, Concrete Scenario defined by PEGASUS project

    KITS-21-5-233_F7.gif

    Example of Functional Scenario

    KITS-21-5-233_F8.gif

    Extended Functional Scenario with Attention Map Example #1 : Evaluation Plan for the sudden accident between Target Vehicles ahead

    Table

    The Previous Studies of AVs Safety Assessment

    The Previous Studies of AVs Scenarios Extraction

    The Number of Frame per Class

    Configuration of ViT Structure

    Configuration of ViT Training

    ViT Learning Result_Batch size 64

    Road Geometries, Objects

    Configuration of ViT-TA Structure

    Reference

    1. Abbas, H. , O’Kelly, M. , Rodionova, A. and Mangharam, R. (2017), “Safe at any speed: A simulation-based test harness for autonomous vehicles”, In International Workshop on Design, Modeling, and Evaluation of Cyber Physical Systems, Springer, Cham, October, pp.94-106.
    2. Alambeigi, H. , McDonald, A. D. and Tankasala, S. R. (2020), Crash themes in automated vehicles: A topic modeling analysis of the California Department of Motor Vehicles automated vehicle crash database, arXiv preprint arXiv:2001.11087.
    3. Arvin, R. , Khattak, A. J. and Qi, H. (2021), “Safety critical event prediction through unified analysis of driver and vehicle volatilities: Application of deep learning methods”, Accident Analysis & Prevention, vol. 151, 105949.
    4. Audi, A. G. and Volkswagen, A. G. (2019), https://www.pegasusprojekt.de/files/tmpl/Pegasus-Abschlussveranstaltung/PEGASUS-Gesamtmethode.pdf, 2022.06.13.
    5. Bartels, A. , Eberle, U. and Knapp, A. (2015), “Deliverable D2.1. System Classification and Glossary”, Adaptive Consortium, Wolfsburg, Germany, Feb. 6, p.63.
    6. Chae, H. , Kim, S. , Yi, K. , Lee, M. and Min, K. (2019), “Development and Implementation of Safety Evaluation Scenarios for Automated Driving Vehicles on Test Bed”, In 26th International Technical Conference on the Enhanced Safety of Vehicles (ESV): Technology: Enabling a Safer Tomorrow National Highway Traffic Safety Administration (No. 19-0061), pp.1-13.
    7. Das, A. and Rad, P. (2020), Opportunities and challenges in explainable artificial intelligence (xai): A survey, arXiv preprint arXiv:2006.11371.
    8. De Gelder, E. , Den Camp, O. O. and De Boer, N. (2020), https://cetran.sg/wp-content/uploads/2020/01/REP200121_Scenario_Categories_v1.7.pdf, 2022.06.13.
    9. Demetriou, A. , Allsvåg, H. , Rahrovani, S. and Chehreghani, M. H. (2020), “Generation of driving scenario trajectories with generative adversarial networks”, In 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), IEEE, September, pp.1-6.
    10. Dosovitskiy, A. , Beyer, L. , Kolesnikov, A. , Weissenborn, D. , Zhai, X. , Unterthiner, T. , Dehghani, M. , Minderer, M. , Heigold, G. , Gelly, S. , Uszkorit, J. and Houlsby, N. (2020), An image is worth 16x16 words: Transformers for image recognition at scale, arXiv preprint arXiv:2010.11929.
    11. ENABLE-S3 Consortium (2019), https://www.tugraz.at/fileadmin/user_upload/Institute/IHF/Projekte/ENABLE-S3_SummaryofResults_May2019.pdf, 2022.06.13.
    12. Erdogan, A. , Ugranli, B. , Adali, E. , Sentas, A. , Mungan, E. , Kaplan, E. and Leitner, A. (2019), “Real-world maneuver extraction for autonomous vehicle validation: A comparative study”, In 2019 IEEE Intelligent Vehicles Symposium (IV), IEEE, June, pp.267-272.
    13. Fremont, D. J. , Kim, E. , Pant, Y. V. , Seshia, S. A. , Acharya, A. , Bruso, X. , Paul, W. , Lemke, S. , Lu Q. and Mehta, S. (2020), “Formal scenario-based testing of autonomous vehicles: From simulation to the real world”, In 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), IEEE, September, pp.1-8.
    14. Goodall, N. J. (2014), “Ethical decision making during automated vehicle crashes”, Transportation Research Record, vol. 2424, no. 1, pp.58-65.
    15. Hiller, J. , Svanberg, E. , Koskinen, S. , Bellotti, F. and Osman, N. (2019), “The L3Pilot Common Data Format-Enabling efficient automated driving data analysis”, In Proceedings of the 26th International Technical Conference on the Enhanced Safety of Vehicles, Eindhoven, The Netherlands, June, pp.10-13.
    16. Jenkins, I. R. , Gee, L. O. , Knauss, A. , Yin, H. and Schroeder, J. (2018), “Accident scenario generation with recurrent neural networks”, In 2018 21st International Conference on Intelligent Transportation Systems (ITSC), IEEE, November, pp.3340-3345.
    17. Kang, M. , Im, I. J. , Song, J. and Hwang, K. (2022a), “Is Only the Dedicated Lane for Automated Vehicles Essential in the Future? The Dedicated Lanes Optimal Operating System Evaluation”, Sustainability, vol. 14, no. 18, p.11490.
    18. Kang, M. , Song, J. and Hwang, K. (2020), “For Preventative Automated Driving System (PADS): Traffic Accident Context Analysis Based on Deep Neural Networks”, Electronics, vol. 9, no. 11, p.1829.
    19. Kang, M. , Song, J. and Hwang, K. (2022b), “The Extraction of Automated Vehicles Traffic Accident Factors and Scenarios Using Real-World Data”, In Congress on Intelligent Systems, Springer, Singapore, pp.1-15.
    20. Karim, M. M. , Li, Y. , Qin, R. and Yin, Z. (2021), A system of vision sensor based deep neural networks for complex driving scene analysis in support of crash risk assessment and prevention, arXiv preprint arXiv:2106.10319.
    21. Kim, D. Y. , Lee, S. Y. , Lee, H. K. , Cho, I. S. , Shin, J. K. and Park, K. H. (2019), “Development of Quantitative Methods for Evaluating Failure Safety of Level 3 Autonomous Vehicles”, The Journal of The Korea Institute of Intelligent Transport Systems, vol. 18, no. 1, pp.91-102.
    22. Kim, K. , Kim, B. , Lee, K. , Ko, B. and Yi, K. (2017), “Design of integrated risk management-based dynamic driving control of automated vehicles”, IEEE Intelligent Transportation Systems Magazine, vol. 9, no. 1, pp.57-73.
    23. Ko, W. , Park, S. , Yun, J. , Park, S. and Yun, I. (2022a), “Development of a framework for generating driving safety assessment scenarios for automated vehicles”, Sensors, vol. 22, no. 16, p.6031.
    24. Ko, W. R. , Yun, I. S. , Park, S. M. , Jeong, H. M. and Park, S. H. (2022b), “Derivation of Assessment Scenario Elements for Automated Vehicles in the Expressway Mainline Section”, The Journal of The Korea Institute of Intelligent Transport Systems, vol. 21, no. 1, pp.221-239.
    25. Koopman, P. , Ferrell, U. , Fratrik, F. and Wagner, M. (2019), “A safety standard approach for fully autonomous vehicles”, In International Conference on Computer Safety, Reliability, and Security, Springer, Cham, pp.326-332.
    26. Lee, J. M. , Jung, U. I. and Song, B. S. (2020), “Critical Scenario Generation for Collision Avoidance of Automated Vehicles Based on Traffic Accident Analysis and Machine Learning”, Transactions of the Korean Society of Automotive Engineers, vol. 28, no. 11, pp.817-826.
    27. Lee, W. , Kang, M. H. , Song, J. and Hwang, K. (2021), “The Design of Preventive Automated Driving Systems Based on Convolutional Neural Network”, Electronics, vol. 10, no. 14, p.1737.
    28. Lim, H. H. , Chae, H. S. , Lee, M. S. and Lee, K. S. (2017), “Development and Validation of Safety Performance Evaluation Scenarios of Autonomous Vehicle based on Driving Data”, Journal of Auto-Vehicle Safety Association, vol. 9, no. 4, pp.7-13.
    29. Liu, L. , Jiang, H. , He, P. , Chen, W. , Liu, X. , Gao, J. and Han, J. (2019), On the variance of the adaptive learning rate and beyond, arXiv preprint arXiv:1908.03265.
    30. Luettel, T. , Himmelsbach, M. and Wuensche, H. J. (2012), “Autonomous ground vehicles-Concepts and a path to the future”, Proceedings of the IEEE, pp.1831-1839.
    31. Masmoudi, M. , Ghazzai, H. , Frikha, M. and Massoud, Y. (2019), “Object detection learning techniques for autonomous vehicle applications”, In 2019 IEEE International Conference on Vehicular Electronics and Safety (ICVES), IEEE, pp.1-5.
    32. Norden, J. , O'Kelly, M. and Sinha, A. (2019), Efficient black-box assessment of autonomous vehicle safety, arXiv preprint arXiv:1912.03618.
    33. Osman, O. A. , Hajij, M. , Bakhit, P. R. and Ishak, S. (2019), “Prediction of near-crashes from observed vehicle kinematics using machine learning”, Transportation Research Record, vol. 2673, no. 12, pp.463-473.
    34. Park, S. M. , So, J. H. , Ko, H. G. , Jeong, H. R. and Yun, I. S. (2019a), “Development of Safety Evaluation Scenarios for Autonomous Vehicle Tests Using 5-Layer Format (Case of the Community Road)”, The Journal of the Korea Institute of Intelligent Transport Systems, vol. 18, no. 2, pp.114-128.
    35. Park, S. H. , Jeong, H. R. , Kwon, C. W. , Kim, J. H. and Yun, I. S. (2019b), “Analysis of Take-over Time and Stabilization of Autonomous Vehicle Using a Driving Simulator”, The Journal of the Korea Institute of Intelligent Transport Systems, vol. 18, no. 4, pp.31-43.
    36. Remmen, F. , Cara, I. , De Gelder, E. and Willemsen, D. (2018), “Cut-in scenario prediction for automated vehicles”, In 2018 IEEE International Conference on Vehicular Electronics and Safety (ICVES), IEEE, pp.1-7.
    37. Riedmaier, S. , Ponn, T. , Ludwig, D. , Schick, B. and Diermeyer, F. (2020), “Survey on scenario-based safety assessment of automated vehicles”, IEEE Access, vol. 8, pp.87456-87477.
    38. Strickland, M. , Fainekos, G. and Amor, H. B. (2018), “Deep predictive models for collision risk assessment in autonomous driving”, In 2018 IEEE International Conference on Robotics and Automation (ICRA), IEEE, pp.4685-4692.
    39. Sui, B. , Lubbe, N. and Bärgman, J. (2019), “A clustering approach to developing car-to-two-wheeler test scenarios for the assessment of Automated Emergency Braking in China using in-depth Chinese crash data”, Accident Analysis & Prevention, vol. 132, 105242.
    40. Szegedy, C. , Vanhoucke, V. , Ioffe, S. , Shlens, J. and Wojna, Z. (2016), “Rethinking the inception architecture for computer vision”, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, IEEE, pp.2818-2826.
    41. Ulbrich, S. , Menzel, T. , Reschka, A. , Schuldt, F. and Maurer, M. (2015), “Defining and substantiating the terms scene, situation, and scenario for automated driving”, In 2015 IEEE 18th International Conference on Intelligent Transportation Systems, IEEE, pp.982-988.
    42. Vaswani, A. , Shazeer, N. , Parmar, N. , Uszkoreit, J. , Jones, L. , Gomez, A. N. , Kaiser, L. and Polosukhin, I. (2017), “Attention is all you need”, Advances in Neural Information Processing Systems, vol. 30.
    43. Virdi, J. (2018), Using deep learning to predict obstacle trajectories for collision avoidance in autonomous vehicles, University of California, San Diego.
    44. Yu, R. , Ai, H. and Gao, Z. (2020), “Identifying High Risk Driving Scenarios Utilizing a CNN-LSTM Analysis Approach”, In 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), IEEE, pp.1-6.
    45. Zhao, X. , Robu, V. , Flynn, D. , Salako, K. and Strigini, L. (2019), “Assessing the safety and reliability of autonomous vehicles from road testing”, In 2019 IEEE 30th International Symposium on Software Reliability Engineering (ISSRE), IEEE, pp.13-23.

    저자소개

    Footnote

    • AASHTO 기준, 인간 인지반응 속도를 2.5초로 설정하였으나 최근 연구에서 2.5~1.5초로 제시하고 있어 이를 고려하여 1초이하를 취약상황으로 설정함
    • Adam은 상대적인 가중치 업데이트양에 따라 step size를 조정하는 adaptive learning rate를 가지는 특징을 지니나, 학습 초기에 샘플 부족으로 인해 adaptive learning rate의 분산이 증폭되어 전체 최적점이 아닌 국소 최적점에 도달하는 수렴하는 문제가 발 생하여 이를 최소화할 수 있는 RAdam을 활용함(Liu et al., 2019).