Ⅰ. 서 론
1. 연구 배경 및 목적
최근 자율주행차량 기술은 빠르게 발전하며 모빌리티 분야에 큰 변화를 가져오고 있다. 인공지능과 첨단 센서 기술의 융합 덕분에 자율주행차량은 복잡한 교통 환경에서도 안전하고 효율적으로 주행할 수 있는 능 력을 점차 갖추어 나가는 중이다. 이로 따라 미래 교통 시스템의 혁신 가능성이 높아지고 있으며, 도로 안전 성과 교통 흐름 개선에도 크게 기여할 것으로 기대된다(Van Brummelen et al., 2018). 그러나 기술 발전과 함 께 운전 주체가 인간에서 자율주행 시스템으로 전환됨에 따라 자율주행 차량의 교통사고 발생 시 교통사고 에 대한 새로운 사고 분석과 예방 전략이 필요해졌다(Han, 2019).
운전 주체의 변화는 사고의 원인 구조를 기존 사고에 대비하여 더욱 복잡하게 만들었다. 인간 운전자는 도로 상태와 환경적 위험에 대해 본능적으로 반응할 수 있는 반면, 자율주행 시스템은 차량 내의 다양한 센 서와 알고리즘을 통해 상황을 분석하여 반응한다(Wang et al., 2020). 이러한 차이는 기존 사고 요인 분석 방 식을 재구조화가 필요함을 의미한다. 기존 사고 분석은 인적 요인, 차량의 파손 또는 일반적인 환경적 위험 요소에 주로 초점을 맞추어 왔지만, 자율주행차량의 경우에는 인공지능의 판단 과정, 센서의 오류, V2X 통신 등이 사고 원인으로 작용할 수 있다(Kim et al., 2024). 따라서 기존 사고 보고서에만 의존하는 분석으로는 자 율주행차량이 실제로 직면하는 위험을 모두 설명하는데, 한계가 존재한다.
지금까지의 사고 분석 및 연구는 캘리포니아 차량 관리국(California Department of Motor Vehicles: CA DMV) 같은 기관의 충돌 보고서를 기반으로 이루어졌다(Ma et al., 2022). 이 보고서는 사고의 경위와 주변 환경을 설명하지 만, 그 정보만으로는 차량이 실제 상황에서 어떻게 반응했는지, 어떤 환경적 요인들이 사고를 유발했는지에 대한 종합적인 이해가 어렵다. 특히 자율주행차량은 복잡한 교통 환경 속에서 인공지능이 여러 변수를 동시에 고려하여 주행 결정을 내리기 때문에, 기존 보고서로는 모든 상황을 효과적으로 분석하기에 한계가 있다.
최근 몇 년 동안 발전한 생성형 AI 기술과 Large Language Model (LLM)이 이러한 한계를 보완할 수 있는 새로운 접근법을 제시하고 있다. LLM 모델은 텍스트와 영상 데이터를 함께 분석하는 데 강력한 도구로 자 리 잡았으며(Cho, 2023), 사고 보고서에서 주요 문구를 뽑아내거나, 영상 데이터를 분석해 해당 상황을 설명 하는 문장을 생성형 AI를 기반으로 생성하는 등의 작업이 가능해졌다. 이 기술을 활용하면, 자율주행차량이 직면할 수 있는 다양한 위험 요인을 보다 깊이 있게 탐색할 수 있을 것으로 사료된다.
이러한 배경 하에 본 연구는 생성형 AI 기술과 LLM모형 기반으로 충돌 보고서와 영상 데이터를 결합하 여 기존에 도출하지 못하였던 새로운 사고 위험 요인 도출을 목적으로 한다. 이를 위해, CA DMV에서 제공 하는 자율주행차량의 충돌 보고서와 Waymo사에서 제공하고 있는 주행 영상 데이터를 활용하였다. 본 연구 를 통해 기존 사고 발생에 따른 환경요인에 더해 새로운 요인이 도출된다면 자율주행차량의 사고 예방 전략 을 보다 정교하게 구축할 수 있으리라 기대한다.
Ⅱ. 선행연구 고찰
1. 빈도 분석 기반 자율주행차량 사고 요인 도출 연구
자율주행차량 교통사고는 기존 교통사고와 다르게 다양한 사고 요인으로 교통사고 발생 가능하다(Kim et al., 2024). 이에 따라 자율주행 차량의 사고 요인을 도출하기 위해 다양한 연구들이 수행 중이다. 사고 요인 을 도출하기 위해서는 크게 빈도분석 기반, 머신러닝 기반, 시나리오 기반으로 수행되고 있다. Favarò et al.(2018)은 CA DMV에서 공개하는 자율주행모드 해제보고서를 바탕으로 자율주행차량 제조사별 자율주행차 량의 고장 요인에 대해 추출하였다. 요인은 빈도수 기반으로 도출하였으며, 고장 전 주행거리와 자율주행모 드 해제 빈도를 주요 요인으로 도출하였다. Biever et al.,(2020)은 CA DMV 충돌 보고서를 통해 충돌 심각도 및 충돌유형에 영향을 주는 주요 요인을 식별하고자 하였다. 분석을 위해 빈도 분석 및 전문가 자문을 통해 도출하고자 하였다. 가장 많은 빈도수를 차지하는 후방 충돌의 경우, 정지 신호 내에서 자율주행차량이 완전 히 정지하였을 때, 후미의 차량이 가장 큰 영향을 끼치고 있으며, 이는 후미 운전자의 부주의나 제동 불량의 사례로써 제시하였다. 측면 충돌의 경우 자율주행차량이 차선 변경 도중 타 차량이 감속하지 않은 상태를 주 요 사고 요인으로 제시하였으며, 신호 교차로 내에서는 정지신호를 위반한 타 차량이 주요 사고 요인으로 제 시하였다.
Das et al.(2020)은 CA DMV 충돌 보고서 내 사고조사항목의 빈도 분석을 통해 주요 사고 요인을 도출하고 자 하였다. 주요 요인으로는 사고 직전 차량의 회전, 가로등이 있는 어두운 조명이 도출되었다. Boggs et al.(2020)은 5W(Who, What, When, Where, Why)를 기반으로 자율주행차량의 사고 요인을 도출하고자 하였다. 분석을 위해 CA DMV 충돌 보고서를 기반으로 빈도수 분석을 시행하였으며, 사고 요인과 해제율에 대해 융 합적으로 분석하였다. 분석 결과로 자율주행모드로 인해 발생한 사고 건수는 1건에 불과한 것으로 도출되었 다. 추가로 도심 도로가 다양한 기하학, 교통 제어 장치, 표지판 및 표시가 존재하므로 비교적 복잡함으로 인 해 사고 요인으로 나타났으며, 도로 외에는 보행자 및 자전거, 교차로 내 빈약한 차선 표시, 정지한 자동차 및 건물의 시야 방해, 법규 위반차량이 주요 사고 요인으로 도출되었다.
2. 머신러닝 기반 자율주행차량 사고 요인 도출 연구
Kutela et al.(2022)는 CA DMV 충돌 보고서를 다양한 머신러닝 분류 기법을 통해 사고 요인을 분류하였다. 분석 결과 자전거와 스쿠터 이용자가 자율주행차량사고에 직접적인 영향을 미치는 것으로 나타났다. 또한 자율주행모드를 켰을 때와 차량 후면 범퍼에 손상이 있을 때, 신호 교차로 내 일때, 자율주행차량이 회전·감 속·정지할 때가 사고의 주요 요인으로 도출되었다. Houseal et al.(2022)는 순서형 로짓 모델과 의사결정 트리 를 통해, 자율주행차량 사고 요인을 식별하고자 하였다. 분석을 위해 2017년부터 2021년까지의 CA DMV 충 돌 보고서를 수집하여 활용하였다. 식별된 주요 사고 요인으로는 신호 교차로, 자율주행차량 후방의 차량, 자율주행차량의 정지가 식별되었다.
Kim and Kim(2023)은 CA DMV 보고서를 활용하여 사고 요인을 추출하고자 하였다. 사고 발생 빈도와 사 고 심각도를 고려하기 위해 포아송 회귀분석을 활용하였다. 분석 결과로 주요 사고 요인은 조도가 낮을 때, 자전거·버스 전용 차로가 존재할 때, 보행자와 자전거 사고 이력이 많은 지역으로 도출되었다.
3. 시나리오 기반 자율주행차량 사고 요인 도출 연구
Liu et al.(2024)는 CA DMV 보고서를 활용하여, 자율주행차량의 충돌 전 시나리오를 도출하고자 하였다. 시나리오는 크게 후방 충돌 시나리오와 차선 변경 충돌로 구분하였으며, 시나리오별 주요 사고 요인을 도출 하였다. 후방 충돌 시나리오에서는 주요 사고 요인으로 교차로 지역, 교통 신호 제어 상황, 자율주행 모드인 상황, 주중, 공공 용도의 토지이다. 차선 변경의 주요 시나리오 내 주요 사고 요인은 도로 내 주차한 경우, 오 전 8시경으로 도출되었다. 차량 측면에서는 Autonomous Driving System (ADS)의 부적절한 정지, 감속 결정, 차선 변경 시 회피 결정의 불충분으로 도출되었다.
사고 요인 관련 문헌 검토 결과 자율주행차량의 사고 요인 도출을 위해서는 현재 수집 가능한 자율주행차 량 사고 데이터인 CA DMV 충돌 보고서를 주로 활용하여 도출하는 것으로 나타났다. 보고서 내 조사항목만 을 활용한 연구는 빈도수 기반으로 사고 요인을 도출하고 있으나, 사고 경위 등 추가적인 텍스트를 통해서 도출한 연구의 경우 텍스트 마이닝, 머신러닝, 시나리오와 같은 분석 기법을 통해, 사고 요인을 도출하고자 하였다.
4. LLM 관련 연구 동향
본 연구에서는 CA DMV 충돌 보고서 내 텍스트와 Waymo 주행 영상 데이터의 영상 이미지를 결합하여, 사고 위험 상황을 분류하기 위해 LLM 모델을 활용하고자 한다. 이를 위해, LLM 활용 연구 동향을 파악하 고, 대표적인 LLM 모델(BERT, Chat GPT) 중 적합한 모델을 선정하고자 한다.
Hwang and Kim(2020)은 R&D 과제의 특성을 기반으로 분류모델을 만들기 위해, LLM 모델 중 BERT 모델 을 활용하였다. 분석을 위해 7,108개의 기술문서를 수집 및 활용했다. 학습된 BERT 모델은 연구자의 fine-tuning을 통해 지속적인 학습했으며, 평균적으로 0.5 이상의 정확도가 도출되었다. Kim and Kim(2022)는 문헌정보학 분야의 문헌들을 자동으로 분류하기 위해 BERT 모델을 활용하였다. 해당 연구는 문헌정보학 분 야의 5,357개 논문의 초록 데이터를 수집하였다. 데이터의 양이 많고 품질이 높은 주제 분야들은 90% 이상 의 성능을 보였으며, 데이터 품질이 낮고 내용적으로 다른 분야들과 유사도가 높은 분야의 경우 성능이 낮게 도출되는 것으로 확인되었다. Johnson et al.(2023)은 Chat GPT를 활용하여 의사들이 의학 관련 질문을 받았을 때 해당 질문을 분류 및 답변이 가능한 모델을 개발하고자 하였다. 사용된 모델은 Chat GPT 3.5 모델이다. 의사들에게 직접 설문을 통해 분석 결과에 대한 정확성과 완전성에 대한 평가를 수행하였으며, 284개의 질 문 중 36개의 질문을 제외한 나머지 질문들은 6점 만점에 5.5점의 정확도 성능을 보였다. 36개의 질문의 경 우 8일에서 17일 정도의 재학습을 통해 성능을 개선시켰다. Periti et al.(2024)은 분류모델에서 활용 가능한 BERT 모델과 Chat GPT 모델의 성능을 비교하였다. 성능 비교를 위해서 Tempo Wic와 Histo Wic 데이터를 활용하였다. Tempo Wic 데이터와 Histo Wic 데이터는 모델의 성능을 비교를 위해 사용되는 대표적인 데이터 다. 분석 결과로 두 데이터 모두 BERT 모델이 Chat GPT 모델에 비해 좋은 성능을 보였다. 그러나 단일 분류 상황(0, 1)의 경우 BERT 모델의 성능이 높게 평가되지만, 다중 분류 상황(3개 이상의 분류)의 경우 Chat GPT 모델의 분류정확도가 높아질 수 있음을 시사한다.
LLM 기반 분류 모델 활용연구는 BERT 모델과 Chat GPT를 활용하는 것으로 나타났다. 문헌 검토 결과 일 반적으로 BERT 모델의 분류 성능이 뛰어났으며, 특히 단일 분류상황의 경우 우수한 성능을 보여주었다. 본 연구는 사고의 위험 상황인지 위험 상황이 아닌지에 대한 단일 분류 상황이므로, BERT 모델을 선정하여 분 석에 활용하고자 한다.
5. Contribution
본 연구에서 기여하는 점은 다음과 같다. 첫 번째, 사고 요인을 도출하기 위해 CA DMV 보고서뿐만이 아 닌 주행 영상 데이터를 추가로 수집하여 기존 도출하지 못하였던 사고 요인을 도출한다. 두 번째, PDF 형식 의 텍스트 데이터(CA DMV 충돌 보고서)와 영상 데이터(Waymo perception 데이터)를 같은 형식으로 표준화 할 수 있는 방법을 제시한다. 세 번째, 표준화한 두 개의 데이터(CA DMV 충돌 보고서, Waymo perception 데 이터)를 융합하여, 사고 요인을 도출할 수 있는 방법론을 제시한다.
Ⅲ. 활용 데이터
1. California Department of Motor Vehicle Collision Report
자율주행 사고가 빈번하게 일어나는 캘리포니아 지역에서는 자율주행교통사고에 대해 공개하고 있다. 본 연구에서는 2019년부터 2024년 현재까지 보고된 618건 중 자율주행 모드 작동 시 발생한 사고 332건의 충돌 보고 내용을 분석에 활용했다. 보고서 내 주요 수집 내용으로는 보고서 2페이지 하단에 있는 사고 경위와 3 페이지에 있는 사고조사항목이다. 보고서는 PDF 형식으로 제공되고 있으며 활용을 위해서는 텍스트 변환 작 업 등 추가적인 작업이 필요하다. 조사되는 항목 중 자율주행모드 작동 여부(Autonomous Mode/Conventional Mode)에 대한 항목이 존재하지만 자율주행모드로 주행하던 차량이 사고 직전 자율주행모드를 해제한 경우 는 일반주행모드로 분석되는 사례가 존재한다(Ma et al., 2022). 그러나 사고 경위에 대해서는 표준화된 형식 이 아닌 조사관의 주관적 기술로 이루어지므로 자율주행모드에서 일반주행모드로 변경한 사고에 대한 분류 는 현재 한계가 존재한다. 이는 일반주행모드로 체크되어 있는 교통사고의 경우 자율주행차량의 사고인지, 일반주행차량의 사고인지 분류에 한계가 있음을 뜻한다. 따라서 본 연구는 자율주행차량의 교통사고만을 대 상으로 하기 위해 자율주행모드로 체크되어 있는 교통사고 보고서를 필터링하여 분석에 활용하였다. CA DMV 충돌 보고서 내에서 수집할 주요 내용으로는 <Table 1>과 같다.
<Table 1>
Investigation items in CA DMV collision reports
| Top level | Low level |
|---|---|
| Accident details | |
| Autonomous mode/Conventional mode | Autonomous mode |
| Conventional mode | |
| Weather | Clear |
| Cloudy | |
| Raining | |
| Snowing | |
| Fog/Visibility | |
| Other | |
| Wind | |
| Lighting | Daylight |
| Dusk-Dawn | |
| Dark-Streetlights | |
| Dark-No street Lights | |
| Dark-Street lights not functioning | |
| Roadway surface | Dry |
| Wet | |
| Snowy-Icy | |
| Slippery(Muddy, Oily, ETC) | |
| Roadway conditions | Holes, Deep rut |
| Loose material on roadway | |
| Obstruction on Roadway | |
| Construction-Repair zone | |
| Reduced roadway width | |
| Flooded | |
| Other | |
| No unusual conditions | |
| Movement preceding collision | Stopped |
| Proceeding straight | |
| Rand off road | |
| Making right turn | |
| Making Left turn | |
| Making U turn | |
| Backing | |
| Slowing/Stopping | |
| Passing Other vehicle | |
| Changing lanes | |
| Parking manuever | |
| Entering traffic | |
| Other unsafe turning | |
| Xing in to opposing lane | |
| Parked | |
| Merging | |
| Traveling wrong way | |
| Other | |
| Type of collision | Head-on |
| Sideswipe | |
| Rear end | |
| Broad side | |
| Hit object | |
| Overturned | |
| Vehicle/Pedestrian | |
| Other | |
2. Waymo Perception Data
Waymo사에서는 2019년부터 자율주행차량의 주행 영상데이터(Perception Data)를 제공하고 있다. 데이터는 자율주행차량의 라이다와 카메라 데이터로 구성되며, 주행 당시 자율주행차량의 속도, 인식된 차량, 보행자, 자전거의 정보를 취득할 수 있다. 특히 오픈 데이터 셋으로 데이터 취득 및 활용에 큰 이점이 존재한다. 단순 주행데이터로 사고에 대한 정보를 포함하고 있지 않지만, 사고 시나리오 분석(Scanlon et al., 2021), 사고 위험 행태 분석(Hu et al., 2022) 등 자율주행 사고 관련 연구로써 활용도가 높은 데이터이다. 또한 주행영상과 더불어, 해당 영상 장면의 프레임 단위 속성정보 또한 활용 가능하다는 큰 이점이 있다. Hu et al.(2022)는 Waymo Perception 데이터의 효과적인 연구를 위해 데이터 전처리를 통한 속성정보 테이블을 작성하여 공개하고 있다. 속성 정보 내에는 다양한 정보가 작성되어 있지만, 본 연구에서는 인식된 객체 타입(차량, 자전거, 보행자), 인식 된 객체의 절대적 위치, 인식된 객체의 차량으로부터의 상대적 위치, 자율주행차량의 속도, 인식된 객체의 속도 를 취득하여 활용하였다. 취득한 Waymo Perception 주행 영상데이터와 속성 테이블은 총 200개의 0.1초 프레임 단위의 데이터다. Waymo사에서 취득한 Perception 데이터 구성과 속성테이블은 <Fig. 1>과 <Table 2>와 같다.
<Table 2>
Waymo driving video attributes table
| Column | Type | Description |
|---|---|---|
| obj_type | String | vehicle, bicycle, pedestrian |
| obj_id | String | other ids are detected objects |
| global_time_stamp | Float | Micro seconds since Unix epoch |
| local_center_x | Float | local x coordinate of the object center |
| local_center_y | Float | local y coordinate of the object center |
| local_center_z | Float | local z coordinate of the object center |
| av_speed_x | Float | speed x of the ego vehicle |
| object_speed_x | Float | speed x of the object |
| av_speed_y | Float | speed y of the ego vehicle |
| object_speed_y | Float | speed y of the object |
Ⅳ. 자율주행차량 사고 위험 요인 도출
1. 연구 흐름도
<Fig. 2>는 자율주행차량 사고 위험 요인 도출을 위한 연구 흐름도이다. 분석에 활용된 데이터는 앞서 설명 한 CA DMV 충돌 보고서와 Waymo Perception 데이터이다. 첫 번째로 충돌 보고서 내 2페이지와 3페이지에 있는 사고 경위와 사고조사항목을 생성형 AI를 기반으로 추출하였다. 추출된 텍스트들은 문장 임베딩을 통해 숫자 벡터로 표현 후 평균 임베딩 값을 통해 주요 사고 요인을 추출하였다. 해당 요인들은 BERT(Bidirectional Encoder Representations from Transformers)) 모델에 주요 사고 상황으로 학습된다. 두 번째로 Waymo Perception 데이터의 영상 내 이미지들을 이미지캡셔닝 방법을 통해 텍스트화하였다. 해당 텍스트 또한 BERT 모델에 투 입하여, 기존 학습된 주요 사고 상황과 매칭되는 장면을 분류하였다. 이를 통해 기존에 도출되지 못한 새로운 잠재적 사고 요인을 Waymo Perception 데이터의 속성정보 값을 통해 도출하였다.
2. 생성형 AI 기반 충돌 보고서 내 텍스트 추출
CA DMV 충돌 보고서는 데이터 검토 절에서 기술한 바와 같이 PDF 형식으로 이루어져 있다. 따라서 데 이터 분석 및 전처리에 용이한 형태인 텍스트로 변환 작업이 선행되어야 한다. 본 연구에서는 Chat GPT API 를 활용하여 텍스트 변환 작업을 수행하였다. Chat GPT API는 생성형 AI 기술을 기반으로 자연어 처리 기능 을 제공한다. 또한 언어 표현 패턴, 텍스트의 논리적 구조, 텍스트 간의 연관성을 학습하는 동시에 자연어 이 해, 자연어 생성 기능을 탑재하고 있어 연구자의 지시에 따라 고품질의 결과를 생성 가능하다(He et al., 2024). 이미 의학 분야(Mira et al., 2024;Biswas., 2023b), 환경 분야(George et al., 2023;Biswas., 2023a), 자연과 학 분야(Tsai et al., 2023) 등 다양한 분야에서 Chat GPT API를 통한 매우 효과적인 자연어 처리를 수행 중이 다. 이 모델은 PDF 문서 내에서 사고 경위와 사고조사항목을 감지하고 이를 효과적으로 추출 가능하다. 추 출된 텍스트들은 문장 형태로 제공되며, 항목별로 구분된 형태 또한 제공된다. 텍스트 추출 형태 및 결과는 <Fig. 3>과 같다.
3. 문장 임베딩을 통한 충돌 보고서 내 주요 사고 요인 추출
충돌 보고서에서 추출된 항목을 BERT 모델에 투입하기 이전에 주요 사고 요인을 식별하기 위해, 문장 임 베딩 과정을 수행하였다. 문장 임베딩은 모든 문장을 숫자 벡터로 표현하는 과정이다. 생성된 숫자 벡터는 사고 상황의 특징을 숫자를 통해 구분이 가능하다. 다음으로 모든 문장의 임베딩을 평균 내어 평균 임베딩 벡터를 생성하였다. 이 평균 벡터는 충돌 보고서 내 포함된 모든 문장이 공유하는 사고 상황의 공통적인 특 징으로 볼 수 있다. 이는 특정 문장에 국한되지 않고 전체 데이터 내 사고 요인을 종합적으로 이해가 가능하 다. 다음으로 평균 임베딩 벡터와 각 문장 임베딩 간의 코사인 유사도를 계산하였다. 코사인 유사도는 두 벡 터 간의 각도를 통해 유사도를 측정한다, 유사도가 1에 가까울수록 해당 문장이 평균 임베딩과 더 비슷한 의 미를 가지며, 0.8 이상의 유사도를 가질 경우 유의미한 매칭 상태라 볼 수 있다(Butterfuss and Doran, 2024). 문장 임베딩 계산을 통한 유사도 측정은 식(1)과 같다. xi는 전체 N개의 충돌 보고서 중 i번째 충돌 보고서에 서 추출된 텍스트를 의미한다. υi는 xi의 문장 엠비딩 벡터를 의미한다. 코사인 유사도는 υi와υmean의 내적 값에서 υi의 벡터의 크기와 υmean의 벡터의 크기의 곱과 나눠줌으로써 계산된다. 이를 바탕으로 유사도 0.8 이상의 상황을 추출하였으며, 해당 사고들은 전체 충돌 사고에 대한 주요 사고 요인으로 분류하였다. CA DMV 충돌 보고서로부터 도출된 주요 사고 요인은 <Table 3>과 같으며, 주요 사고 상황으로는 다음과 같다: 1) 신호 교차로 내 자율주행차량이 정지 도중 후방에서 직진 중인 승용차가 자율주행차량 정지에 반응하지 못하고 충돌, 2) 자율주행차량이 보조간선도로에서 주행 도중 평행주차된 차량의 문이 갑자기 열려 충돌.
<Table 3>
Accident factors extracted from the CA DMV collision reports
| Categories | Accident Factors |
|---|---|
| Accident location | Traffic signal intersection |
| Sub major road | |
| Lighting | Strong daylight |
| Weather | Clear |
| Road condition | Some deep ruts on the roadway |
| Autonomous vehicle status before collision | Stopped |
| Moving straight | |
| Object | Parked vehicle |
where
4. 자율주행 영상 데이터 이미지 캡셔닝
Waymo Perception 데이터는 자율주행 영상 데이터와 영상 내 속성정보를 제공하고 있지만, 캘리포니아 충 돌 보고서와 주요 요인을 매칭하기에는 매칭 정보가 부족하다는 한계가 존재한다. 이러한 한계점을 극복하 고자, 영상 이미지 내 추가적인 정보를 추출하는 이미지 캡셔닝 방법을 활용하였다. 이미지 캡셔닝은 특정 이미지를 텍스트화하여, 표현하는 방법이다. 이는 캘리포니아 충돌 보고서(PDF)와 Waymo Perception 데이터 (Video Image)를 같은 형태로 표준화하여 분석하기 위한 절차이다. 이미지 캡셔닝 방법은 대표적으로 BLIP 모델과 Chat GPT 4o 모델이 있다. 두 모델의 성능을 비교하기 위해, Waymo Perception 데이터 내 2개의 장면 을 활용하여, 두 모델을 비교하고자 한다. 추출을 위한 질문은 “Describe this image”로 통일하였다. 모델 비교 를 위해 Waymo perception 데이터 내 두 개의 주행 영상 이미지를 활용하였으며, 비교 결과는 <Table 4>와 같다. 두 모델을 비교 시 Chat GPT는 날씨, 도로 노면 상태, 다가오는 물체, 카메라 렌즈의 물방울, 안개와 같 은 설명을 자세하게 설명하고 있는 반면 BLIP 모델은 비교적 얻을 수 있는 정보량이 적은 것으로 나타났다. 따라서 본 연구에서는 Chat GPT 4o를 통해 이미지 캡셔닝을 수행하였으며, 총 40,000개의 텍스트를 추출하 였다.
<Table 4>
Comparing BLIP models and Chat GPT 40
| Image 1 | Image 2 | |
|---|---|---|
| Image |  |
 |
| BLIP | A street with a foggy sky and a street sign | There are many cars that are driving down the street in the rain and foggy area of the a street with cars and houses in the back ground |
| Chat GPT 4o | The image appears to depict a foggy or misty street scene in an urban or suburban environment. The photo is taken from the perspective of someone standing or driving on the street, looking down a road lined with buildings and power lines. The street is relatively empty, with some trees visible on the right side, and buildings on both sides. There are a few vehicles in the distance, and the red highlights on certain objects might indicate some form of object detection or annotation, potentially for computer vision purposes (e.g., identifying vehicles or other objects). The blurred or hazy effect might be due to environmental conditions like fog or rain, or possibly an effect introduced to obscure details for certain areas. | The image shows a suburban street lined with parked cars on both sides and several residential houses. There is a large vehicle, possibly a bus or truck, coming toward the camera. The weather seems overcast, and the road appears wet, suggesting it may have rained recently. The red bounding boxes around various objects, such as vehicles, indicate that this image may be used for object detection, likely part of a computer vision application, perhaps for identifying cars or street objects. The visibility is slightly impaired in the upper-left corner, which might be due to water droplets or fog on the camera lens. |
5. BERT 모델을 통한 사고 위험 상황 분류 및 사고 위험 요인 도출
Waymo Perception 데이터에 추출된 텍스트의 사고 위험 상황 분류를 위해 BERT 모델을 활용하였다. BERT 모델은 문맥을 양방향으로 이해할 수 있는 자연어 처리 모델로, 특히 문장의 의미를 정확하게 추출하는 데 강력한 성능을 보인다. BERT는 기존의 전통적인 단어 기반 임베딩 기법과 차별화되는 특징을 갖는다. 기존의 단어 임베딩 모델들은 각 단어를 개별적으로 임베딩하여 문장의 의미를 표현하는데 한계를 가졌다면, BERT는 문장 내 모든 단어 간의 관계를 고려하여 문장의 전체적인 맥락을 파악한다(Kwon and Yoo, 2022). 이와 같은 양방향 처리는 문장 내에서 앞뒤의 단어들이 서로 어떻게 상호작용하는지를 반영할 수 있도록 하여 더 정교한 의미 표현을 가능하게 한다. 임베딩된 값은 BERT 모델 내에서 이진 분류(Binary classification) 과정을 통해 ‘사 고 위험 상황’과 ‘비사고 위험 상황’으로 분류한다. 이 과정에서 모델은 문장의 의미를 기반으로 위험성을 평가 하고, ‘사고 위험 상황’에 해당하는 문장을 식별가능하다.
본 연구에서는 3절에서 추출된 주요 사고 상황을 문장 임베딩 과정을 통해 BERT 모델에 학습하였다. 이 후 주행 영상에서 이미지 캡셔닝 기법을 통해 생성된 텍스트의 문장 임베딩 과정을 거쳐 추가로 입력되어 사고 발생 가능성을 평가하였다. 학습된 숫자 벡터와 입력된 숫자 벡터 간의 매칭을 통해 사고 위험 상황을 분류하였다. 총 40,000개의 문장 텍스트 중 3,614개의 문장이 사고 위험 상황으로 분류되었다. 분류된 사고 위험 상황 내에서 해당 장면의 이미지 텍스트와 속성정보를 활용하여 잠재적 사고 요인을 추출하고자 한다. 먼저 사고 위험 장면의 이미지 텍스트는 <Fig. 3>에서 제시한 항목분류 방법을 통해 텍스트를 항목화하여, 빈도수 기반으로 제시하였다. 해당 항목들은 빈도수 10 이상의 항목들이며, 빈도수 10건 이하의 항목은 1건 에서 2건으로 이루어져 있는 항목으로 제외하여 제시하였다(Table 5). 대분류 내 최고 빈도를 갖는 항목을 주 요 사고 요인으로 분류하였다. 다음으로 사고 위험 장면의 속성정보 내에서는 자율주행 차량의 속도, 주변 객체와의 거리, 그리고 주변 객체의 속도를 추출하였다. 이들 속성값은 특정한 단일 값으로 정의되기보다는, 각각의 25%~75% quantile 범위로 제시한다. 각 속성의 기술통계와 Boxplot 그래프 결과는 각각 <Table 6>과 <Fig. 4>에 제시된다.
<Table 5>
Statistics on accidents risk situations extracted from waymo perception data(image captioning)
| Categories | Accidents factos | Count |
|---|---|---|
| Road type | Traffic signal intersection | 1263 |
| Highway | 337 | |
| Urban roads with multiple lanes | 330 | |
| Highway with multiple lanes | 133 | |
| Traffic signal | Red | 826 |
| Green | 410 | |
| Traffic condition | Congestion | 101 |
| Quiet road | 16 | |
| Weather | Clear | 2078 |
| Overcast | 550 | |
| Cloudy | 486 | |
| Rain | 248 | |
| Foggy | 56 | |
| Location | Urban | 723 |
| Suburbs | 441 | |
| Residential area | 298 | |
| Time | Day | 758 |
| Night | 459 | |
| Early morning | 163 | |
| Dusk | 84 | |
| Object | Other vehicles | 853 |
| Pedestrian | 251 | |
| Bus | 248 | |
| Stopped vehicles | 232 | |
| Parked vehicles | 152 | |
| Truck | 133 | |
| Bicycle | 60 | |
| Traffic corn | 12 |
<Table 6>
Statistics on accidents risk situations extracted from waymo perception data(attribute table)
| Categories | mean | std. | min | 25% | 50% | 75% | max |
|---|---|---|---|---|---|---|---|
| Autonomous vehicles peed (km/h) | 28.65 | 28.25 | 0 | 2.34 | 21.09 | 49.92 | 106.44 |
| Distance to other vehicle (m) | 18.97 | 2.97 | 4.56 | 17.27 | 19.07 | 20.77 | 35.91 |
| Other vehicle speed (km/h) | 10.92 | 22.35 | 0 | 0 | 0.03 | 8 | 133.87 |
| Distance to pedestrian (m) | 18.38 | 3.11 | 4.77 | 16.67 | 19.16 | 20.25 | 28.36 |
| Pedestrian speed (km/h) | 2.83 | 2.34 | 0 | 0.11 | 3.53 | 4.8 | 27.84 |
| Distance to bicycle (m) | 18.96 | 2.49 | 6.85 | 17.93 | 19 | 20.41 | 25.83 |
| Bicycle speed (km/h) | 12.39 | 7.07 | 0 | 8.19 | 11.22 | 18.38 | 32.73 |
먼저 이미지 텍스트를 통해 도출된 결과는 다음과 같다. 도로는 신호 교차로 내 적색불인 상황, 교통량은 혼잡, 날씨는 맑음, 위치는 도심지역, 시간대는 낮, 주변 객체는 차량일 경우 사고 위험 상황으로 나타났다. 주변 타 차량의 경우 정지한 차량일 경우 특히 사고 위험 상황의 빈도가 높은 것으로 나타났다.
속성정보를 통해 도출된 결과는 다음과 같다. 주행 중인 자율주행차량은 평균 18.97km/h 주행 시 사고 위 험 상황이 발생하는 것으로 나타났으며, 25%~75% quantile 범위는 2.34km/h~49.92km/h로 도출되었다. 최댓값 106km/h인 것을 고려하면, 자율주행차량은 주로 도심부 내에서 저속인 상황에서 사고 위험 발생 확률이 높 아지는 것으로 나타난다. 자율주행차량이 인식한 타 차량의 경우 자율주행차량과의 거리가 17.27m~20.77m 사이에서 주로 사고 위험 상황이 나타나는 것으로 도출되었으며, 이때 해당 차량은 0km/h~8km/h의 주행속도 를 갖는 것으로 나타났다. 주로 차량이 저속인 상황에서 사고 위험 상황이 나타나며 교차로 인근에서 차량이 정지하는 상황 혹은 도로 내 차량이 주차된 상황으로 인해 나타난 결과로 볼 수 있다. 보행자의 경우 평균적 으로 자율주행차량과의 거리가 평균 18.38m, 25%~75% quantile 범위는 16.67m~20.25m로 나타났으며, 이때 평 균 2.83km/h, 25%~75% quantile 범위는 3.53km/h~4.8km/h의 속도를 갖는 것으로 나타났다. 자전거의 경우 평 균적으로 자율주행차량과의 거리가 18.96m, 25%~75% quantile 범위가 17.93m~20.41m를 갖는 것으로 나타났 으며, 이때 평균 12.28km/h, 25%~75% quantile 범위는 11.22km/h~18.38km/h를 갖는 것으로 나타났다. 자율주 행차량이 인지한 객체들은 모두 16m~20m 사이의 범위에서 인지되었을 때, 사고 위험 상황이 나타나는 것으 로 도출되었으며, 차량 주행 속도를 고려하면, 3초 이내 차량과의 충돌이 가능한 상황으로 볼 수 있다. 3절에 서 도출된 사고 위험 요인과 결합한 최종적인 사고 요인은 <Table 7>에 제시된다.
<Table 7>
Accident factors extracted from the CA DMV collision reports
| Categories | Accident Factors | Source |
|---|---|---|
| Accident location | Traffic signal intersection | CA DMV, Waymo perception data |
| Sub major road | CA DMV | |
| Urban | Waymo perception data | |
| Traffic signal | Red | Waymo perception data |
| Traffic condition | Congestion | Waymo perception data |
| Lighting | Strong daylight | CA DMV |
| Time | Day | Waymo perception data |
| Weather | Clear | CA DMV, Waymo perception data |
| Road condition | Some deep ruts on the roadway | CA DMV |
| Autonomous vehicle status before collision | Stopped | CA DMV |
| Moving straight | CA DMV | |
| Object | Parked vehicle | CA DMV |
| Other vehicle on the road | Waymo perception data | |
| Bicycle | Waymo perception data | |
| Pedestrian | Waymo perception data | |
| Autonomous vehicle speed (km/h) | 2.34~49.9 | Waymo perception data |
| Distance to other vehicle (m) |  |
Waymo perception data |
| Other vehicle speed (km/h) | 0~8 | Waymo perception data |
| Distance to pedestrian (m) |  |
Waymo perception data |
| Pedestrian speed (km/h) | 0.11~3.53 | Waymo perception data |
| Distance to bicycle (m) |  |
Waymo perception data |
| Bicycle speed (km/h) | 8.19~18.38 | Waymo perception data |
Ⅴ. 결 론
자율주행기술 발전과 더불어 자율주행차량 교통사고에 대한 관심도는 계속해서 증가하고 있다. 자율주행 차량 교통사고는 기존 일반차량 교통사고에서 나타나는 사고 요인뿐만이 아니라 다양한 요인을 통해 나타날 수 있다. 이를 분석하기 위해서는 기존 조사되는 보고서뿐만이 아닌 자율주행차량의 실제 주행데이터를 통 해 분석이 필요하다. 따라서 본 연구에서는 현재 캘리포니아에서 자율주행차량 교통사고 정보를 제공하고 있는 CA DMV 충돌 보고서와 자율주행차량 주행 영상 데이터인 Waymo perception 데이터를 수집하였다. CA DMV 충돌 보고서를 통해서는 사고 당시 환경에 대한 주요 사고 요인을 식별하고자 하였으며, 이를 LLM 모델 중 하나인 BERT 모델에 투입하여 자율주행 영상데이터와 매칭되는 사고 위험 상황을 분류하였 다. 이에 따라 기존 보고서로 추출가능한 사고 요인과 영상정보에서 추가로 수집가능한 사고 요인을 결합한 사고 요인 집합을 생성하고자 하였다.
연구의 주요 분석 결과는 다음과 같다. 먼저 충돌 보고서를 통해서 도출한 사고가 발생하는 주요 요인으 로 신호 교차로, 보조간선도로, 후방의 승용차, 주차된 차량이 주요 사고 요인으로 식별되었다. 이는 신호 교 차로에서 자율주행차량이 정지 도중 후방의 일반차량이 반응하지 못하고 충돌한 상황과, 보조 간선도로에서 자율주행차량이 주행 도중 주차된 차량의 문이 갑자기 열려 반응하지 못하고 사고가 난 상황으로 볼 수 있 다. 이러하듯 자율주행차량의 교통사고는 자율주행차량에 의해서 발생하는 사고가 아닌 자율주행차량의 대 처로 인해 인간 운전자가 반응하지 못하거나 갑작스러운 일반차량 운전자의 행태로 인해 자율주행차량이 대 처가 불가능한 상황으로 인해 발생가능한 것으로 보인다. 따라서 자율주행차량 교통사고는 자율주행차량과 일반차량이 혼재된 상황에서 더욱더 사고 확률이 높아질 수 있음을 시사한다. 주행 영상 데이터를 통해서는 자율주행차량이 저속인 상황에서 주로 사고가 나타나는 것으로 보이며, 자전거, 주변 차량, 보행자에 의해서 또한 사고가 발생이 가능한 것으로 보인다. 자율주행차량과 주변 객체(보행자, 타 차량, 자전거)와의 거리는 주로 16m~20m에서 위험 상황이 나타나는 것으로 보이며, 이는 3초 이내 자율주행차량이 충돌 가능한 거리 로 볼 수 있다. 분석 결과를 종합하였을 때, 자율주행차량 교통사고 대응을 위해서는 단순히 자율주행차량 측면에서만의 사고 대응이 아닌 자율주행차량 주변 환경측면에 대한 주의를 높일 필요성이 존재하다는 것을 알 수 있다. 또한 자율주행차량과 인근 객체와의 TTC(Time to collision) 계산, 위험 객체 분류 알고리즘의 추 가 개발 등이 이루어진다면, 본 연구에서 도출한 결과와 융합하여, 자율주행차량에게 사고 위험 상황에서의 주의, 경고 알림을 실시간으로 제시가 가능할 것으로 보인다.
본 연구에서는 현재 수집 가능한 자율주행교통사고 보고서와 더불어, 자율주행 영상 데이터를 활용하여 기존 도출하지 못하였던 사고 요인을 도출하였다는 데 의의가 있다. 그러나 몇 가지 연구의 한계가 존재한 다. 첫 번째, CA DMV 보고서와 Waymo 주행 영상 데이터 모두 Level 4 자율주행차량이 아닌 Level 2 수준의 자율주행차량이란 점에 한계점이 존재한다. 이는 기술의 발전을 통해 Level 4 이상의 자율주행차량 데이터를 수집이 가능하다면 통신, 센서 오류 등 다양한 사고 요인이 도출 가능할 것으로 판단된다. 두 번째, 본 연구 에서 활용한 Waymo 주행 영상의 경우 사고 영상이 아닌, 일반적인 주행 영상이 점이 한계가 있다. 비록 사 고 영상이 아니지만, 사고보고서와의 매칭을 통해 사고 발생 확률이 가장 높은 상황을 추출함으로써 한계를 극복하고자 하였지만, 향후 자율주행차량 교통사고에 대한 LIDAR, CAMERA 데이터가 수집된다면 조금 더 신뢰성 있는 결과가 도출가능할 것으로 판단한다. 해당 한계점들이 보완된다면, 자율주행차량의 다양한 사고 요인 분석, 사고원인 추적, 사고 책임 주체 등의 연구가 추가로 가능할 것으로 보이며, 이를 기반으로 자율주 행차량 교통사고 대비와 대응이 가능한 자료로써 활용할 수 있으리라 기대한다.
