Journal Search Engine

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.16 No.4 pp.153-163
DOI : https://doi.org/10.12815/kits.2017.16.4.153

Automated Vehicle Research by Recognizing Maneuvering Modes using LSTM Model

Eunhui Kim*, Alice Oh**
*CGS Graduate School of Green Transportation / Korea Advanced Institute of Science Technology(KAIST)
**School of Computing / Korea Advanced Institute of Science Technology(KAIST)
Corresponding author : Eunhui Kim, eunhuikim@kaist.ac.kr
20170510 │ 20170608 │ 20170724

Abstract

This research is based on the previous research that personally preferred safe distance, rotating angle and speed are differentiated. Thus, we use machine learning model for recognizing maneuvering modes trained per personal or per similar driving pattern groups, and we evaluate automatic driving according to maneuvering modes. By utilizing driving knowledge, we subdivided 8 kinds of longitudinal modes and 4 kinds of lateral modes, and by combining the longitudinal and lateral modes, we build 21 kinds of maneuvering modes. we train the labeled data set per time stamp through RNN, LSTM and Bi-LSTM models by the trips of drivers, which are supervised deep learning models, and evaluate the maneuvering modes of automatic driving for the test data set. The evaluation dataset is aggregated of living trips of 3,000 populations by VTTI in USA for 3 years and we use 1500 trips of 22 people and training, validation and test dataset ratio is 80%, 10% and 10%, respectively. For recognizing longitudinal 8 kinds of maneuvering modes, RNN achieves better accuracy compared to LSTM, Bi-LSTM. However, Bi-LSTM improves the accuracy in recognizing 21 kinds of longitudinal and lateral maneuvering modes in comparison with RNN and LSTM as 1.54% and 0.47%, respectively.


LSTM 모델 기반 주행 모드 인식을 통한 자율 주행에 관한 연구

김 은 희*, 오 혜 연**
*한국과학기술원 조천식교통대학원 연구원
**한국과학기술원 전산학부 부교수

초록

본 연구에서는 운전자 별로 생활 중에 이동하는 주행 도로의 특징 및 교통상황이 서로 다 르며 운전습관이 상이함을 고려하여, 운전자 혹은 운전자 그룹별 기계학습모형을 구성하고, 학습된 모델을 분석하여 운전자의 주행모드 별 특징을 탐색하여 자율 주행 자동차를 시뮬레 이션 하였다. 운전지식을 활용하여 주행조작 전후 센서의 동작 상황에 따라 8종류의 종방향 모드와 4종류 회전모드로 구분하고, 종방향 모드와 회전모드를 결합한 21개의 결합형 주행모 드로 세분화 하였다. 주행모드가 레이블 된 시계열 데이터에 대해 딥러닝 지도학습 모델인 RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), Bi-LSTM 모델을 활용하여 서 운전자 별 혹은 운전자 그룹별 주행데이터를 학습하고, 학습된 모델을 테스트 데이터 셋 에서 주행 모드인식률을 검증하였다. 실험 데이터는 미국 VTTI 기관에서 수집된 22명의 운 전자의 1,500개의 실생활 주행 데이터가 사용되었다. 주행 모드 인식에 있어, 데이터 셋에 대 해 Bi-LSTM 모델이 RNN, LSTM 모델에 비해 향상된 성능을 보였으며, 최대 93.41%의 주행 모드 인식률을 확인하였다.


    Ⅰ.서 론

    1.개요

    유럽 ERTRAC에서 발간된 자율 주행 자동차 기술 로드맵에 따르면, 2016년 교통 체증 상태에서 30KPH 이하의 속도로 운전자 보조 시스템의 역할을 시작으로, 2018년에는 자동차 전용도로에서 차선 변경 기능을 포함하면서 교통 체증 시 60KPH까지 운전 보조 시스템의 역할을 담당하도록 발전할 전망이다. Kim et al.(2015)의 보고서에 따르면, 궁극적으로 안전성, 편리성과 더불어 연료 소비 절감을 목표로 하는 운전자의 도움이 없는 완전 자율주행 시스템의 개발은 2030년을 목표로 개발 진행 중이다. 또한, Choi(2015)의 보고서 에 따르면, 차세대 지능형 교통 시스템 C-ITS (Cooperative Intelligent Transportation Systems)은 V2X 통신을 통 해 차량 간 교통 정보 및 충돌예측 정보 등을 교환하여 안전 운전을 제고하려는 목표를 가지고 있다.

    현재, 완전자율주행 시스템의 일부는 일반차량의 운전 보조 장치로써 개발 및 상품화가 가능하며, 다양한 교통 및 운전 상황에서도 안전한 운전경험을 제공할 수 있는 기술 개발이 필요한 실정이다. 특히, 운전자별 로 생활 중에 이동하는 주요 주행 도로의 구성 및 교통 상황이 서로 다르며 운전자별 운전 습관이 서로 상 이함을 고려하여 운전자별 주행모드 분석이 필요하다. 이에 본 연구에서는 운전자별 혹은 운전자 그룹별 주 행 분석을 위해 개인 혹은 그룹별 기계학습모형을 구성하고, 그것을 분석하여 개인 혹은 그룹별 주행모드 특 징들을 탐색하였다. 먼저, 시계열 실차 주행 자료의 각 운전센서 측정치를 이용하여, 운전조작모드를 지식기 반으로 레이블링 하여 지도학습을 위한 데이터셋을 구성하였다. 이를 기반으로 주행모드를 예측하는 RNN, LSTM, Bi-LSTM 모델의 지도학습을 통해 구성한 후, 모형의 정확도를 검증하였다.

    Ⅱ.관련 연구

    Tesla Third Qurter Report(2016), Li et al.(2014) 연구, Lei et al.(2017) 연구, Takano et al.(2008)의 연구 및 Ma et al.(2015)의 연구에 따르면 주행 모드(운전 조작 모드)에 대한 연구는 운행 예측 및 에너지 소비 절감을 고려한 운행의 최적화를 목표로 일반적인 차량 외에도 극 초음속 활공차량의 운행 패턴 분석 분석을 통해 다방면의 연구가 진행되고 제품화 되고 있다. Takano et al.(2008)연구에서는 HMM(Hidden Markov Model)을 기반으로 한 주행 모드를 계층 구조 형식으로 나누고, 이에 대한 주행 모드를 이용한 실시간 운전을 시뮬레 이션 하였다. 그런데 이 논문에서는 액셀 패달 개도와 스티어링 휠 센서, 오직 두 종류의 입력 센서 만을 이 용하여 주행모드를 10종류로 제한하여 다양한 운전조작을 충분히 반영하기 어려운 한계점이 있다. 또한, HMM은 현 상태(current hidden state) 결정에 오직 바로 이전 상태만이 영향을 미친다고 가정하여 과거 정보 를 제대로 반영하기 어렵다. 이에 반해, RNN, LSTM, Bi-LSTM 모델은 현재 상태 이전의 여러 과거 상태가 미치는 장기적인 상태추이가 현재 상태에 반영 가능하다는 장점이 있다. 그리고 Ma et al.(2015)은 LSTM 모 델을 이용한 베이징 도심의 차량들의 평균 속도를 예측한 연구를 하였다. 긴 시간 스텝의 정보를 추출하고 모델링 하는데 있어 LSTM이 RNN모델에 비해 향상된 성능을 보임을 확인하였으며, 입력 변수를 하나의 속 도 센서 입력 외에 교통량 데이터를 추가로 넣을 때, LSTM 모델이 RNN 모델에 비해 더 나은 성능을 보임 을 실험을 통해 입증한바 있다. 최근 자율 주행 자동차의 주행계획 활용 및 안전사고 예방에 어플리케이션으 로 활용 가능한 5초 후의 차량 운전 모드를 예측하는 연구가 A. Jain et al.의 Brain4Cars를 통해 발표 된 바 있다. Jain et al.(2016)의 연구에서는 차량의 탑승자 상태를 확인하는 내부 카메라 및 차량 전방을 촬영한 외 부 카메라 정보 및 차량 속도, GPS, 정밀 지도 정보를 기반으로 RNN, LSTM neural networks를 학습하여 5초 후의 차량의 운전모드를 예측하였다. 이 연구는 가속 페달 및 브레이크 페달의 동작은 배제하고 휠의 움직임 만을 고려하여 본 논문에서 21가지 주행 모드를 통해 차량의 다양한 움직임을 표현할 수 있는 것에 비해 5 가지 주행모드 인식(좌회전, 우회전, 왼편으로 차선 변경, 오른편으로 차선변경, 직진)을 한 제약점이 있다.

    Ⅲ.자율 주행 자동차 기술의 구성

    1.제안 기술의 구성

    <Fig. 1> 은 Gonzalez et al.(2016) 논문에서 제시한 바 있는 일반적인 자율 주행 자동차의 내부 아키텍처이 다. 자율 주행 자동차 구성에 있어, 상황인지(Recognition), 결정(Determination), 제어(Control) 부분이 무엇보다 주요하다. Tesla Third Qurter Report에 따르면 테슬라 등과 같은 선두 자율 주행 자동차 업체는 상황인지, 결정, 제어 부분에 있어 안전과 경제성에 초점을 맞춘 시스템이 디자인되어 선보이고 있다. 본 논문에서는 운전자 별로 편안함을 느끼는 차간거리, 속도, 회전 각도가 서로 상이함을 고려하여 유사 운전 유형을 갖는 그룹별 특징 혹은 개인 운전자의 선호도를 고려한 모델의 연구에 중점을 둔다. 각종 센서 들을 통해 수집된 데이터를 기반으로 그룹과 개인의 선호를 고려한 지식 기반의 주행 모드를 구성한 후, 이를 기계학습 모델을 통해 지도 학습 하는 형태의 모형을 통해 그룹별 혹은 개인별 상황인지, 결정 및 제어단계 자동화를 목표로 한다.

    Ⅳ.주행 모드의 구분

    일반적으로 운전 시 직선 구간에서 교통 신호 및 앞선 차량의 속도에 맞춰 차량 간격을 유지하며 가속 및 브레이크 패달을 사용하며 운행한다. 반면, 회전 구간에서는 길의 모양에 따라 차선을 유지하고 앞선 차량과 의 간격을 고려하여 가속 및 브레이크 패달을 사용함과 동시에 운전대를 조작한다. 운행 중 다양한 상황에서 나타나는 운전조작을 통합적으로 표현하려면, 종 방향 운전과 횡 방향 운전을 종합적으로 참작하여야 한다. 따라서 본 연구에서는 1)종 방향 운전, 2)횡 방향 운전 그리고 1)과 2)가 혼합된 3)결합형 운전으로, 크게 3가 지 주행 모드를 구분하였다. 종 방향 운전에 대해서는 정지, 가속, 감속, 속도 유지 및 이러한 속도 변화 전후 에 차량의 액셀가도 페달과 브레이크 페달 유무에 따라 8종류의 주행 모드를 구별하였다. 회전 구간에서의 횡 방향 운전은 얕은 운전대 조작을 필요로 하는 차선 변경 및 굽은 길을 따라 하는 운전과, 540도 내외의 깊은 운전대 조작을 필요로 하는 교차로 및 T자형 길에서의 우회전, 좌회전 모드를 나누었다. 최종적으로, 종 방향, 횡 방향, 결합형 주행 모드는 <Table 1>과 같이 총 21종류의 주행모드로 정의하였다.

    Ⅴ.Bi-LSTM 모델 기반 자율 주행

    본 연구에서는 운전 중의 운전자의 습관을 통해 드러나는 시계열 실차 주행 자료의 시점별 운전조작모드 의 변화를 살펴보기 위해 RNN, LSTM, Bi-LSTM 모델을 통해 운전자별 운전조작모드를 학습하였다. 먼저, RNN, LSTM, Bi-LSTM 모델에 대해 살펴보고, 이를 통한 운전자 및 운전자 그룹별 주행 모드 학습 방법에 대해 설명한다.

    1.RNN, LSTM, Bi-LSTM 모델

    시계열 실차 주행 자료는 그 특성상, 현재 시점 전후의 센서 변화 값이 현재 시점의 주행 센서 수치에 영 향을 미친다. 예를 들어 가속 패달을 누르면 가속 패달의 영향으로 일정 시간이 흐른 후 도면의 상태에 따라 속도 센서 수치 값이 변화하게 된다. 딥러닝 지도 학습 모델 중 RNN(LSTM, Bi-LSTM)은 단기간 시간 전후 의 관계 해석뿐만 아니라, 긴 시간 길이의 맥락 해석이 가능하여 시계열 데이터 처리에 강인한 장점이 있다. <Fig. 2>는 (a) RNN모델에서 시계열 흐름에 따른 입력계층, 은닉계층 및 출력 계층의 연산관계, (b) LSTM의 한 단위, (c) Bi-LSTM의 시계열 흐름에 따라서, 두 개의 은닉계층이 시계열 자료의 순방향 및 역방향 흐름을 모두 고려하게 되는 연산 관계를 그림으로 나타낸 것이다.

    통상, RNN activation 함수는 sigmoid 함수, tanh(hyperbolic tanget) 함수가 이용된다. 그런데, Alex Grave (2012)의 연구에 따르면, RNN의 경우 back propagation 연산 시, 시간 흐름에 따른 gradient vanishing problem 혹은, gradient exploding problem으로 시계열 입력 데이터의 오랜 시점에 걸친 의존도를 표현하는 데 있어 성 능에 제약이 있다. 이에 대한 해결안으로 Hochreiter and Schmidhuber(1997)의 연구는 input gate, forget gate, output gate와 memory cell을 이용하여 h t l 1 이전 히든 계층의 현재 시간 입력과 현재 계층의 이전 시간 입력 h t 1 l 을 각각의 가중치 W t 1 l , W t l 1 조절을 통해 연산하는 LSTM (Long short-term memory)을 통해 상대 적으로 오랜 기간에 걸친 의존도를 연산하는데 우수한 성능을 확인하였다. 최근, Greff et al.(2016)의 연구에 따르면, LSTM의 각 gate에 대한 변형 모델에 대한 실험 결과, forget gate와 output activation function이 성능에 주요한 영향을 미치나 변형 모델간의 성능차이는 미비함을 시계열 음성데이터 셋들을 통해 입증한 바 있다.

    l번째 계층에서의 RNN연산 수식은 (1) , (2)와 같다. RNN의 시간 흐름에 따른 입력요소의 흐름은 <Fig. 2(a)>와 같다.

    h t l = f h ( W h , l 1 , h t l 1 + W h , l h t 1 l )
    (1)

    y t = f o ( W h , o , h t l + b )
    (2)

    l번째 계층에서의 하나의 LSTM 단위의 input gate, forget gate, memory cell, output gate 그리고 이 단위에서 의 출력 값 h t l 연산 수식은 각각 (3), (4), (5), (6) 그리고 (7)로 표현 가능하며, LSTM의 한 단위의 그림은 <Fig. 2(b)>와 같다.

    i t l = σ ( W h , l 1 i h t l 1 + W h , l i h t 1 l + W c i c t 1 l + b i )
    (3)

    f t l = σ ( W h , l 1 f h t l 1 + W h , l f h t 1 l + W c f c t 1 l + b f )
    (4)

    c t l = f t c t 1 + i t tanh ( W h , l 1 c h t l 1 + W h , l c h t 1 l + b c )
    (5)

    o t l = σ ( W h , l 1 o h t l 1 + W h , l o h t 1 l + W h , l c c t l + b c )
    (6)

    h t l = o t tanh ( c t )
    (7)

    Bi-LSTM 모델의 그림은 <Fig. 2(c)>와 같다. Bi-LSTM모델은 하나의 은닉 계층 구성에 있어 한 계층의 은 닉 노드(hidden node)의 개수를 절반으로 나누어 두 계층을 구성 하고 하나의 계층은 입력 데이터에 대해 순 방향 연산을 수행하고, 다른 하나의 계층에서는 역방향 연산을 수행하여 현재 시간의 입력데이터의 순방향 영향 관계 및 역방향 영향관계를 동시에 고려한 모델이다.

    2.RNN, LSTM, Bi-LSTM 모델 기반 주행 모드 학습

    시계열 데이터를 학습하는데 있어 연산시간을 고려하여 병렬연산을 위한 아키텍쳐를 설계하는 것은 중요 하다. Weninger et al.(2015)은 서로 다른 길이의 시계열 데이터를 효율적으로 처리하기 위한 방법으로, (1) 병 렬 처리 크기(batch size)를 정하고, (2) 병렬 처리 안의 가장 큰 길이의 시퀀스대비 길이가 짧은 시퀀스들을 패딩처리 후, (3) 패딩 처리된 부분을 back-propagation 연산 시 제외시키고 비용함수(cost fum\nction)를 계산하 는 방법을 통해 효율적인 병렬 처리 연산 구성하였다. 주행 시 시간 타임스탬프별로 기록된 각 센서로 부터 수집된 변수 값들 중, 운전자가 운전 조작을 통해 주행 모드를 결정하는 것으로 예측된 센서 값으로 선별한 15개의 센서 종류는 <Table 2>와 같다.

    Ⅵ.실 험

    1.실험 데이터 셋

    본 연구에 사용된 실차 주행 자료는 미국의 VTTI(Virginia Tech Transportation Institute) 기관을 통해 3년에 걸쳐 3,000명의 운전자에게 수집된 데이터 중 확보 가능한 일부 데이터를 사용하였다. 구체적으로, 2013년 2 월에서 5월까지 3개월간 수집된 22명의 운전자의 실 주행 자료로, 각 운전자 별로 평균 60개의 운행 자료들 로 구성되었다. 주행 길이는 최소 5분에서 최대 44시간, 그리고 평균 2.3시간의 길이로, 전체 주행데이터는 1,500개에 이른다. 요약하면, 10Hz의 124,200,000 time stamp, 즉, 대략 3,450시간의 주행 데이터가 실험에 사 용되었다. 이를 운전자 별로 전체 주행 데이터에 대해 학습(training), 검증(validation), 테스트(test) 셋으로 각 각 80%, 10%, 10%로 구분하여 사용하였다.

    22명의 운전자 실차주행 자료에 포함된 5종류의 센서 데이터 (속도 센서, 스티어링 휠 각도, gyro 각도, 브 레이크 페달 사용 여부, 액셀 페달 개도 사용 여부)를 이용하여, 운전지식을 기반으로 실차 주행 자료의 모든 시점에 대해 21개의 운전조작모드 중 하나를 부여하였다. 모델 검증을 위해 사용된 입력데이터 센서 값은 <Table 2>와 같다.

    2.실험 결과

    종 방향 주행 모드 및 종횡방향을 모두 고려한 결합형 주행 모드에서의 모델의 성능 비교 및 실험 시 22 명 각각의 운전자 데이터 셋에 대해 운행 자료를 기준으로 학습된 모델이 검증 데이터 셋에서 각 주행모드 에 대한 인식률을 세 모델 RNN, LSTM, Bi-LSTM에 대해 성능을 검증 비교하였다. 한 모델별로 5번씩 수행 한 실험에 평균값을 실험 결과 값으로 취하였다. 그리고 각 운전자의 일상생활의 주행 도로 환경과 운전 습 관의 주행 모드의 영향 관계 확인을 위해 22명 운전자 주행데이터를 다음 5가지 종류의 데이터 셋으로 변환 하였다. (1) 전체 운전자 데이터 셋, (2) 나이 기준의 3 운전자 그룹 데이터 셋, (3) 주행모드 유사성 기준 유 사 주행모드 5 데이터그룹 셋, (4) 주행 모드 유사성 기준 5 운전자 그룹 데이터 셋, 그리고 (5) 22개별 운전 자별 데이터 셋으로 나누었다. 이 데이터 셋에 대해 학습(training), 검증(validation), 테스트(test) 데이터로 나 누어 주행모드 인식에 대한 검증을 진행하였다. 실험 결과 개개 운전자별 주행 모드 인식이 유사 운전자 그 룹 별 주행 모드 인식 방법에 비해 성능이 향상됨을 확인하였다. 또한, 데모그래픽 정보를 활용한 운전자 그 룹 데이터 셋에 비해 주행모드 분포의 유사도를 기준으로 운전자 그룹 데이터 셋을 구성할 경우 주행모드 인식 성능이 향상됨을 실험을 통해 확인하였다.

    1)모델별 성능 비교

    입력센서 15종류에 대해 종방향 8가지 주행모드 및 회전모드 및 가속모드를 종합한 21가지 결합형 주행모 드 인식에 대해 RNN(sigmoid), RNN(tanh), LSTM, Bi-LSTM 4가지 모델을 비교 실험하였다. 모델의 hidden layer구성에 대해서는 neuron의 개수 및 레이어를 다양하게 구성하여 최적의 성능을 보이는 하나의 모델을 찾고 도식화하였다. RNN(sigmoid), RNN(tanh)은 RNN 함수에 대해 활성화 함수(activation function)를 sigmoid 함수와 hyperbolic tangent 함수로 달리하여 비교 실험 한 것을 나타낸다. 실험 시 15개의 센서 입력과 히든계 층은 하나의 레이어로 뉴런의 개수를 192개로 일정하게 유지 하고 종방향 8개의 모드를 분류하는 RNN(sigmoid), RNN(tanh), LSTM, Bi-LSTM 네 모델의 주행 모드에 대한 비교 실험 결과는 <Fig. 3>과 같다.

    실험 검증은 Weninger et al.(2015)의 오픈소스 라이브러리 Currennt을 사용하였다. <Fig. 3>의 결과를 통해 확인할 수 있듯이, LSTM 및 Bi-LSTM 모델의 복잡도를 생각해 볼 때, 상대적으로 연산 량이 적은 RNN 모델 이 에러율이 적은 양상을 보이며 성능이 향상된 것을 확인할 수 있다.

    <Fig. 4>는 가속모드 및 회전모드를 포함하는 결합 주행 모드에 대한 실험결과이다. 즉, 21가지 결합 주행 모드 인식에 대해 RNN(활성화 함수: tanh), LSTM, Bi-LSTM 3가지 모델의 성능을 비교하였다. <Fig. 4>의 실 험결과가 드러내듯이, 짧게는 1~2초 내외에서 30초 정도의 시간이 걸릴 수 있는 회전모드를 포함하는 주행 모드 인식에 있어, LSTM 및 Bi-LSTM 모델이 RNN 모델에 비해 향상된 성능을 드러냄을 확인 할 수 있다.

    또한, 현재 시점의 운전조작모드를 예측함에 있어, 현재 시점 전후 상황을 동시에 고려하는 Bi-LSTM모델 이 LSTM모델에 비해 향상된 성능을 보였다. 또한, Alex Grave의 Early Stopping을 이용하여 학습의 멈춤 조 건을 학습 중 검증(validation) 에러가 현재 실험 단위(epoch)에서의 학습 중 검증 에러가 바로 이전 실험 단위 (epoch)의 에러에 비해 개선되지 않는 구간을 200으로 두고 실험하였을 경우, RNN모델을 통한 학습시간은 LSTM 및 Bi-LSTM모델에 비해 학습 횟수가 epoch 단위로 대략 평균 1.5배에 이르는 긴 학습시간을 필요로 하였다. 즉, 21가지 결합형 주행 모드 인식에 있어, 속도 및 성능 면에서 Bi-LSTM, LSTM 모델이 RNN모델에 비해 향상된 성능을 보임을 실험을 통해 확인하였다.

    2)주행데이터 그룹에 따른 성능 비교

    주행모드의 분포(maneuvering mode distribution)에 영향을 미치는 요소 두 가지를 생각해 볼 수 있다. (1) 운 전하는 도로의 구성과 도로의 교통상황과 (2) 운전자의 운전 습관이다. 즉, 도로의 좌우 회전 구간의 구성과 교통상황 등이 주행모드의 분포에 영향을 미침은 물론, 운전자가 브레이크 페달을 얼마나 자주 밟는 지 혹은 신호등 위치를 고려하여 가속페달과 브레이크 페달 밟는 정도가 어떻게 다른지는 사람의 운전 습관에 영향 을 받게 된다.

    이에 본 논문에서는 5가지 경우의 운전자 그룹에 대한 주행 인식 성능을 비교해 보았다. (1) 전체 운전자 들의 데이터 셋, (2) 연령별로 3그룹(20-30대, 40-50대, 60대 이후)로 나눈 데이터 셋, (3) 주행모드 분포의 유 사도를 기준으로 그룹지은 5개의 주행 그룹 데이터 셋, (4) 주행 모드 분포의 유사도를 기준으로 그룹지은 5 개의 주행 운전자 그룹, 그리고 (5) 개별 운전자별 주행 데이터 셋이다. (4)의 주행모드 분포 유사도 측정 방 법은 주행 모드 데이터의 차수를 PCA 알고리즘을 이용하여 줄이고, 줄어든 차수의 운전자별 주행 데이터를 k-means 클러스터링 알고리즘을 이용하여 운전자간 주행의 유사도를 측정하여 운전자를 그룹 지었다. 유사 한 방법으로 (3)의 경우는 주행 모드 데이터의 차수를 PCA 알고리즘을 이용하여 줄이고, 줄어든 차수의 주 행데이터들의 유사도를 기준으로 주행데이터 그룹을 k-means 클러스터링 알고리즘을 이용하여 그룹 지었다.

    각 5종류의 실험 데이터 셋에 대해 학습(training), 검증(validation), 테스트(test) 셋으로 활용하여 21가지 결 합형 주행모드 인식을 Bi-LSTM 모델로 인식한 성능을 비교한 결과이다. 실험 시 초기 가중치 값 분포(weight distribution)는 표준편차 값이 0.1인 정규분포를 따르도록 하였다. 실험 시 학습의 멈춤 조건은 Alex Grave의 Early Stopping방법을 활용하여, 현재 시험단위(epoch)에서의 학습 중 검증 에러가 바로 이전 시험단위(epoch) 의 에러에 비해 개선되지 않는 구간을 50으로 제한하였다. 이 실험 또한 각 모델 별 5번의 반복 실험 평균을 취하였다. 또한, 3종류의 네트워크 모델 (15-128-21, 15-128-64-21, 15-128-64-64-21)에 대한 성능을 비교 검증 하였다. <Table 3>은 이 네 그룹들에 대해 최적의 성능을 보인 모델들의 네트워크와 학습 반복 횟수(epoch), 그리고 최종 학습, 검증, 테스트 에러율에 대한 비교 결과이다. <Table 3>을 통해 확인할 수 있듯이, 5종류의 주행 데이터 그룹 중 개개 22명의 개별 운전자별 학습과 테스트를 수행한 5번째 테스트 에러율에 6.59%로 최적의 성능을 보이며 93.41%의 인식률을 확인할 수 있었다. 또한, 이 실험을 통해 앞서 언급된 주행모드의 분포는 운전자들의 운전습관을 표현한다고 가정하였는데, <Table 3>의 3번째 그룹인 주행 유사도 기준 주행 데이터 5개의 그룹별 주행모드 인식 성능에 비해, <Table 3>의 4번째 그룹인 유사 주행데이터 기준 운전자 그룹의 실험 결과가 1.11% 향상된 성능을 보임을 통해, 주행 데이터에 운전자의 운전습관이 포함되어 있음 을 유추할 수 있다. 한편, 자율주형 운전자 모델을 구성할 때, 개별 운전자별 주행모드 인식이 최적의 성능을 보이나, 리소스의 제한성을 고려하여 대표적인 운전자 유형을 그룹지어 구성할 수 있다. 이 때, 유사한 주행 모드 분포를 지닌 운전자들을 그룹지어서 대표적인 운전 습관의 운전자들 모형을 구성하는 것이 데모그래픽 정보를 활용하거나 대표적인 하나의 운전모델을 만드는 것에 비해, 운전자들의 일상생활 활용 도로 정보와 운전습관을 대표할 수 있음을 실험을 통해 확인하였다.

    Ⅶ.결 론

    본 논문에서는 운전자의 성향이 드러나도록 운전자 및 운전자 그룹별 실 주행데이터에 대해 RNN, LSTM, Bi-LSTM 모델을 통해 학습하고 이에 대한 주행 인식 성능을 Training 데이터 셋과 Test 데이터 셋을 나누어 모델의 성능을 검증하였다. 실험을 통하여 연산복잡도가 상대적으로 적은 RNN 모델이 긴 시간 스텝의 관계 해석을 필요로 하지 않는 종 방향 주행에 있어 LSTM 및 Bi-LSTM 에 비해 향상된 성능을 보임을 확인하였 으나, 긴 시간 스텝의 횡 방향 주행을 포함한 모드 인식에 있어서는 LSTM 및 Bi-LSTM 모델이 RNN모델에 비해 향상된 성능을 보임을 확인하였다. 또한, 개인 운전자 그룹에 비해 유사 운전 그룹 특징을 지닌 운전자 들을 그룹지어, 그룹별 주행모드 인식 시 인식 성능이 향상되는 것을 확인할 수 있었다. 이 연구를 통해 유 사 운전자들 그룹에 특징지어진 상황인지, 결정, 제어 특징을 지닌 자율주행자동차를 구성할 경우, 더욱 인 식률이 높은 개인적인 성향에 맞춘 운전을 제안해줄 수 있음을 확인하였다. 향후 추가 연구로, 전면 및 주변 상황 인지를 위한 카메라, Lidar 센서가 포함된 데이터를 포함하는 센서 융합 상황에서의 주행모드인지에 대 한 연구, 그리고 차량의 센서 데이터 외에 외부 차량과의 통신을 통한 차량제어에 관한 종합적인 연구가 필 요하다.

    ACKNOWLEDGEMENTS

    본 연구는 2017년도 정부(교육과학기술부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 [2016R1A2B4016048].

    Figure

    KITS-16-153_F1.gif

    General control architecture of the automated vehicles

    KITS-16-153_F2.gif

    Supervised Learning for time-series data by RNN, LSTM, Bi-LSTM model (For both models of (a) RNN, (c)Bi-LSTM, “input layer-2 hidden layer-output layer” in time are described by updating hidden layer parameters, in case of (b) LSTM, one neuron composed of input, 3 gates, one cell and output is described)

    KITS-16-153_F3.gif

    The comparison of lateral maneuvering mode recognition by RNN(sigmoid), RNN(tanh), LSTM, Bi-LSTM model (The number of nodes in layer :input-hidden-output : 15-192-8)

    KITS-16-153_F4.gif

    Model Comparison for 21 driving mode recognition according to RNN(tanh), LSTM, Bi-LSTM (number of neurons of input-hidden1-hidden2-output : 15-128-64-21)

    Table

    Maneuvering Modes

    input sensor parameters

    maneuvering mode recognition performance comparison according to the clustering methods

    *similar driving is clustered according to the similarity of maneuvering distribution

    Reference

    1. Alex G (2012) “Supervised Sequence Labelling with Recurrent Neural Net-works”, Chapter 3, 4, Springer,
    2. Choi J (2015) “The role and expectation of the Vehicle ITS(Intelligent Transportation System)” , Korea Evaluation Institute of Industrial Technology Issue Report,
    3. Gonzalez D , Perez J , Milanes V (2016) “A Review of Motion Planning Techniques for Automated Vehicles” , IEEE transactions on intelligent transportation system, Vol.17 (4)
    4. Greff K , Srivastava R K , Koutn J (2016) “LSTM:?A Search Space Odyssey” , IEEE Trs. On Nerual Networks and Learning Systems, Vol.99
    5. Hochreiter S , Schmidhuber J (1997) “Long short-term memory” , Neural Computation, Vol.9 (8) ; pp.1735-1780
    6. Jain A , Singh A , Koppula H (2016) “Recurrent neural networks for driver activity anticipation via sensory-fusion architecture” , IEEE Intern. Conf. on Robotics and Automation (ICRA),
    7. Kim M , Moon J , Lee J (2015) “European automatic driving vehicle technology roadmap analysis (EopSS, ERTRAC)” , Korea Evaluation Institute of Industrial Technology, Vol.3
    8. Kuderer M , Gulati S , Burgard W (2015) “Learning driving styles for autonomous vehicles from demonstration” , IEEE Inter. Conf. on Robotics and Automation (ICRA), ; pp.2641-2646
    9. Lei Z , Cheng D , Liu Y , Qin D Y (2017) “A Dynamic Control Strategy for Hybrid Electric Vehicles Based on Parameter Optimization for Multiple Driving Cycles and Driving Pattern Recognition” , Energie, Vol.10 (1) ; pp.54
    10. Li G , Zhang H , Tang G , Xie Y (2014) “Maneuver modes analysis for hypersonic glide vehicles” , IEEE Chinese Guidance, Navigation and Control Conf, ; pp.543-548
    11. Ma X , Tao Z , Wang Y , Yu H (2015) “Long short-term memory neural network for traffic speed prediction using remote microwave sensor data” , Transport. Res. Part C: Emerg. Technol, Vol.54 ; pp.187-197
    12. Takano W , Matsushita A , Iwao K (2008) “Recognition of human driving behaviors based on stochastic symbolization of time series signal” , IEEE International Conf. on Intelligent Robots and Systems, ; pp.167-172
    13. (2016) Update, http://files.shareholder.com/downloads/ABEA-4CW8X0/3100696065x0x913801/F9E5C36A-AFDD-4FF2-A375-ED9B0F912622/Q3_16_Update_Letter_-_final.pdf 2017.04.21,
    14. Weninger F , Bergemann J , Schulller B (2015) “Introducing CURRENNT: The Munich Open-Source CUDA Recurrent Neural Network Toolkit” , Journal of Machine Learning Research, Vol.15 ; pp.547-551

    저자소개

    Footnote