Journal Search Engine

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.20 No.3 pp.86-99
DOI : https://doi.org/10.12815/kits.2021.20.3.86

A Research on V2I-based Accident Prevention System for the Prevention of Unexpected Accident of Autonomous Vehicle

SangYong Han*, Myeong-jun Kim**, Dongwan Kang**, Sunwoo Baek**, Hee-seok Shin**, Jungha Kim***
*Graduate school of Autumotive Eng., Kookmin Univ.
**College of Automotive Eng., Kookmin Univ.
***Corresponding author: Professor, Kookmin University
Corresponding author : Jungha Kim, jhkim@kookmin.ac.kr
22 April 2021 │ 10 May 2021 │ 9 June 2021

Abstract


This research proposes the Accident Prevention System to prevent collision accident that can occur due to blind spots such as crossway or school zone using V2I communication. Vision sensor and LiDAR sensor located in the infrastructure of crossway somewhere like that recognize objects and warn vehicles at risk of accidents to prevent accidents in advance. Using deep learning-based YOLOv4 to recognize the object entering the intersection and using the Manhattan Distance value with LiDAR sensors to calculate the expected collision time and the weight of braking distance and secure safe distance. V2I communication used ROS (Robot Operating System) communication to prevent accidents in advance by conveying various information to the vehicle, including class, distance, and speed of entry objects, in addition to collision warning.



자율주행 차량의 돌발사고 방지를 위한 V2I 기반의 사고 방지체계 연구

한 상 용*, 김 명 준**, 강 동 완**, 백 선 우**, 신 희 석**, 김 정 하***
*주저자 : 국민대학교 자동차공학전문대학원 박사과정
**공저자 : 국민대학교 자동차공학전문대학원 박사과정
***교신저자 : 국민대학교 자동차융합대학 교수

초록


본 연구는 V2I통신을 이용하여 교차로 등의 사각지대로 인해 발생할 수 있는 충돌 사고를 예방하기 위한 충돌 방지체계를 제안한다. 교차로의 인프라에 위치한 Vision센서와 LiDAR센서 가 물체를 인식하고 사고 위험이 있는 차량에게 경고함으로써 사고를 미연에 방지한다. 딥러 닝 기반의 YOLOv4를 이용하여 교차로에 진입하는 물체를 인식하고 LiDAR 센서와의 Calibration을 통해 대상 물체와의 맨하탄 거리값을 이용하여 충돌 예상시간과 제동거리에 대한 가중치를 계산하고 안전거리를 확보한다. 차량-인프라간 통신은 ROS통신을 이용하였으며 충 돌 경고 외에도 진입 물체의 Class, 거리, 진행속도 등의 다양한 정보를 차량에 전달함으로써 사고를 미연에 방지하고자 하였다.



    Ⅰ. 서 론

    1. 연구배경

    자동차의 보급은 급속하게 증가하는 추세이지만, 상대적으로 도로 증가율은 이에 미치지 못하여 발생하는 차대차, 차대사람 교통사고는 전 세계적인 문제로 대두되고 있다. 교통안전공단이 발표한 ‘2020 교통사고 통 계분석’ 자료에 따르면, 2019년 전체 교통사고 건수는 약 129만 건으로 전년대비 5.3 % 증가한 수치를 보이 고 있다. 2010년 부터 2020년 까지 연 평균 증감율은 3.1 %에 달한다. 특히 어린이사고를 예로 들어 살펴보 면, 도로형태별 사고를 나누었을 때 교차로에서 발생한 사고가 전체 어린이사고의 49.3%를 차지했다 (KoROAD, 2020). 교차로와 같이 여러 방향을 인지해야 하거나, 골목길의 무단 주정차에 의한 사각지대와 같 이 운전자가 전방위의 시야를 확보할 수 없는 곳에서 사고가 빈번히 발생한다. 따라서 자율주행 자동차의 주 행 중 인지 능력을 활용한 사고 예방 및 인프라의 센서와 통신 기능을 이용한 위험 상황에서 필요한 정보를 송수신하는 교통사고 방지 시스템의 도입이 필요하다고 판단된다.

    자율주행 자동차는 운전자의 조작 없이 스스로 주행할 수 있는 차량을 의미하며 크게 인지, 판단, 제어로 시스템의 역할을 구분할 수 있다. 차가 자율주행을 하기 위해서 카메라, Radar, LiDAR, 초음파 센서 (Ultrasonic Sensor) 등과 같은 인지 센서를 이용하여 물체 인식, 거리 측정을 하여 주변 상황을 인지하고, 그 에 따른 경로계획과 차량제어를 통해 최종적으로 목적지까지 이동하게 된다(Kichun et al., 2014).

    자율주행 자동차에 사용되는 인지 센서들은 각기 다른 특징을 가지고 있다. 먼저 카메라의 경우 사람의 눈과 같이 이미지 센서를 이용한 물체의 인식에 강점을 갖고 있다. 사람, 자동차, 자전거 등 각기 다른 모양 의 물체를 분류 시, 다른 센서들에 비해 성능이 뛰어나며 차선과 신호등, 교통 표지판 등을 인식하는 등 많 은 역할을 수행할 수 있다. 반면 날씨에 따라 영향을 많이 받기 때문에 날이 흐리거나 어두운 환경에서는 성 능이 많이 저하되어 제 기능을 수행하기 어렵다는 단점이 있다. 또 정확한 거리 측정이 어렵기 때문에 다른 센서와의 융합을 통해 이를 해결한다(Zhao and Shin’ichi, 1993;Zhao et al., 2020).

    Radar와 LiDAR 센서의 경우 거리 측정 능력에서는 카메라에 비해 월등한 성능을 자랑한다. 각각 전파와 레이저 펄스를 이용하여 대상과의 거리를 측정하기 때문에 어두운 환경에서도 강건한 성능을 자랑한다. Radar의 경우 100 m 이상의 원거리 물체를 측정하는데 특화되어 있으나 전파의 특성상 횡방향 오차가 크기 때문에 종방향 물체 감지가 필요한 ACC(Adaptive Cruise Control)와 AEB(Autonomous Emergency Braking)와 같은 데에 주로 사용된다(Hofmann et al., 2003;Dickmann et al., 2016;Manjunath et al., 2018).

    LiDAR 센서의 경우 레이저 펄스를 이용하기 때문에 빛의 직진성 때문에 거리 측정에 있어서는 가장 강력 한 신뢰도를 가지고 있다. 또한, 종방향과 횡방향 모두 높은 정확성을 가지고 있기 때문에 Pointcloud 도로 정 밀지도 구축과 같이 높은 정밀도를 요구하는 분야에서 많이 활용되고 있다(Hecht, 2018;Zhao et al., 2019;Li and Javier, 2020).

    마지막으로 초음파 센서의 경우 높은 정확도와 좋지 않은 날씨에도 강건한 성능을 가지고 있지만 탐지거 리가 짧기 때문에 주차 보조 센서로 주로 사용된다. 이처럼 센서들 간의 특징들이 서로 다르기 때문에 센서 융합을 통해 단점을 보완하여 ADAS(Advanced Drivers Assistant System)와 자율주행 기술에 인지 센서들이 사 용되고 있다(Figuroa and Lamancusa, 1992; lqbal et al., 2017).

    2. 연구목적

    자율주행 자동차의 목적은 운전자의 편의 향상뿐만 아니라 궁극적으로 교통사고를 줄이는 데에 목적을 두고 있다(Okuda et al., 2014;Ziebinski et al., 2016). 일반 도로 주행의 경우 AEB와 같은 ADAS를 통해 어느 정도 차량 시스템의 도움을 받아 사고를 피할 수 있다. 운전자가 미처 반응하지 못하는 긴급한 순간에도 인 지 시스템의 도움을 받아 차량 제동 혹은 회피를 통해 사고를 피할 수 있기 때문이다. 하지만 교차로나 골목 길 등에서 돌발적으로 등장하는 보행자나 이륜차, 차량 등의 경우 인지 센서의 사각지대에서 등장하는 경우 가 많으므로 사고를 피하기 쉽지 않다. 무단 주정차가 늘어선 좁은 골목길에서 뛰어나오는 어린이나 오토바 이 등은 차량에 부착된 인지 센서도 사전에 감지할 수 없기 때문이다. 차량의 자체 센서만으로는 이러한 환 경에서의 안전한 도로주행이 한계가 있기 때문에, 교통사고를 줄이며 보다 안전한 주행을 위해서는 인프라 시스템을 이용한 충돌방지 시스템이 필요하다.

    본 논문에서는 사각지대에서 등장하는 객체와의 사고를 막기 위하여 인프라 통신을 이용한 충돌방지체계 를 제안한다. Vision 센서와 LiDAR 센서를 융합하여 인지 시스템을 구성함으로써 객체의 종류와 대상과의 거리를 측정하고, 교차로나 골목길 등에 인프라 시스템이 위치하여 사고 위험을 판단한다. 주야간 상관없이 충돌 가능성이 높은 객체를 감지하였을 때는 운전자에게 충돌 위험 경고 메시지를 보냄으로써 사고를 미연 에 방지하고자 한다.

    Ⅱ. 본 론

    충돌방지체계는 단시간에 목적 객체를 분류하여 충돌 가능성을 계산한 뒤 대상 차량에게 정보를 전달할 수 있어야 한다. 따라서 본 시스템은 <Fig. 1>과 같이 Object Detection(Vehicle, Infrastructure) 파트와 Data Communication(V2I Communication) 파트로 나누어 알고리즘 최적화를 진행하였다. 먼저 Object Detection 파트 에서는 인지 센서를 이용하여 인프라가 주변 물체들을 인지하는 단계이며 이를 통해 서로 근접해오는 물체 와 주행 차량 간의 예상 충돌시간을 계산한다. 그런 다음 Data Communication 파트 에서는 충돌 가능 시간과 대상들의 위치 등 복합적인 요소들을 고려하여 충돌 가능성을 판단하고 충돌이 예상되는 차량 운전자에게 위험신호를 송신하여 차량을 정지시킨다.

    <Fig. 1>

    System Diagram

    KITS-20-3-86_F1.gif

    1. Object Detection

    교차로 등에서 충돌위험 경고를 하기 위해서는 대상 물체들에 대한 선정이 먼저 필요하다. 본 시스템에 서는 주행 차량의 사고 유발 가능성이 높은 객체로 차량, 보행자, 이륜차 등 3 종을 목적 객체로 지정하여 분 류하고 인식을 진행하였다. 먼저, 물체를 인식하기 위해 단안 카메라를 이용하였고 검출한 목적 객체와의 거 리값을 이용한 가중치 계산과 안전거리를 확보하기 위해 LiDAR 센서와 융합하여 거리값을 추출하였다. 대 상 물체들은 각기 다른 특징들을 갖고 있기 때문에 인지 시스템이 다양한 환경에서도 정상적으로 물체를 인 식하고, 대상 객체를 신속하게 검출하기 위해서 딥러닝 기반의 YOLOv4 detector를 사용하였다.

    1) YOLOv4

    딥러닝(Deep Learning, 심층 학습)은 여러 겹(Layer)으로 구성된 신경망 네트워크(Neural Network)를 통해 다양한 정보 조합을 이용하여 특징점을 찾아 필요한 결과를 내는 기계학습(Machine Learning) 알고리즘의 일 종으로, 고정된 특징점을 이용하지 않기 때문에 다양한 환경변화에 강건하게 대상 물체들의 다양한 모습에 도 유연하게 대처가 가능하다는 장점이 있다. 그 중 YOLO(You Only Look Once) 알고리즘은 2D 이미지에서 사전에 학습된 객체들을 검출하는 알고리즘으로 굉장히 빠른 처리속도를 자랑한다. YOLO는 객체검출 알고 리즘 중 feature map을 추출하고 RPN(Region Proposal Network)에 전달하여 ROI(Region of Interest)를 설정한 뒤 물체 인식과 Bounding box를 설정하는 Faster R-CNN 알고리즘보다 6배나 빠른 속도를 보인다. Faster R-CNN은 Regional proposal과 Object Classification을 2단계로 나누어 진행하는데 반해, <Fig. 2>와 같이 YOLO 는 두 단계를 한 번에 진행하기 때문에 객체 검출시간이 월등히 빠르므로 본 연구에서 물체 인식을 진행할 때 YOLO detector를 사용하였다(Redmon et al., 2016;Redmon and Ali, 2018).

    <Fig. 2>

    Stage-Specific Object Detector

    KITS-20-3-86_F2.gif

    YOLO 알고리즘의 가장 큰 특징은 <Fig. 3>과 같이 이미지 전체에 대해서 하나의 신경망이 단 한번의 계 산으로 bounding box 설정과 클래스 확률을 예측한다는 점이다. 객체 검출 파이프라인이 하나의 신경망으로 구성된 end-to-end 형식이고 기존의 multi-task 문제를 하나의 회귀 문제로 재정의했기 때문에 VGG-16을 Backbone 네트워크로 사용한 Faster R-CNN(7 fps)에 비해 빠른 45 fps의 처리속도를 특징으로 한다.

    <Fig. 3>

    Object classification process of YOLO

    KITS-20-3-86_F3.gif

    초기 버전의 경우 하나의 grid cell에 두 개 이상의 객체가 붙어있을 때 이를 잘 검출하지 못하는 문제가 있었고 신경망 마지막의 feature map을 사용하기 때문에 정확도가 타 알고리즘에 비해 비교적 낮고 이미지 크기에 따라 모델의 성능이 좌우된다는 단점이 있었다. 이를 보완하기 위하여 여러 개의 extra feature map을 이용한 SSD(Single Shot multibox Detection)나, Backbone 네트워크로 DarkNet을 사용하며 Batch Normalization 과 Multi-scale Training 기법을 도입한 YOLOv2, ResNet의 Residual Block 개념을 도입하여 신경망 층이 두터 워진 YOLOv3 등 정확도와 실시간성을 높이기 위해 많은 연구가 진행되었고 2020년엔 최신 딥러닝 기법들 을 적용한 YOLOv4가 발표되었다. YOLOv4의 벤치마크 성능은 아래 <Fig. 4>와 같다.

    <Fig. 4>

    Comparison of the speed and accuracy of different object detectors. (GPU: Volta)

    KITS-20-3-86_F4.gif

    YOLOv4는 Weighted-Residual-Connections과 Cross mini-Batch Normalizations등의 기법들과 Dropout과 달리 랜덤하게 Drop하지 않고 feature의 일정 범위까지 함께 Drop하는 Drop Block Regularization등의 기법을 이용 하여 정확도 개선을 이루어냈고 CSP(Cross-Stage Partial connections)기법을 이용하여 학습할 때 중복으로 사 용되는 기울기 정보를 제거함으로써 CNN 네트워크의 연산량을 줄여 처리속도 향상을 이루어냈다. YOLOv4 의 시스템 아키텍쳐는 Backbone 네트워크로 CSP-DarkNet53을 이용하였고 Neck은 SPP(Spatial Pyramid Pooling)와 PAN(Path Aggregation Network), Head는 YOLOv3를 이용하였다(Bochkovskiy et al., 2020).

    2) Vision-LiDAR Fusion

    YOLOv4를 이용하여 객체를 검출한 후, 주행 차량과 객체들 간의 정확한 거리값을 이용하여 충돌 예상시 간 계산과 위험경고를 하기 위해 LiDAR 센서와 카메라의 Calibration을 진행하였다. 정확한 센서 퓨전을 위 해서 먼저 카메라 자체 파라미터에 대한 캘리브레이션을 진행하였다. 카메라는 사용하는 이미지 센서, 렌즈, 초점거리 등 카메라의 구조적 특징을 거쳐서 2차원 이미지로 변환되기 때문에 왜곡이 발생한다. 이를 해결 하기 위해 카메라 캘리브레이션을 진행하게 되는데 이때 카메라에서 고려해야 할 파라미터는 내부 파라미터 (intrinsic parameter)와 외부 파라미터(extrinsic parameter)로 나눌 수 있다. 내부 파라미터인 초점거리(Focal length), 주점(Principle point), 비대칭계수(Skew coefficient)와 카메라 설치 높이, 자세 등으로 이루어진 외부 파 라미터를 고려하여 3D 공간 좌표계 상의 점의 좌표를 카메라 좌표로 변환한다(Li et al., 2014;Jo et al., 2017;Debeunne and Vivet, 2020).

    카메라 자체 캘리브레이션을 통해 왜곡을 제거한 다음 LiDAR센서와의 캘리브레이션을 통해 두 센서를 매칭한다. <Fig. 5>와 <Fig. 6>은 체스보드를 이용하여 Calibration을 진행하는 장면으로, 체스보드의 위치를 변화해 가면서 카메라와 LiDAR의 기하학적 위치를 고려하여 Rotation Matrix와 Translation Vector를 구하고 카메라 2D 이미지에 LiDAR 포인트를 융합하여 이미지 각 픽셀에 해당하는 LiDAR 포인트 거리값을 반환할 수 있다. 이를 통해 YOLOv4 알고리즘을 이용하여 검출된 객체들은 센서 퓨전을 통해서 객체의 Class와 위치 정보, 거리 등을 얻을 수 있으므로 인프라와 통신을 통해 해당 정보를 대상 차량에 전달한다.

    X = A [ R | t ] X W
    (1)

    <Fig. 5>

    Camera, LiDAR calibration

    KITS-20-3-86_F5.gif
    <Fig. 6>

    Vision-LiDAR fusion

    KITS-20-3-86_F6.gif

    x y 1 = α x s x 0 0 α y y 0 0 0 1 r 11 r 12 r 13 t 1 r 21 r 22 r 23 t 2 r 31 r 32 r 33 t 3 x W y W z W 1
    (2)

    3D LiDAR의 좌표를 XW , 2D 픽셀 좌표를 X라고 할 때, 2D로의 투영은 식 (1) 과 같이 Calibration matrix A와 3 x 3 Rotation matrix R, 3 x 1 translation vctor t를 3D 좌표값에 취해줌으로써 2D 이미지에 투영할 수 있 다. 최종적인 Calibration 식은 식 (2) 와 같이 나타낼 수 있다.

    3) Object Tracking

    검출한 객체를 트래킹하기 위해서 UKF 기반의 IMM-UKF-JPDA 트래킹 알고리즘을 이용하였다. IMM-UKF-JPDA는 UKF를 Base filter로 사용하는 IMM-JPDA 필터로 다중 모드 세팅을 통하여 각기 다른 필 터뱅크를 통해 측정값과 예측값을 계산함으로써 객체를 트래킹한다. IMM 필터가 모드별 전환확률을 가중치 를 고려하여 최적 모델을 선택하게 되며 모드 전환 확률을 통해 각 모드의 각기 다른 파라미터의 필터뱅크 와 Data association 과정을 거치며 최종적으로 Track management를 실행하는 구조이다. 모드는 도로 위의 추 적 대상의 운동성을 고려하여 Constant velocity, Constant turn rate velocity, Random motion 으로 3가지 모드로 객체를 추적하고자 하였다. 트래킹 시스템의 플로우 차트는 아래 <Fig. 7>과 같다(Sualeh et al., 2019).

    <Fig. 7>

    Object tracking flow chart

    KITS-20-3-86_F7.gif

    3D LiDAR pointcloud 데이터를 Euclidean Clustering 기법을 이용하여 군집화한 뒤 트래킹을 진행하며 트래 킹 대상의 진행 방향을 고려했을 때 충돌위험이 있는 대상들에게 위험을 알리게 된다. LiDAR 데이터를 바탕 으로 트래킹을 진행하기 때문에, 야간의 경우 Vision 시스템이 객체를 분류하는데 어러움을 겪을 수 있으나 Vision 시스템을 이용할 수 없는 경우 LiDAR 센서 기반으로 ‘Unknown’ 클래스의 대상을 트래킹하여 마찬가 지로 위험도를 판단하여 알림을 하게 된다. 따라서 Vision 시스템을 이용할 수 없는 환경인 가로등이 없는 야간의 골목 교차로 같은 경우 물체 분류는 진행할 수 없으나 LiDAR 기반의 위험도 알림을 통해 사고를 방 지할 수 있도록 하였다.

    2. Data Communication

    인프라와 차량 간 통신은 2.4GHz 대역의 802.11 b.g.n 세팅의 AP 중계를 이용한 ROS 통신을 이용하였다 (Priemer and Friedrich, 2009;Rakha and Kamalanathsharma, 2011;Bento et al., 2012). ROS는 Robot Operating System의 약자로 흔히 사용하는 OS 위에서 미들웨어와 같이 동작하는 메타 운영체제이다. 응용 소프트웨어 개발, 관리 등의 기능을 제공하며 주로 로봇제어 등에서 사용되어오다 최근에는 자율주행을 위한 연구에서 도 다양하게 쓰이고 있다. ROS는 master를 통해 node와 node가 서로 통신을 통해 토픽을 주고받으며 통신한 다. 통신은 TCP/IP 기반이지만 ROS 마스터를 통해 통신하기 때문에 다중의 노드가 서로 통신할 수 있다는 장점이 있다. 따라서 V2I 시스템에 접목하였을 때 다중 차량과 인프라 간의 통신이 가능하다(Hussein et al., 2018;Zhi et al., 2018).

    ROS 통신 시스템의 구성은 크게 두 단계로 나눌 수 있다. 노드에서 마스터로 토픽을 보내는 토픽 ‘Publish’ 단계와 노드가 토픽을 마스터로부터 전달받는 ‘Subscribe’ 단계이다. 본 시스템에서는 인프라 PC에 서 실행되는 object detection 패키지에서 인프라 주변 상황을 인지하여 충돌위험이 있는 객체들의 종류와 해 당 물체와의 거리, 충돌까지 예상되는 시간 등의 정보를 publish 하게 되면 사고위험이 있는 객체는 위험 메 시지 토픽을 subscribe 하여 정지하거나 감속하는 등 사고위험을 예측하여 판단할 수 있게 된다.

    본 실험에서 ROS 통신을 사용한 이유는 강력한 시각화 툴과 각종 소프트웨어 라이브러리를 지원하며 다 중 통신이 가능하며, 기존의 TCP/IP와 UDP와 달리 ROS에서 지원하는 패키지를 통해 별도의 데이터 가공 없 이 간단하게 데이터를 전송할 수 있기 때문에 통신 방법으로 채택하였다.

    Ⅲ. 실험환경 구성

    실험환경은 Mid Size SUV 자율주행차를 이용하여 감독자가 탐승한 후 자율주행으로 진행하였다. 자율주행 차량이 인프라로부터 정지 혹은 감속 신호를 받으면 그에 맞게 차량을 제어하며 주행 결과를 모니터링하는 실험을 진행하였고, 인프라는 단안 카메라와 LiDAR 센서를 장착한 PC를 실험장소의 사각지대에 설치하여 주 변 환경을 관측하였다. 실험장소는 초ㆍ중학교 앞 어린이 보호구역(스쿨존), 이면도로 교차로, 주택가 골목, 상가골목, 대학 캠퍼스 등 다양한 환경에서 진행하였으며 정오, 오후, 일몰 이후 야간 시간대에 실험을 진행함 으로써 시간에 따른 인식률 변화와 시스템 신뢰도 등을 평가할 수 있도록 하였다. <Fig. 8>과 <Fig. 9>, <Table 1>은 각각 센서들이 부착된 자율주행 차량과 인프라 시스템의 구성, 센서와 장비의 규격을 나타낸다.

    <Fig. 8>

    Autonomous Vehicle setup for experiment

    KITS-20-3-86_F8.gif
    <Fig. 9>

    Diagram for V2I communication

    KITS-20-3-86_F9.gif
    <Table 1>

    Sensor specifications of Infra. & Autonomous Vehicle

    KITS-20-3-86_T1.gif

    실험 방법은 다양한 환경의 교차로에서 자율주행차가 진입 중 일때, 진행 중인 자율주행차의 시야에서 검 출되지 않는 사각지대의 객체들의 속도와 방향 등을 고려하여 충돌 위험성을 판단한다. 충돌 위험성은 실험 차량의 진행 방향과 속도, 상대 객체의 진행 방향과 속도를 이용하여 충돌 예상시간을 계산하며 진행속도별 제동거리 기준을 초과하기 전에 위험 알림을 하게 된다. <Fig. 10>와 <Fig. 11>은 상황별 실험을 실시한 일부 장소로, 스쿨존 근처의 골목길과 학교 앞 주택가 횡단보도 이다.

    <Fig. 10>

    An ally nearby school

    KITS-20-3-86_F10.gif
    <Fig. 11>

    Urban crossroad in school zone

    KITS-20-3-86_F11.gif

    Ⅳ. 실험 결과

    Object Detection Part의 Classification 정확도는 객관적 지표를 확인하기 위해 MS COCO data set을 사용하 여 테스트한 벤치마크 결과를 아래 <Table 2>에 표기하였다(Kumar and Punitha, 2020). Nvidia Jetson AGX Xavier 보드를 이용하여 object detecting을 진행하였고 TensorRT를 통해 네트워크를 최적화하였다. 벤치마크 데이터를 통한 정확도 평가를 통하여 입력의 크기가 정확도와 동작속도 사이에 발생하는 trade-off 관계를 형 성하는 것을 확인할 수 있었으며, 인간의 눈과 유사한 인지 속도를 보이면서 준수한 정확도를 확보하기 위해 이미지의 input size를 512 x 512 로 설정하여 실험을 진행하였다.

    <Table 2>

    Accuracy of YOLOv4 in different input size

    KITS-20-3-86_T2.gif

    실험을 진행하며 detector의 정확도를 평가하기 위하여 임의로 추출한 300개의 프레임에서 처리하고자 하 는 대상인 차량과 보행자의 검출 성능을 평가하였다. 테스트 환경의 Ground Truth는 승용차, 버스, 트럭을 포 함하여 차량 1341대, 보행자 450명이며 IoU 0.5 이상일 경우를 정답으로 간주하여 처리하였을 때의 정확도는 아래 <Table 3>와 같으며 검출 성능은 트래킹 알고리즘과 병합하여 동작하기 때문에 아래 지표보다 더욱 강 건한 탐지성능을 보일 수 있다.

    <Table 3>

    Accuracy of Object detection part using YOLOv4 in 512 x 512 size

    KITS-20-3-86_T3.gif

    각각의 장소와 진행하는 객체의 종류, 실험진행 시간대 등 다양한 환경으로 나누어 실험을 진행하였고 각 각의 결과는 <Table 4>에 카테고리별로 평균값으로 정리하였다. 실험 결과는 각각의 도로 상황별로 구분한 케이스에 따른 결과 데이터의 평균치를 나타내며 결과 데이터는 각각 실험 차량의 주행 속도, 인프라의 신호 를 받았을 때의 상대 객체와의 Manhattan Distance, 제동거리, 인프라 검출 신호 이후 차량 자체 센서 검출 시 간과의 차이인 Infra gain (s)과 그에 따른 거리 Infra gain (m), 실험 당시의 시간대 등 총 6가지 항목을 케이스 별로 각각 20회 이상의 실험한 결과의 평균치를 나타낸다.

    <Table 4>

    The result of experiment in each case

    KITS-20-3-86_T4.gif

    ‘Vehicle velocity’는 실험에 사용된 자율주행차와 일반 차량의 진행속도를 나타내며 안전을 위하여 도로 규정 속도를 준수하면서 보통의 사람들과 유사한 운전 습관대로 진행한 속도이다. 스쿨존과 골목길의 경우 과속단속 카메라와 주변의 무단 주정차 등으로 인해 30 km/h 속도가 평균적인 진행속도였으며, 도심 교차로 와 교내 캠퍼스의 경우 교통량과 보행자들로 인해 평균 10 km/h 속도로 교차로에 진입하였다.

    ‘Distance to object’ 항목은 교차로에 진입한 충돌위험이 있는 차량에게 인프라가 충돌위험 신호를 보냈을 당시의 물체와의 맨하탄 거리를 나타낸다. 차량의 진입 방향이나 보행자 혹은 상대 차량의 움직임에 따라 편 차는 있으나 교차로 주변 반경 10 m 이내에 진입한 물체를 위험대상으로 판단하고 거리를 측정하였다.

    ‘Braking distance’는 <Fig. 12>에서 확인할 수 있듯이 교통안전공단에서 발표한 차량 속도별 제동거리 데이 터를 이용하여 측정하였다. 교통안전공단 자료에 따르면 30 km/h부터 80 km/h 까지 10 km/h 구간별로 제동 거리를 제공하였고 이를 통해 2차 다항함수를 이용하여 데이터에 근사화 시켰으며 근사식을 이용하여 각 실 험 속도별 제동거리를 <Fig. 13>과 같이 측정하였다. 근사한 식은 (3)과 같다.

    B r a k i n g d i s t a n c e a p p r o x i m a t i o n 0.0127 × V e l o c i t y 2 0.1804 × V e l o c i t y + 9.0357
    (3)

    <Fig. 12>

    Braking distance data chart made by Korea Transportation Safety Authority

    KITS-20-3-86_F12.gif
    <Fig. 13>

    Approximate braking distance

    KITS-20-3-86_F13.gif

    각 케이스별 실험에서 인프라가 차량에게 위험 신호를 전달하여 차량이 정지한 뒤 차량의 센서에 충돌위 험 대상이 처음으로 검출되는 시점까지의 시간과 그 시간 동안 정지하지 않고 진행했을 때의 진행거리를 Infra gain으로 나타내었다. 인프라의 충돌위험 경고를 통해서 모든 케이스가 필요 제동거리 이상의, 물체와 의 맨하탄 거리를 충족할 수 있음을 확인할 수 있었다. 인프라의 위치, 충돌위험 대상의 속도와 방향 등에 따라 결과값의 차이는 조금씩 발생하나 결과 모두 안전 제동거리 이상을 확보하는 결과를 보였다.

    위 결과를 통해 확인할 수 있는 것은 일반 도로의 교차로보다 골목길이나 스쿨존에서 차량의 속도가 더 빨랐다는 것이다. 일반 도로 진입의 경우에는 사람보다 차대차 사고 비율이 높고, 주도로의 주행 속도가 빠 르다 보니 교차로에 차량이 진입 시 서행한다는 특징이 있다. 하지만 일반 골목길의 경우 차량의 통행이 많 지 않으므로 주행 차량들의 속도가 일반 도로 교차로보다 빠르게 측정되었다. 이러한 이유로 상대적으로 저 속으로 진입하는 일반 도로의 교차로가 아닌 스쿨존 같은 경우 Infra gain을 제외하면 제동거리가 약 0.3 m 이므로 충돌 위험성이 굉장히 높다. 따라서 본 시스템을 통해 최소한의 제동거리를 확보하며 사고 위험으로 부터 보다 안전해질 수 있다.

    인프라의 인지 센서는 카메라와 LiDAR를 융합하였기 때문에 YOLOv4의 결과와 LiDAR 데이터의 트래킹 결과를 이용하여 충돌위험 객체를 판단한다. 따라서 낮 시간대와 오후 시간대에는 객체 분류와 충돌예상거 리 계산이 모두 가능하였지만 야간 실험의 경우, 물체의 종류는 정확하게 분류해낼 수 없으므로 알 수 없는 클래스인 ‘Unknown’ 물체로 분류하여 충돌 예상 거리를 계산한다. 시간대에 따라서 객체 분류 클래스의 차 이는 있으나 그 외의 충돌 거리계산 등의 조건은 모두 동일하므로 시간대를 구분하지 않고 정확도를 산출하 였다. 시간대의 따른 변화 외에도 자율주행 차량이 아닌 일반 차량 실험을 통해서도 본 논문에서 제안하는 인프라 시스템의 성능을 확인하였고, 고비용의 자율주행 센서 없이 간단한 통신 모듈만 장착한 일반 차량에 서도 충분히 동작할 수 있으므로 V2I 시스템을 이용하여 비자율주행 차량들도 교차로 충돌사고를 예방할 수 있는 시스템의 확장성과 경제성 또한 검증하였다. 아래 <Fig. 14>는 일몰 후 야간 시간대에 대학 캠퍼스 내 에서의 사각지대 차량과 보행자 검출 실험을 나타낸다. 각각의 분할된 이미지는 왼쪽 위부터 시계방향으로 Infra Camera, Infra LiDAR, 주행 중인 비자율주행 차량의 전방 블랙박스 화면, 주행 차량의 내부 카메라를 통 한 정지신호를 받아 멈추는 장면이다. 경사가 있는 교차로이기 때문에 주행 차량의 블랙박스 화면에는 아무 런 물체가 보이지 않으나 실제로는 교차로 화단 앞으로 보행자가 뛰어오는 상황이기 때문에 보행자 추돌사 고를 낼 수 있는 환경이었으나 본 시스템을 통해 사람이 나타나기 전에 신호를 받고 정지하여 사고를 피할 수 있었다.

    <Fig. 14>

    Night time test for non-autonomous vehicle in campus

    KITS-20-3-86_F14.gif

    Ⅴ. 결 론

    본 논문은 자율주행차의 주행 충돌사고 안전성 확보를 위하여 V2I 시스템을 이용한 충돌방지체계를 제안 한다. 골목길, 교차로 등의 장소에서 자율주행차 인지 센서의 사각지대로부터 갑자기 접근하는 물체와의 충 돌사고를 피하고자, 인지 센서 퓨전을 통한 Object Detection 시스템과 ROS 통신을 이용하여 V2I 통신을 통 해 사고위험을 차량 운전자에게 알리는 충돌방치체계에 대한 실험을 진행하였다.

    실험 결과 자율주행차의 센서로는 미처 발견하지 못한 객체를 인프라를 통해 사전에 감지하고 위험 경보 를 전달받음으로써 차량의 진행속도 대비 제동거리를 계산하였을 때, 물체와의 충돌을 피할 수 있는 최소한 의 거리를 확보할 수 있음을 확인하였다. 이를 통해 정지 혹은 감속 등의 조작을 통해 충돌사고 위험으로부 터 사전에 대처함으로써 사고를 예방할 수 있다. 주정차 금지구역의 스쿨존과 골목길 등에서 무단 주정차로 인한 사각지대 등 복잡한 환경에서도 목적 객체를 인식하고 동작함을 확인하였으며 카메라와 LiDAR 센서를 융합하여 야간에도 주행 차량으로부터 객체까지의 거리 데이터 안내를 통해 사고 예방 기능이 충분히 가능 함을 실험을 통해 확인하였다. 또한, 자율주행차가 아닌 일반 차량에서도 본 실험을 통해서 차량 내에 비교 적 간단한 신호 수신 장비를 장착하여 인프라로부터 필요 정보를 수신하여 운전자가 직접 돌발 상황에 대처 할 수 있고, 인프라와 차량 한 대만의 1:1 통신이 아닌 보행자와 차량 등 통신 단말을 지닌 주변 모든 객체와 정보를 주고받을 수 있는 V2X 확장성을 가지고 있기에 본 시스템을 통하여 어린이 교통사고나 차량 충돌사 고를 방지함으로써 많은 사회적, 경제적 효과를 볼 수 있을 것으로 기대한다.

    Figure

    KITS-20-3-86_F1.gif

    System Diagram

    KITS-20-3-86_F2.gif

    Stage-Specific Object Detector

    KITS-20-3-86_F3.gif

    Object classification process of YOLO

    KITS-20-3-86_F4.gif

    Comparison of the speed and accuracy of different object detectors. (GPU: Volta)

    KITS-20-3-86_F5.gif

    Camera, LiDAR calibration

    KITS-20-3-86_F6.gif

    Vision-LiDAR fusion

    KITS-20-3-86_F7.gif

    Object tracking flow chart

    KITS-20-3-86_F8.gif

    Autonomous Vehicle setup for experiment

    KITS-20-3-86_F9.gif

    Diagram for V2I communication

    KITS-20-3-86_F10.gif

    An ally nearby school

    KITS-20-3-86_F11.gif

    Urban crossroad in school zone

    KITS-20-3-86_F12.gif

    Braking distance data chart made by Korea Transportation Safety Authority

    KITS-20-3-86_F13.gif

    Approximate braking distance

    KITS-20-3-86_F14.gif

    Night time test for non-autonomous vehicle in campus

    Table

    Sensor specifications of Infra. & Autonomous Vehicle

    Accuracy of YOLOv4 in different input size

    Accuracy of Object detection part using YOLOv4 in 512 x 512 size

    The result of experiment in each case

    Reference

    1. Bento L. C. et al.(2012), “Intelligent traffic management at intersections supported by V2V and V2I communications,” 2012 15th International IEEE Conference on Intelligent Transportation Systems, pp.1495-1502.
    2. Bochkovskiy, A., Wang C. Y. and Mark Liao H. Y.(2020), “Yolov4: Optimal speed and accuracy of object detection,” arXiv preprint arXiv:2004.10934.
    3. Debeunne C. and Vivet D.(2020), “A review of visual-LiDAR fusion based simultaneous localization and mapping,” Sensors, vol. 20, no. 7, p.2068.
    4. Dickmann J. et al.(2016), “Automotive radar the key technology for autonomous driving: From detection and ranging to environmental understanding,” 2016 IEEE Radar Conference (RadarConf), IEEE.
    5. Figueroa J. F. and Lamancusa J. S.(1992), “A method for accurate detection of time of arrival: Analysis and design of an ultrasonic ranging system,” The Journal of the Acoustical Society of America, vol. 91, no. 1, pp.486-494.
    6. Hecht J.(2018), “Lidar for self-driving cars,” Optics and Photonics News, vol. 29, no. 1, pp.26-33.
    7. Hofmann U., André R. and Dickmanns E. D.(2003), “Radar and vision data fusion for hybrid adaptive cruise control on highways,” Machine Vision and Applications, vol. 14, no. 1, pp.42-49.
    8. Hussein A. et al.(2018), “ROS and Unity Based Framework for Intelligent Vehicles Control and Simulation,” 2018 IEEE International Conference on Vehicular Electronics and Safety (ICVES), pp.1-6.
    9. Iqbal, A. et al.(2017), “Design of multifunctional autonomous car using ultrasonic and infrared sensors,” 2017 International Symposium on Wireless Systems and Networks (ISWSN), IEEE.
    10. Jo J. et al.(2017), “A likelihood-based data fusion model for the integration of multiple sensor data: A case study with vision and lidar sensors,” Robot Intelligence Technology and Applications 4, pp.489-500.
    11. Jo K. et al.(2014), “Development of autonomous car—Part I: Distributed system architecture and development process,” IEEE Transactions on Industrial Electronics, vol. 61, p.12.
    12. KoROAD(2020), Statistical Analysis of Traffic Accidents, 2020 Edition, p.62.
    13. Kumar C. and Punitha R.(2020), “YOLOv3 and YOLOv4: Multiple Object Detection for Surveillance Applications,” 2020 Third International Conference on Smart Systems and Inventive Technology (ICSSIT), IEEE.
    14. Li Q. et al.(2014), “A Sensor-Fusion Drivable-Region and Lane-Detection System for Autonomous Vehicle Navigation in Challenging Road Scenarios,” IEEE Transactions on Vehicular Technology, vol. 63, no. 2, pp.540-555.
    15. Li Y. and Javier I. G.(2020), “Lidar for autonomous driving: The principles, challenges, and trends for automotive lidar and perception systems,” IEEE Signal Processing Magazine, vol. 37, no. 4, pp.50-61.
    16. Manjunath A. et al.(2018), “Radar based object detection and tracking for autonomous driving,” 2018 IEEE MTT-S International Conference on Microwaves for Intelligent Mobility (ICMIM), IEEE.
    17. Okuda R., Yuki K. and Kazuaki T.(2014), “A survey of technical trend of ADAS and autonomous driving,” Technical Papers of 2014 International Symposium on VLSI Design, Automation and Test, IEEE.
    18. Priemer C. and Friedrich B.(2009), “A decentralized adaptive traffic signal control using V2I communication data,” 2009 12th International IEEE Conference on Intelligent Transportation Systems, pp.1-6.
    19. Rakha H. and Kamalanathsharma R. K.(2011), “Eco-driving at signalized intersections using V2I communication,” 14th International IEEE Conference on Intelligent Transportation Systems (ITSC), pp.341-346.
    20. Redmon J. and Ali F.(2018), “Yolov3: An incremental improvement,” arXiv preprint arXiv:1804.02767.
    21. Redmon J. et al.(2016), “You only look once: Unified, real-time object detection,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.
    22. Sualeh M. et al.(2019), “Dynamic multi-lidar based multiple object detection and tracking,” 2019 Sensors, vol. 19, no. 1474, pp.1-20.
    23. Zhao F., Hao J. and Zongwei L.(2019), “Recent development of automotive LiDAR technology, industry and trends,” Eleventh International Conference on Digital Image Processing (ICDIP 2019), vol. 11179, International Society for Optics and Photonics.
    24. Zhao G. W. and Shin’ichi Y.(1993), “Obstacle detection by vision system for an autonomous vehicle,” 1993 Intelligent Vehicles Symposium, IV 1993, Institute of Electrical and Electronics Engineers Inc..
    25. Zhao X. et al.(2020), “Fusion of 3D LIDAR and camera data for object detection in autonomous vehicle applications,” IEEE Sensors Journal, vol. 20, no. 9, pp.4901-4913.
    26. Zhi L. et al.(2018), “Navigation and Control System of Mobile Robot Based on ROS,” 2018 IEEE 3rd Advanced Information Technology, Electronic and Automation Control Conference (IAEAC), pp.368-372.
    27. Ziebinski A. et al.(2016), “A survey of ADAS technologies for the future perspective of sensor fusion,” International Conference on Computational Collective Intelligence, Springer, Cham.

    저자소개

    Footnote