Journal Search Engine

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.18 No.3 pp.68-83
DOI : https://doi.org/10.12815/kits.2019.18.3.68

Development of Predictive Pedestrian Collision Warning Service Considering Pedestrian Characteristics

Dongho Ka*, Donghoun Lee**, Hwasoo Yeo***
*Dept. of Civil & Environment Eng, KAIST
**Center for Connected & Automated Driving Research, KOTI
***Professor, Department of Civil and Environmental Engineering, Korea Advanced Institute of Science and Technology
Corresponding author : Hwasoo Yeo, hwasoo@kaist.ac.kr
May 22, 2019 │ June 13, 2019 │ June 25, 2019

Abstract


The number of pedestrian traffic accident fatalities is three times the number of car accidents in South Korea. Serious accidents are caused especially at intersections when the vehicle turns to their right. Various pedestrian collision warning services have been developed, but they are insufficient to prevent dangerous pedestrians. In this study, P2CWS is developed to warn approaching vehicles based on the pedestrians’ characteristics. In order to evaluate the performance of the service, actual pedestrian data were collected at the intersection of Daejeon, and comparative analysis was carried out according to pedestrian characteristics. As a result, the performance analysis showed a higher accordance when the characteristics of the pedestrian is considered. Accordingly, we can conclude that identifying pedestrian characteristics in predicting the pedestrian crossing is important.



보행자 특성을 고려한 예측형 보행자 충돌 경고 서비스 개발

가 동 호*, 이 동 훈**, 여 화 수***
*주저자 : 한국과학기술원 건설 및 환경공학과 박사과정
**공저자 : 한국교통연구원 자율협력주행연구센터 부연구위원
***교신저자 : 한국과학기술원 건설 및 환경공학과 교수

초록


국내 보행자 교통사고 건당 사망자수는 차대차 사고의 3배에 달한다. 해당 사고의 약 40% 가 횡단 중 발생하며 특히 교차로에서는 차량의 우회전시 보행자-차량간 상충 가능성이 높기 에 심각한 사고를 초래할 수 있다. 이에 다양한 보행자 충돌 경고 서비스가 개발되었지만 교 차로에서 돌발적인 행동을 하는 보행자와 차량의 충돌을 막기에는 역부족이었다. 이에 본 연 구에서는 횡단 이전의 보행자들을 관찰하고 추출된 보행자의 특성을 토대로 보행자의 횡단 여부를 예측하여 접근 차량에 경고하는 예측형 보행자 충돌 경고 서비스(P2CWS, Predictive Pedestrian Collision Warning Service)를 개발하였다. 서비스 성능 평가를 위해 대전광역시 유성 구 교차로에서 실제 보행자 데이터를 수집하였고 보행자 특성(나이, 성별, 회두여부)의 유무에 따른 비교 분석을 수행하였다. 분석 결과 보행자 특성을 반영한 서비스가 반영하지 않은 서비 스보다 성능이 뛰어났으며 이로써 보행자의 횡단 여부를 예측하는데 보행자의 특성을 파악하 는 것의 중요성을 확인하게 되었다.



    Ⅰ. 서 론

    1. 연구의 배경 및 목적

    2016년 국내 보행자 사고 통계 자료를 살펴보면, 전체 교통사고 사망자 4,292명 중 보행자 사망자는 1,714 명으로 39.9%의 수치를 기록하고 있다. 이는 OECD 국가들의 보행자 사망자수 비율의 약 2배에 해당되는 값 으로 국내의 보행자 사고가 다른 국가들에 비해 높은 비중을 차지하고 있다. 국내 보행자 교통사고 건수는 전체 교통사고 건수의 약 22%를 차지하며 전체 교통사고 사망자 수는 이를 훨씬 웃도는 40%를 차지하고 있 다. 또한 2016년으로부터 이전 5년간(‘11~’16)의 보행자 교통사고 건당 사망자수는 평균 0.0375명으로 차대차 교통사고 건당 사망자수 0.012명의 약 3배에 달하는 심각성을 엿볼 수 있으며 이를 위한 대안이 필요한 전망 이다.

    보행자 사망사고의 약 40%는 횡단 중 발생하였으며 주요 원인으로는 무단 횡단 및 보행 신호를 무시한 횡단 으로 조사되었다. 특히 교차로에서 차량이 우회전시 발생하는 사고는 직진 차량에 비해 보행자와 상충1) 가능 성이 높은 것으로 나타났으며 2016년 서울시에서 일어난 보행자 사망사고 8건 중 1건이 교차로 우회전 차량에 의한 사고임이 확인되었다. 이러한 교차로 우회전 사고를 방지하고자 국내에서는 신호등에 화살표를 추가하거 나 별도 신호등을 보행자 신호등 하단에 설치하는 등의 운전자에게 추가 신호를 주는 방식 또는 레이더(Radar), 라이다(Lidar) 등 차량 장착 센서 기반의 첨단운전자지원시스템(ADAS: Advanced Driver Assistance System)을 통해 보행자와의 충돌을 방지하는 방식을 활용하고 있지만 운전자의 부주의 및 차량에 탑재된 센서의 제한된 감지 범위로 인해 우회전 시 보행자를 인식하지 못함에 따라 기능을 제대로 발휘하고 못하고 있다.

    이러한 문제와 관련하여 2017년에 한국지능형교통체계협회(ITS Korea)에서 차세대첨단교통시스템(C-ITS: Cooperative ITS)을 구축을 위한 메시지 표준안 및 그에 따른 15가지 종류의 서비스 기능안을 제시하였고, 그 중 우회전차량과 횡단보행자와의 충돌을 예방하기 위한 서비스 내용으로 I2V(Infrastructure to Vehicle) 통신 기반의 보행자 충돌방지 경고 서비스(Pedestrian Collision Warning Service)를 제시하였다. 해당 서비스는 교차 로에 개설되어 있는 카메라 등 비전센서를 기반으로 횡단보도 상의 보행자 존재 유무를 실시간으로 검지한 후 접근 차량에게 충돌위험 정보를 제공한다. 그러나 보행 신호를 위반한 채 횡단하는 보행자(Red-Light Crossing Pedestrian)가 발생 시 실시간 검지 후 충돌경고를 제공하더라도 뒤늦은 위험정보 제공으로 인해 충 돌을 회피하지 못하게 될 확률이 높다. 이에 따라 횡단 이전의 보행자의 움직임을 관찰하여 보행자의 횡단의 도를 파악하여 접근차량이 선제적으로 대응할 수 있는 차량-보행자간 충돌 방지 알고리즘 개발을 통한 현행 보행자 충돌방지 경고 서비스의 한계점 개선이 요구된다. 따라서 본 연구에서는 교차로 횡단보도에 접근하 는 보행자의 특성을 관찰하여 횡단 이전에 보행자의 횡단 의도를 예측하고 접근 차량에 잠재적 충돌경고를 제공하는 알고리즘과 실제 운영을 위한 구조를 제시함으로써 예측 기반의 선제적인 보행자 충돌방지 경고 서비스를 개발하고자 한다.

    Ⅱ. 관련 서비스 및 연구 고찰

    1. 차량 센서 기반 차량-보행자 충돌경고 서비스

    자동긴급제동시스템(AEBS: Autonomous Emergency Braking System)은 첨단운전자지원시스템의 일종으로 보행자 및 다른 장애물과의 전방추돌 상황이 감지되는 상황에서 운전자가 부주의나 반응을 하지 못하는 경 우 운전자에게 경고 및 차량의 속도를 자동으로 감속시켜주는 시스템을 말한다. 해당 시스템은 레이더와 카 메라를 통해 전방의 차량 및 보행자와의 거리를 계산해서 차량의 제동 장치를 제어하게 되는데 센서에만 의 존하여 객체를 감지하기에 센서 범위 밖에 벗어나 있거나 차량의 핸들을 돌려 조향중일 경우 자동긴급제동 시스템이 제대로 작동을 하지 못하는 경우가 발생한다. 특히 교차로에서 차량의 우회전 시 접근하는 보행자 를 감지하지 못하고 충돌하는 경우가 자주 발생하였으며 이를 방지하고자 최근 I2V 기반 보행자 충돌 경고 서비스가 등장하였다.

    2. I2V 기반의 보행자 충돌 경고 서비스

    I2V 기반의 보행자 충돌 경고 서비스는 국내외에서 활발하게 이루어지고 있다. 현재 국내에서 개발되고 있는 보행자 충돌방지 경고 서비스는 곡선부 및 교차로 등 시계불량 상황에서 차량-보행자간 충돌 위험이 발생할 경우 노변장치(RSU: Road Side Unit)에서 WAVE 무선 통신 기술을 기반으로 접근 차량의 차량 탑재 장치(OBU: On-Board Unit)로 경고 정보(RSA: Road Side Alert)를 제공한다. 보행자 감지를 위해서는 영상검지 기(CCTV) 및 객체감지센서(PIR: Pyroelectric Infrared Ray) 등을 활용하고 있으며 횡단보도 보행자의 존재 알 림은 다음의 산출 값을 기반으로 보행현시에 차량에 제공한다.

    D υ + ( T t + T d ) * V υ
    (1)

    여기서

    • Dυ = 접근 차량의 속도에 따른 최소정지시거

    • Tt, Td = 정보제공 소요시간, 보행자 검지 소요시간

    • Vυ = 접근 차량 주행속도

    하지만 해당 서비스는 횡단보도 상의 보행자 존재 여부만을 차량에 전달하게 되어 경고를 보낸 시점에는 이미 보행자와 차량이 충돌해 있을 가능성이 높은데 이를 예방하기 위해서는 횡단 상황의 보행자뿐만 아니 라 횡단 이전의 움직임을 관찰하여 보행자의 횡단 여부를 예측할 필요성이 있다. 현재 도입되고 있는 실증사 업의 I2V 기반 보행자 충돌 경고 서비스들은 보행자 검지 소요시간만 1초에서 1.5초 이상 소요되고 있어 차 량에 실시간으로 전달하기에는 어려운 실정이기에 이를 보완하고자 한다.

    3. 보행자 특성에 따른 횡단 의도 예측

    횡단 이전의 보행자는 보행 신호를 고려한 본인의 위치 및 속도, 보행자 주변 도로상에서의 차량 존재 여 부 등 다양한 요소를 고려하여 횡단 여부를 결정한다. 보행자의 성별 및 나이는 횡단하는 보행자의 속도와 가속도에 영향을 끼친다(Bartels et al., 2014). 남여 모두 25세를 기점으로 나이가 증가할수록 보행 속도가 감 소하는 경향을 보이며 보행 신호가 녹색으로 바뀐 뒤 중장년층의 남성은 평균적으로 1.83초, 여성은 남성보 다 다소 느린 2.01초 뒤에 횡단을 시작하였다. 노년 남성과 여성은 또한 평균적으로 2.39초, 2.57초 뒤에 횡단 을 시작하였으며 이를 통해 보행자의 나이와 성별에 따라 횡단 패턴에 영향을 주는 것을 확인하였다 (Knoblauch et al., 2007).

    보행자의 나이, 성별과 같은 보행자 고유의 특성뿐만 아니라 회두 여부(횡단 이전에 보행자가 고개를 돌 려 양옆에 살펴보는 행위)와 같은 보행자의 행동 특성 또한 횡단 여부를 결정하는 데 잠재적으로 큰 영향을 끼치는 요인이다(Rehder et al., 2014;Kotte et al., 2017). 보행자 특성 외에 보행 신호 및 접근 차량의 존재 여 부 등은 외부 요인 또한 보행자의 횡단 의도에 영향을 준다(Lenhoff et al.,2004; Kotte et al., 2016). 따라서 본 논문에서 성별, 나이, 회두 여부와 같은 보행자의 특성과 더불어 보행 신호 및 접근 차량의 존재 여부와 해 당 차량의 속도와 같은 보행자의 행동 패턴에 영향을 줄 수 있는 외부 요인들도 고려하여 보행자의 횡단 의 도를 예측하는 선제적인 차량-보행자간 충돌 방지 서비스를 개발하고자 한다.

    4. 보행자 감지 알고리즘

    보행자 검출하는 알고리즘은 교통 안전 분야에서 다양하게 이용되고 있으며 특히 지능형 차량 시스템 및 감시 보안 시스템 등에서 활용되고 있으며 최근 딥러닝 기반의 보행자 검출 및 추적 알고리즘이 활발하게 연구되고 있다. 보행자 검출 알고리즘은 크게 영상 데이터 픽셀간의 상관도를 계산하여 객체를 선별하는 Handcrafted 방식과 이미지를 인식하고 분류하는 특징을 스스로 찾아내는 방법인 Non-handcrafted 방식이 있 다. Handcrafted 방식의 대표적인 방법인 HOG(Histogram of Oriented Gradient)는 객체의 Gradient와 Histogram 을 추출하여 객체를 식별하였으며 보행자와 차량 등의 물체를 식별하는데 사용하였다(Dalal et al., 2005). 하 지만 HOG는 정확도는 높은 반면 연산량이 많아 실시간 처리가 어려웠으며 데이터에 따라 객체의 특징을 일 일이 선정해야 되는 불편함 때문에 최근에는 Non-handcrafted 방식이 주로 사용되고 있다. 그 중 특히 CNN(Convolutional Neural Network)이 주로 활용되고 있으며 실시간 객체 감지를 위해 CNN의 사용 횟수를 줄인 Faster R-CNN(Regional CNN)과 YOLO(You Only Look Once) 등이 연구되고 있다(Ren et al., 2017;Redmon et al., 2015). 본 연구에서는 보행자 감지에 걸리는 소요시간을 줄여 실시간으로 보행자를 감지하고 자 YOLO ver 3.0 알고리즘을 활용하였다. Table 1

    Ⅲ. 예측형 보행자 충돌 경고 서비스

    본 연구에서 제안하고자 하는 서비스는 우회전 교차로에서 횡단 이전 보행자의 움직임을 관찰하여 선제 적으로 차량-보행자간 충돌을 방지할 서비스를 고안한 것으로 해당 서비스를 본 논문에서는 예측형 보행자 충돌 경고 서비스(P2CWS: Predictive Pedestrian Collision Warning Service)로 명명하고자 한다.

    1. 예측형 보행자 충돌 경고 서비스(P2CWS) 구조

    예측형 보행자 충돌 경고 서비스(P2CWS)는 횡단 이전의 보행자의 특성을 관찰한 후 보행자의 횡단 여부 를 예측하여 차량에 경고를 하는 서비스로써 그림<Fig. 1>과 같이 나타낼 수 있다. 우선, 횡단보도에 접근하 는 보행자는 기설치된 교차로의 카메라를 통해 감지되며 보행자의 특성(위치, 속도, 나이, 성별, 회두여부 등) 을 0.1초마다 추출하게 된다. 추출된 보행자의 특성과 교차로에 접근하는 우회전 차량 탑재장치(OBU: On-Board Unit)로부터 노변장치(RSU: Road-Side Unit)로 전송된 C-ITS의 Probe Vehicle Data (PVD) 기반의 차 량 위치 및 속도를 토대로 위험 보행자를 분류하고 차량이 횡단보도에 접근하기 1.5초 이전에 위험 정보를 차량에 전송함으로써 차량-보행자간 충돌을 미연에 방지하게 된다. 해당 서비스의 데이터 흐름은 아래 그림 <Fig. 2>과 같다.

    P2CWS의 위험 보행자 예측 알고리즘은 교차로의 RSU에서 기능을 수행하며 분류된 위험 보행자 정보는 무선 통신 기술을 기반으로 접근 차량에 경고 정보를 제공한다. 또한 예측 알고리즘은 축적된 보행자 데이터 를 활용한 기계 학습(Machine Learnig) 기법 및 보행자 감지 알고리즘이 업데이트됨에 따라 C-ITS Center에서 해당 기능을 업데이트하게 된다.

    P2CWS에 활용되는 무선 통신 기술이 완전히 구현되려면 통신의 지연시간(Latency), 효율성(Efficiency), 안 정성(Reliability) 등 많은 부분들이 해결되어야 하지만 본 연구에서는 통신관련 이슈보다 기계 학습 기반의 선제적인 보행자 충돌 경고 서비스에 초점을 맞추고자 P2CWS에 사용되는 통신은 수용 가능한 지연시간과 정확도로 전달된다는 것을 전제로 한다.

    2. 보행자 데이터 수집

    P2CWS의 위험 보행자 예측 알고리즘의 학습을 위해서는 우회전 교차로에서 횡단하는 실제 보행자 데이 터가 필요하다. 보행자의 존재 여부를 감지할 뿐만 아니라 보행자의 위치, 속도, 나이, 성별, 회두 여부, 접근 차량의 위치 등을 동시에 추출해야 하기에 다음 그림 <Fig. 3> 일련의 과정들을 실제 수행하였다. 촬영 지점 은 대전광역시 유성구 계룡로 47번지에 위치한 우회전 교차로 횡단 지점으로 10fps의 프레임 속도와 1024*720의 해상도로 촬영하였다.

    1) 카메라 보정 (Camera Calibration)

    카메라 이미지는 3차원 공간상의 점들을 2차원 이미지 평면상에 투영함으로써 얻어진다. 투영된 이미지는 일반적으로 카메라 위치, 방향, 특히 카메라의 고유 파라미터에 의해 영향을 받게 되는데 카메라의 변수 (parameter)를 활용해 보정함으로써 더욱 정확한 물체의 위치를 식별할 수 있게 된다.

    s [ u υ 1 ] = [ f x s k e w c f x c x 0 f y c y 0 0 1 ] [ r 11 r 12 r 13 t 1 r 21 r 22 r 23 t 2 r 31 r 32 r 33 t 3 ] [ X Y Z 1 ] = I [ R | t ] [ X Y Z 1 ]
    (2)

    여기서,

    • ( u , υ ) , ( X , Y , Z ) = 이미지 상의 한 점, 국제 좌표계(world coordinate system)의 점

    • ( f x , f y ) , ( c x , c y ) , s k e w c f x = 초점거리(focal length), 주점(principal point), 왜도 계수(skew coefficient)

    • r i j ( i , j = 1 , 2 , 3 ) , t i ( i = 1 , 2 , 3 ) = 회전 변수(rotation variable), 변환 변수(translation variable)

    • I = intrinsic parameter of camera , [ R | t ] = extrinsic parameter of camera

    2) 객체 감지 (Object Detection) 및 객체 추적 (Object Tracking)

    보행자 감지를 실시간으로 수행하기 위해서 본 연구에서는 YOLO 알고리즘을 활용하였다. YOLO는 각 이미 지를 S*S개의 그리드(grid)로 분할하고 객체 포함 여부를 계산하고자 객체 클래스 점수(class specific confidence score)를 계산하게 된다. 해당 점수는 신뢰도 점수(confidence score)와 신뢰도 확률(confidence class probability)점 수를 곱하여 얻게 되며 해당 식은 아래와 같다. 만약 셀에 물체가 존재하지 않는다면 신뢰도 점수는 0이 된다. 해당 결과로 이미지 내에 존재하는 객체가 감지되고 분류 과정을 통해 객체가 분류된다.

    여기서,

    • CSCS = 객체 클래스 점수(class specific confidence score)

    • CCP = 신뢰도 확률(confidence class probability)

    C S C S = C C P * C S = P ( c l a s s i | O b j e c t ) * P ( O b j e c t ) * I O U t r u t h p r e d
    (3)

    • CS = 신뢰도 점수(confidence score)

    • IOU = 실제 바운딩 박스와 예측 박스와의 교집합(Intersection Over Union)

    보행자와 차량을 YOLO 알고리즘을 통해 감지한 이후에는 객체의 위치 및 속도를 추출하기 위해 해당 객 체를 추적해야 한다. 본 연구에서는 객체 추적을 위해 2016 MOT(Multiple Object Tracking) Challenge에서 뛰 어난 성능을 보인 DBT(Detection-Based Tracking) 기반의 Simple Online and Real-time Tracking(SORT) 알고리 즘을 사용하였다. SORT는 촬영된 각각의 이미지에서 감지된 객체의 특징(feature)을 CNN을 통해 추출한 뒤 객체 중심 좌표(u,v), 화면 비율(γ), 높이(h), 각 이미지 프레임에서의 객체의 움직임에 따른 속도(x,y)를 기반 으로 다음 객체를 추적하게 된다(Wojke et al., 2018). 객체의 이후 상태를 추정할 때 표준 칼만 필터를 활용 하며 추정된 객체와 실제 감지된 객체의 association cost matrix가 최소화되는 방향으로 객체를 추적한다.

    3) 투영 변환(Projective Transformation)을 통한 객체 위치 추출

    감지된 객체의 위치와 속도를 추출하기 위해서는 영상 내 객체의 위치를 정사영을 통해 변환해야 한다. 이러한 작업을 투영 변환 (Homography = Projective Transformation)이라고 하며 아래의 변환 과정을 거쳐야 한다. 영상 내의 모든 픽셀 좌표는 아래의 변환 과정으로 얻게 된 Homography(h)값을 통해 실제 좌표로 변 환이 되며 본 연구에서는 10쌍의 점을 사용하여 h값을 도출하였다.

    A h = [ 0 0 0 X 1 Y 2 1 υ 1 X 1 υ 1 Y 1 υ 1 X 1 Y 1 1 0 0 0 u 1 X 1 u 1 Y 1 u 1 0 0 0 X 2 Y 2 1 υ 2 X 2 υ 2 Y 2 υ 2 X 2 Y 2 1 0 0 0 u 2 X 2 u 2 Y 2 u 2 ] = [ h 1 h 2 h 3 h 4 h 5 h 10 ] = [ 0 0
    (4)

    여기서

    • ( u i , υ i , 1 ) , ( X i , Y i , 1 ) ( i = 1 , 2 , 3 , 10 ) = 영상 좌표계의 점, 국제 좌표계의 점

    4) 보행 신호 감지 및 보행자 특성 추출

    보행자 신호가 녹색일 경우에는 보행자가 횡단보도를 건너는 것이 허용이 되며 빨간 색일 경우 횡단이 허 용되지 않는다. 이처럼 횡단보도를 건너기 전 보행자의 행동은 보행자의 신호에 따라 각기 다른 형태를 보이 게 되므로 횡단 이전 보행자의 행동 특성을 예측하는 데 중요한 요인이 된다. 따라서 촬영된 영상 내의 신호 등의 RGB 값을 인식하여 보행 신호를 자동으로 검출되게 하였으며 그 외 보행자의 나이, 성별, 회두 여부와 같은 보행자 특성들도 자동으로 추출하였다(Flohr et al., 2014; Xiao Wang et al., 2019).

    3. 위험 보행자 예측 알고리즘

    횡단보도에서의 보행자 행동은 보행 신호, 접근하는 차량의 위치 및 속도, 보행자 군집 정보, 나이 성별 등 다양한 특성 및 환경에 영향을 받는다. 따라서 보행자의 행동을 예측하는 데 모수적 접근(Parametric Approach)보다는 비모수적 접근(Non-parametric Approach)이 더 효율적이라고 판단하여 P2CWS의 위험 보행자 예측 알고리즘에는 비모수적 접근법을 활용하였다. 비모수적 접근 모델은 데이터가 어떠한 확률 분포를 따 른다고 가정하지 않으며 실제 현상과 다수 데이터간의 관계를 찾는 방법으로써 기계 학습이 대표적이다.

    P2CWS는 기계학습을 기반으로 잠재적인 차량과 보행자간의 충돌을 예측하고 충돌경고 제공시점을 결정한 다. 여기서 활용된 기계학습 모델들은 Support Vector Machine(SVM), Single Hidden Layered Perception Neural Network(SHL), Two Hidden Layered Perception Neural Network(THL), Radial Basis Function Neural Network(RBF) 이며 그림 <Fig. 4>는 해당 모델들의 구조를 나타내고 있다.

    각 기계 학습의 입력층(Input Layer)에는 보행자의 x,y 좌표, 속도 가속도, 나이, 성별, 회두 여부, 보행 신 호, 교차로에 접근하는 차량의 위치 및 속도를 포함하여 11개의 변수를 입력 뉴런(Input Neuron)으로 배치하 였고 출력층(Output Layer)에는 보행 신호를 위반한 채 횡단하는 보행자가 예측되면 경고를 주도록 하였다. P2CWS는 실시간으로 수집된 정보를 바탕으로 빠른 시간 내에 충돌 상황을 예측하고 경고를 전달하게 되는 데 운전자가 위험시 회피 조치를 취하도록 충분한 시간을 제공하고자 1.5초 전에 미리 경고하는 것을 기본 설정 값으로 설정하였다.

    1) Support Vector Machine (SVM)

    SVM은 주어진 데이터 집합을 토대로 새로 유입되는 데이터가 어떤 부류(class)에 속할지 판단하는 분류 모델로써 Support Vector를 분할하는 최적의 초평면(hyperplane)을 활용해 데이터 클래스 간의 폭(Margin)을 최대화 하는 방법이며, 개발 알고리즘에 적용한 SVM은 전형적인 방법과 동일하고 그 목적 함수는 다음과 같이 표현할 수 있다.

    min 1 2 w T w + C i = 1 P ξ i , s . t . y i ( w T K i ( x i ) + b ) 1 ξ i and ξ i 0 , i = 1 , P .
    (5)

    여기서

    • w = 가중 벡터(weight vector)

    • C = 비용 계수(cost coefficient)

    • P = 샘플 개수

    • ξi = i의 부가 변수(slack variable)

    • yi = i의 이진 분류(binary class)

    • Ki = i의 커널 함수

    • xi = i의 입력변수

    • b = 편향 상수(bias)

    2) Single and Two Hidden Layered Perception Neural Network (SHL and THL)

    SHL과 THL은 다층퍼셉트론에서 전통적으로 사용하는 방법과 동일하게 역전파(backpropagation) 알고리즘 을 통해 가중치학습을 수행하며, 가중치학습 가속화를 위해 다음과 같이 모멘텀 방법(Momentum Method)를 활용한다.

    Δ w ( t ) = η Δ E ( t ) + α Δ w ( t 1 )
    (6)

    여기서

    • Δw(t) = t번째 가중치 변화량

    • η = 학습률(learning rate)

    • E(t) = t번째 실제 값과 추정 값의 오차

    • α = 모멘텀 계수(momentum coefficient)

    3) Radial Basis Function Neural Network (RBF)

    전형적으로 역전파 알고리즘을 통해 단층의 은닉층(hidden layer)에 radial basis function의 centroid와 width 를 학습시키는 RBF와 달리 본 연구에서는 이보다 빠른 학습과 정확도를 나타내는 Extreme Learning Machine(ELM)을 활용해 RBF 학습모델로 사용했으며, 그 학습 방법은 다음과 같다.

    Y ( c J , σ J , x p ) β ^ T = min β Y ( c J , σ J , x p ) β T
    (7)

    여기서

    • cJ = J집합(J=1,2,...,j)의 radial basis 활성함수의 중심(center)

    • σJ = J집합(J=1,2,...,j)의 radial basis 활성함수의 폭(width)

    • xp = P집합 학습데이터세트

    • Y = 은닉층의 출력 행렬(output matrix)

    • β = 출력층과의 연결 행렬(weight matrix connecting to the output layer)

    • T = xp 별 학습 값

    • β ^ = 최소오차를 만족하는 출력층과의 연결 행렬

    Ⅳ. 성능 평가

    1. 데이터 및 평가 방법

    보행자 데이터 수집 과정을 통해 총 390명의 보행자를 관찰하였고 0.1초 간격으로 다음 변수들을 추출하 였다. 보행자의 위치(x,y), 속도, 가속도, 회두 여부, 나이, 성별, 보행 신호, 접근 차량의 위치 및 속도가 추출 한 11가지 변수로써 모든 변수는 데이터 수집 과정에서 자동으로 추출되었으며 나이, 성별, 회부 여부는 촬 영된 낮은 해상도의 영상으로 인해 해당 특성을 제대로 추출하지 못하는 경우가 빈번하여 각 보행자의 특성 을 수동으로 일일이 보정하였다. Table 2

    추출된 390명의 데이터 중에서 20명의 보행자가 보행 신호를 위반한 채 횡단하였으며 위험 보행자 예측 알 고리즘에 학습시키기에 위험 보행자 데이터가 정상 보행자에 비해 상대적으로 적어 370명의 보행자 중 대표적 인 보행자 82명을 선택하였고 총 102명의 보행자 데이터를 활용하여 성능 평가를 진행하였다. 성능 평가는 P2CWS의 충돌경고 제공시점이 제때 이루어졌는지는 오차 행렬(Confusion Matrix)로 평가하였다. 오차 행렬은 테스트 데이터(test data)에 대한 분류의 성능을 평가하는 행렬로써 True Positive(TP), True Negative(TN), False Positive(FP), False Negative(FN)으로 이루어져 있다. TP는 P2CWS의 충돌 경고가 실제 위험한 상황에 제공된 것이며 TN은 위험하지 않은 상황에서는 충돌 경고를 제공하지 않은 것을 의미한다. 이와 반대로 FP와 FN은 충돌경고가 제대로 작동이 되지 않은 것이기에 잘못된 경고를 의미한다. Table 3

    오차 행렬의 값을 기반으로 ROC(Receiver Operating Characteristic) 분석도 수행하였다. ROC 분석은 TP(=민 감도, Sensitivity)와 TN(=특이도, Specificity)의 값을 동시에 보여주는 그래프로써 X축에 TP (1-TN), Y축에 TP 의 비를 의미한다. ROC 분석에서 곡선의 아래 면적은 AUC(Area Under the Curve)라 불리며 시스템의 성능을 나타내는 지표로써 AUC(0~1) 값이 클수록 좋은 성능을 가지고 있음을 의미한다(Bradley et al., 1997).

    2. 네트워크 구성 (Network Structure)

    3장에서 언급했듯이 P2CWS는 SVM, SHL, THL 그리고 RBF 의 기계학습 모델을 사용하여 위험 보행자를 예측한다. 다양한 모델을 사용하고 있기에 공정한 비교를 위해서는 각 모델의 최적의 네트워크 구조를 식별 하는 과정이 선행되어야 하며 본 연구에서는 유전 알고리즘(Genetic Algorithm)을 활용하여 해당 과정을 진행 하였다. 유전 알고리즘에 사용된 변수는 다음과 같다.

    유전 알고리즘 결과로 나온 <Table 4>와 같으며 각각의 은닉층에서 SHL은 34개, THL은 26, 24개, RBF는 873개의 은닉 뉴런(Hidden Neuron)일 때가 최적의 네트워크 구조인 것을 확인하였고 해당 네트워크 구성을 기반으로 비교 분석을 실시하였다.

    3. 비교 분석 (Comparison Analysis)

    기존 C-ITS의 보행자 충돌 경고 서비스는 보행자 및 차량의 위치 및 속도에만 의존하여 서비스를 제공하였 다. 하지만 본 연구에서는 보행자의 특성에 따른 보행자의 횡단 여부를 예측하고 보행자의 특성의 유무에 따 른 비교 분석을 실시하고자 한다. 앞서 언급한 11가지의 모든 변수들로 기반으로 경고하는 서비스를 P2CWS 라 하고 보행자의 특성(나이, 성별, 회두여부)를 포함하지 않은 서비스를 P2CWS_wpc(without pedestrian characteristics)라 했을 때 <Fig. 5>은 각 기계학습 모델에 따른 두 가지 서비스의 ROC 비교 그래프와 AUC 값을 보여준다. 두 서비스 모두 각 모델별 AUC 값이 평균적으로 0.8 이상을 보였기에 우수한 성능을 가짐을 확인할 수 있다. 또한 ROC 그래프에서 파란색 선은 P2CWS_wpc, 빨간색 선은 P2CWS를 나타내는데 빨간색 선이 파란 색 선보다 ROC 공간의 왼쪽 위 모서리에 가까운 것으로 보아 P2CWS가 P2CWS_wpc보다 더 좋은 성능을 가지 고 있음을 나타내며 AUC 결과 값들이 이를 뒷받침해주고 있다.

    여기서 위의 성능 비교 평가가 우연히 P2CWS의 AUC 결과값이 높게 나올 수 있는 점을 감안하여 시뮬레 이션을 500회 시행하였으며 그에 따른 결과는 그림 <Fig. 6>와 같다. 그림 <Fig. 6>은 500번을 시행한 결과 나온 AUC 결과값들의 중앙값(Median)을 나타내며 해당 그래프에서도 P2CWS가 P2CWS_wpc보다 더 좋은 성 능을 보임을 재확인할 수 있다. 즉, 보행자의 횡단 의도를 예측할 때 보행자의 특성을 파악하는 것이 서비스 의 좋은 성능을 이끌어내는 데 주요함을 알 수 있다.

    또한 운전자의 반응 시간이 운전자의 나이 및 운전 특성에 따라 다양하기에 차량의 제동 거리가 달라질 수 있다.(Lee et al., 2015) 예를 들어 반응 시간이 느린 운전자는 빠른 운전자보다 감속 조치를 취하는 데 더 많은 시간이 필요하기에 P2CWS에서도 경고를 주는 시점을 다양하게 고려할 필요성이 있다. 이에 본 연구에 서도 경고 시점(warning timing)을 1.5초 이전에 주는 것 뿐만 아니라 2초까지 0.1초 단위로 확장하면서 서비 스의 성능을 재평가하였고 결과는 그림 <Fig. 7>과 같다.

    P2CWS의 경고 시점을 2초까지 확장함에 따라 각 기계학습 모델의 AUC 결과값이 낮아지는 것을 확인할 수 있다. 이로써 보행자의 횡단 여부는 보행자가 횡단보도에 다다를 때의 행동이 큰 영향을 끼치는 것을 의 미하며 경고의 정확성과 경고 시점은 트레이드 오프(trade-off) 관계가 있음을 보여준다. 그리고 일부 운전자 에게는 해당 경고 시점이 이르다고 느낄 수 있기에 운전자 선호도에 따라 최적의 경고 시점에 경고를 알리 는 것이 P2CWS의 성능 향상에 기여할 것이다.

    Ⅴ. 결 론

    교차로에서의 차량-보행자간 충돌을 방지하기 위한 서비스는 기술이 진보함에 따라 교차로 신호등에 화살 표를 추가하는 방법으로부터 센서 기반의 자동긴급제동시스템(AEBS)을 활용해 차량이 전방의 보행자와 충 돌 예상시 자동으로 감속하는 시스템까지 다양한 변화를 겪고 있다. 하지만 보행자가 센서의 범위 밖에 있을 때는 자동긴급제동시스템이 제대로 작동되지 않는 경우가 많으며, 특히 도심부 교차로 상의 회전차량의 경 우 크고 넓은 건물, 복잡한 기하구조 및 다양한 이동객체 등으로 인해 시계불량이 나타나 보행자와의 충돌을 예방하는데 한계가 있다. 이를 위해 최근 C-ITS 사업 및 기능안 제시를 통해 I2V 통신 기반으로 횡단보도 상 의 보행자와의 충돌위험 정보를 우회전 차량에게 제공하는 서비스를 개발하였지만 해당 서비스 또한 횡단 보도상의 보행자 존재 여부만을 제공함에 따라 보행신호를 위반한 채 횡단하는 횡단보행자가 있는 경우 짧 은 제동거리로 인해 보행자와의 충돌을 회피하지 못하게 될 가능성이 매우 높다.

    본 연구에서는 현 보행자 충돌 경고 서비스의 문제점을 파악하고 사고 상황을 미리 예측하고 경고하는 서비스를 개발하고자 보행자의 행동 특성을 반영한 예측형 보행자 충돌 경고 서비스(P2CWS)를 제안하였다. P2CWS는 기설치된 교차로의 카메라를 통해 횡단보도에 접근하는 보행자의 특성을 영상 처리 기술로 0.1초 마다 추출한다. 추출된 보행자의 특성과 교차로에 접근하는 우회전 차량 탑재장치(OBU: On-Board Unit)로부 터 노변장치로 전송된 C-ITS의 PV 기반의 차량 위치 및 속도를 토대로 위험 보행자를 분류하고 차량이 횡단 보도에 접근하기 1.5초 이전에 위험 정보를 차량에 전송함으로써 차량-보행자간 충돌을 미연에 방지한다.

    P2CWS의 성능을 검증하고자 대전광역시 유성구의 우회전 교차로에서 영상 처리 기술을 활용하여 보행자 데이터를 추출하였으며 수집된 390명의 보행자 중 102명의 보행자 데이터로 위험 보행자 예측 알고리즘의 성능 평가를 실시하였다. 보행자의 특성에 따른 횡단 여부를 예측하는 데에 SVM, SHL, THL, RBF의 다양한 기계 학습 모델을 활용하였으며 보행자의 특성 중 특히 보행자의 회두 여부에 따른 모델의 성능을 비교 분 석하였다.

    보행자의 특성을 포함하고 포함하지 않은 두 서비스(수정 요망) 모두 AUC 값들이 0.8 이상을 보임으로써 제안한 서비스가 보행 신호를 위반하는 위험 보행자를 검출하여 사고를 예방하는 데 우수한 성능을 가지는 것을 확인하였다. 그리고 보행자의 특성을 포함한 서비스(P2CWS)가 포함하지 않은 서비스(P2CWS_wpc)보다 더 좋은 성능을 보였는데 이로써 보행자의 횡단 의도를 예측할 때 보행자의 특성을 판단하는 것이 매우 중 요함을 알 수 있었다. 마지막으로 P2CWS의 경고 시점을 1.5초에서 2초까지 확장하였을 때 AUC 값이 낮아 지는 경향을 토대로 서비스 경고의 정확성(accuracy)과 경고 시점(warning timing)은 트레이드 오프(trade-off) 관계가 있음을 확인하였다.

    연구 진행 과정에서 도출된 한계점과 향후 고려해야 될 연구 주제는 다음과 같다. P2CWS는 I2V 기반의 통신을 이용하여 차량에게 위험 정보를 전달하고 있다. 하지만 보행자는 안전 측면에서 차량보다 우선 순위 가 높아야 하기 때문에 보행자에게 위험 차량의 존재 여부를 전달하는 서비스도 존재해야 한다. 또한 향후 연구로 어린이, 노인, 장애인 등 사고에 취약한 그룹과 그렇지 않은 그룹을 나누어 결과를 도출하거나 깜빡 이는 녹색(flashing green) 신호를 보행 신호에 추가하는 등의 새로운 변수로 결과를 도출할 필요가 있다. 마 지막으로 서비스의 신뢰성을 높이고자 더 많은 수의 보행자 데이터를 추출해야 하며 서비스를 실제 적용을 위해서 다양한 교차로 지형 혹은 교통 시나리오상에서의 결과를 비교·분석할 필요가 있다.

    ACKNOWLEDGEMENTS

    본 연구는 국토교통부 교통물류연구사업의 연구비지원(19TLRP-B146733-02)에 의해 수행되었습니다.

    Figure

    ITS-18-3-68_F1.gif

    P2CWS configuration concept

    ITS-18-3-68_F2.gif

    P2CWS‘s data flow

    ITS-18-3-68_F3.gif

    Pedestrian data collection process

    ITS-18-3-68_F4.gif

    Structure of each machine learning model

    ITS-18-3-68_F5.gif

    ROC curve & AUC value of each model

    ITS-18-3-68_F6.gif

    Median AUC value (# of episode = 500)

    ITS-18-3-68_F7.gif

    Median AUC values for warning timing

    Table

    Pedestrian Traffic Accident Trend(‘11~16) (Unit: person, %)

    Confusion Matrix

    Genetic Algorithm-based approach for parameter settings

    Optimal structures of the models used in prediction algorithm

    Reference

    1. Bradley A. (1997), “The Use of the Area under the ROC Curve in the Evaluation of Machine Learning Algorithms,” Pattern Recognition, vol. 30, no. 7, pp.1145-1159.
    2. Dalal N. and Triggs W. (2004), “Histograms of Oriented Gradients for Human Detection,” 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition CVPR05, vol. 1, no. 3, pp.886-893.
    3. Flohr F. , Dumitru-Guzu M. , Kooij J. F. P. and Gavrila D. M. (2014), “A Probabilistic Framework for Joint Pedestrian Head and Body Orientation Estimation,” Proceedings of the IEEE Intelligent Vehicles Symposium, vol. 16, no. 4, pp.617-622.
    4. Gandomi A. H. , Yang X. S. and Alavi A. H. (2013), “Cuckoo Search Algorithm: A Metaheuristic Approach to Solve Structural Optimization Problems,” Engineering with Computers, vol. 29, no. 1, pp.17-35.
    5. Intelligent Transport Society of Korea (2017), Next Generation ITS Service Standard Part 1. Features and Performance Requirements, p.57.
    6. Kongsorot Y. and Horata P. (2014), “Multi-Label Classification with Extreme Learning Machine,” In Proceedings of the 6th International Conference on Knowledge and Smart Technology (KST), pp.81-86.
    7. Kotte J. , Schmeichel C. , Zlocki A. , Gathmann H. and Eckstein L. (2017), “Concept of an Enhanced V2X Pedestrian Collision Avoidance System with a Cost Function-Based Pedestrian Model,” Traffic Injury Prevention, vol. 18, pp.S37-S43.
    8. Lee D. and Yeo H. (2015), “A Study on the Rear-End Collision Warning System by Considering Different Perception Reaction Time using Multi-Layer Perceptron Neural Network,” IEEE Intelligent Vehicles Symposium, pp.24-30.
    9. Redmon J. , Divvala S. , Girshick R. and Farhadi A. (2015), “You Only Look Once: Unified, Real-Time Object Detection,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV.
    10. Rehder E. , Kloeden H. and Stiller C. (2014), “Head Detection and Orientation Estimation for Pedestrian Safety,” 2014 IEEE International Conference on Intelligent Transportation Systems, Qingdao, China, pp.2292-2297.
    11. Ren S. , He K. , Girshick R. and Sun J. (2017), “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 6, pp.1137-1149.
    12. Traffic Accident Analysis System in Korea(2019.05.01) Statistics of Traffic Accident, http://taas.koroad.or.kr
    13. Wojke N. , Bewley A. and Paulus D. (2018), “Simple Online and Realtime Tracking with a Deep Association Metric,” 2018 International Conference on Image Processing, pp.3645-3649.
    14. Ze˛bala J. , Cie˛pka P. and Reza A. (2012) ., “Pedestrian Acceleration and Speeds,” Problems of Forensic Sciences, vol. 91, pp.227-234.
    15. Zhu Q. Y. , Qin A. K. , Suganthan P. N. and (2005), “Bin Huang. Evolutionary Extreme Learning Machine,” Pattern Recognition, vol. 38, no. 10, pp.1759-1763.

    저자소개

    Footnote

    • 상충 : 두 통행 주체가 방향을 바꾸거나 진행속도를 낮추지 않으면 충돌할 수 있는 상황을 지칭. 사고 위험을 설명하는 지표로 사용되며 상충 수가 많을수록 사고위험도가 높음.