Ⅰ. 서 론

1. 연구 배경

TAAS 교통사고 분석 시스템(사이버 경찰청, 도로교통공단)의 2017년 통계 자료에 따르면 <Fig. 1>과 같이 전체 교통사고 사망자 중 40%인 1,675명의 보행자가 사망자로 집계되었다(TAAS, 2017). 이렇듯 교통사고 발 생 시 보행자 교통사고는 가장 많은 사망자가 발생되는 고 위험군의 사고로 볼 수 있다. 보행자 교통사고는 차량 운전자가 평소에 주의를 기울인다 하여도, 순간적인 판단 착오나 실수에서 비롯되는 경우가 많다. 이외 에도 보행자가 차량이 오는 것을 인지하지 못하거나, 노인이나 어린이가 유효 신호 내 횡단하지 못하는 경우 에도 빈번히 발생된다. 이러한 위험성에도 불구하고 현재 국내에 보행자 사고 예방 방지를 위한 인프라 시스 템은 부족한 상태이다. 국내의 대표적인 지능형 교통시스템 체계인 ITS의 경우 V2I(vehicle to Infra)를 기반으 로 하고 있으며, 도시 내외의 원활한 교통흐름을 위해 차량 내 GPS를 기반으로 한 교통정보 수집과 배포를 주목적으로 하고 있다. 세부적으로는 CCTV 정보와 도로의 돌발정보 상황 등을 차량으로 전달하지만 직접적 인 위험 요소 탐지를 통한 정보 전달이 아닌 차량 운전자 또는 관리자에 의해 생성된 정보 전달로서 지능적 인 위험상황 탐지와 실시간 정보 전달에는 부족함이 있다. 특히 보행량이 적은 밤 시간대 또는 시야가 확보 되지 못하는 기상상황에선 운전자가 위험상황에 대응하기 어려운 점이 있고, 굽은 코너를 길게 빠져나갈 경 우 코너 탈출 구간에선 위험상황에 대한 대응을 하기 어렵다.

2. 연구 목적

기존의 보행자 탐지 관련 연구의 경우 정지 영상 분류를 기반으로 탐지율 자체에 대한 연구적인 성과 측 면만 강조되고 실효성 있는 실시간 객체 탐지와 국내 교통 시스템 체계 연계에 대한 연구가 부족한 측면이 있다.(Kim et al., 2016;Lee and Shin, 2018;Kim et al., 2018) 본 연구에서는 지능형 교통시스템 체계에 호환 및 연계가 가능한 실시간 보행자 탐지 및 차량 내 경보 전송 시스템에 대한 연구를 목적으로 하였으며, 국내 ITS 체계 중 UTIS를 모델로 한 연계 시스템 구현 및 프로토콜 연동 시나리오를 구성하고자 하였다. 특히 시 스템 적용에 있어 제한적인 환경에서의 시스템으로 가정하여. 모든 시스템 구성 요소를 임베디드 시스템 기 반으로 설계하고 구현하였다. 특히 임베디드 시스템에서의 최적화된 실시간 보행자 탐지를 위해 자체적인 인공신경망 네트워크를 구현하였다.

3. 연구 방법

본 연구는 ITS 구축 체계의 무선통신 환경을 모델링하여 이더넷 기반의 무선 AP를 통한 단말 장치들의 다자간 신호전달 체계를 구축하였다. 딥러닝을 통한 지능형 보행자 탐지에 있어 실시간 영상 탐지에 따른 객 체 분류를 목표로 하였기 때문에 적용 가능한 카메라 센서에 대해서 모두 실험해보는 것을 목표로 하였다.

본 연구의 시스템 구현에 있어 주요 구성 부분인 지능형 보행자 탐지를 위한 영상인식에서, 효율적인 인 식률을 보이는 YOLO 알고리즘을 사용하였다. YOLO에서 제안하는 인공신경망 네트워크를 변경 수정하여 임베디드 기반에서의 효율성 높은 인공 신경망 모델을 구성하기 위해 기존 신경망 모델과 새로운 신경망 모 델의 학습을 각각 진행하였다. 총 10 가지 이상의 새로운 모델을 구성하는 것을 목표로 하였으며, 이중 4가지 자체 모델의 학습 데이터를 정리하였다. 세부적으로는 인공신경망 네트워크 학습을 위해 ImageNet 데이터 베이스에서 보행자, 유모차, 자전거 운전자 이미지 등을 선정하였고 보행자 이미지는 추가로 INRIA Person 데이터셋에서 제공하는 이미지 일부를 선정하여 이용하였다. 이외 UTIS 구성 체계를 모델링하기 위해 RSE 서버와 신호등 시스템, 차량 내 OBE 단말 장치 등을 무선랜 프로세스를 기반으로 구성 및 프로그래밍하였 다. <Fig. 2>는 전체 시스템 구성도를 보여준다.

Ⅱ. 관련 이론 및 연구고찰

1. 보행자 탐지 기술

보행자 탐지에 있어 가장 기본적인 방법론이 된 <Fig. 3>의 HOG 시스템의 경우 어떤 물체 영상이 갖는 지역적인 분포 특성을 추출하여 물체를 식별하게 된다. 보행자뿐만 아니라 승용차, 트럭 등 다양한 물체 탐 지에 적용할 수 있다. 가장 중요한 특징은 에지의 양과 방향을 구분하는 특성을 가지고 있다. 또한, 오버랩을 이용하여 계산하기 때문에 어느 정도 변화에도 적응할 수 있는 능력이 있다. 마치 Haar-like가 영역으로 특징 을 구하기 때문에 잡음에 둔감한 것과 같이 HOG의 오버랩의 이유는 어느 정도의 변화를 받아들일 수 있다 는 것이다. 현재 OpenCV에 포함되어 기본적인 객체 탐지 기술로서 활용되고 있다(Dalal and Triggs, 2005).

2. YOLO(You Only Look Once)

YOLO는 각 이미지를 SxS 개의 그리드로 분할하고 그리드의 신뢰도를 확률로 계산한다. <Fig. 4>를 보면 처음에는 해당 객체 인식과는 동떨어진 경계 박스가 지정되지만, 신뢰도에 따른 확률을 계산하여 경계영역 의 박스 위치를 조정함으로써, 가장 높은 객체 인식 정확성을 가지는 경계 박스를 얻을 수 있다. 각 그리드 에 객체 포함 여부를 계산하기 위해, 객체 클래스의 점수를 계산하게 된다. 이후 총 SxSxN 개의 객체가 예측 된다. 신뢰도를 높이기 위해 주변의 그리드 셀을 합칠 수 있으며 임계값을 설정해 불필요한 부분을 제거할 수 있다. 이렇듯 YOLO의 이미지 인식 과정은 이미지 영역을 분할하여 한 번에 처리하는 방식으로 객체에 대한 판단이 빠르고 간단하여 속도가 매우 빠르다. 기존의 다른 실시간 인식 시스템 들과 비교 시 높은 평균 정확도(mAP)를 보이며, 반면 작은 객체와 중복된 객체에 대해서는 상대적으로 낮은 정확도를 보인다 (Darknet, 2016).

Ⅲ. 보행자 탐지

1. 보행자 탐지를 위한 데이터 수집

데이터 셋을 생성하기 위해서 먼저 학습 이미지 선정을 해야 하는데 학습에 적합한 이미지 산출을 위해 표준화 이미지를 제공하는 ImageNet 데이터 베이스에서 보행자, 유모차, 자전거 운전자 이미지 등을 총 620 개를 선정하였고 보행자 이미지는 추가로 INRIA Person 데이터셋에서 제공하는 이미지 170개를 선정하여 이 용하였다(Krizhevsky et al., 2012). <Fig. 5>에서 볼 수 있듯이 이중 학습에 선정한 이미지는 보행자 이미지 240개, 유모차, 자전거 운전자 이미지 각각 120개씩을 선정하여 총 480개의 이미지를 학습을 위한 데이터로 선정하였고, 그중 테스트를 위해 학습에 이용한 이미지를 일부 사용하였고(유모차, 자전거 운전자 각각 20개, 보행자 130개) 추가로 학습되지 않은 이미지 유모차, 자전거 운전자 각각 100개, 보행자 110개 의 이미지를 포함하여 총 480개의 이미지를 테스트를 위한 데이터로 선정하였다. 각각의 이미지의 해상도는 가변 사이즈 형태로 데이터 입력이 가능하며 YOLO 알고리즘을 통해 416X416 사이즈의 해상도로 재구성된다.(Redmon and Farhadi, 2017) 학습할 이미지에는 마스킹이 필요한데, 이는 이미지 화면에서 탐지할 객체에 대해서 좌표 를 <Fig. 5>와 같이 마킹하는 과정으로 각각의 이미지별로 텍스트 파일이 생성되며, 생성된 텍스트 파일에는 객체 분류 번호와 앞서 학습 이미지를 가지고 마킹 한 좌표가 기록되게 된다. <Fig. 5>와 같이 생성된 텍스 트 파일에 기록되는 형태는 이와 같은데 [1 0.545313 0.500000 0.909375 0.863889] 앞에 있는 1의 숫자가 객체 분류 번호를 가리키며 두 번째부터의 소수점 자릿수가 좌표 지점을 가리킨다. 만약 동일 화면에 오브젝트가 추가로 있을 시에는 소수점 자릿수 4자리 뒤에 추가로 생성된다(Darknet, 2016).

2. 딥러닝 기반의 보행자 탐지를 위한 인공 신경망 구성 및 학습

1) Yolo 알고리즘 기반에서 인공신경망 네트워크 선정

Yolo의 알고리즘에서 제안하는 인공 신경망 네트워크 중 임베디드 환경에 최적화된 기준 모델을 선정하고자 기존 Yolov2, Yolov3, Yolov3-Tiny 3가지의 신경망 구조를 가지고 위에서 생성한 이미지 데이터셋에 대해 학습을 진행하였다. 학습 반복 횟수는 10,000번을 기준으로 모델별 학습을 진행하였고 소요시간은 신경망의 구조에 따라 상이한 결과를 보였다. 이중 한 가지 특징적인 것은 Yolov3 모델을 학습 시 동일한 학습 횟수를 도달하기까지 다 른 두 모델에 비해서 상당히 빠른 속도로 학습이 진행되었는데, 이 점은 아마 컨볼루션(convolution) 구조에서 리 지듀얼(residual) 구조를 혼합한 결과에 의한 것으로 생각되었다. 먼저 Yolov2, Yolov3모델을 학습하여 산출된 가중 치 값으로 정지 영상을 이용한 테스트를 한 결과 Yolov2가 상당히 좋은 탐지율을 보였지만 보행자 동영상과 카메 라 실시간 인식은 많이 부족하게 나왔다. 테스트 카메라 중 가장 신호전달이 빠른 온보드 상의 CSI 카메라를 이 용 시에도 9 fps 이상 나오지 않았다. 모델 중 은닉층 구성이 단순하여 실시간 보행자 탐지 처리에 최적화된 모델 로 예상되는 Yolov3-Tiny 버전의 기본 모델을 가지고 학습하여 산출한 가중치를 가지고 카메라 인식과 보행자 동 영상 인식 시 끊김 없는 모습과 비교적 높은 탐지율을 보였다. 그래서, Yolov3-Tiny 신경망의 기본 구조를 리모델 링하여 임베디드 기반에서 최적화된 인공 신경망 모델을 구성해 보고자 목표하였다. (Darknet, 2016).

2) Yolov3 Tiny 모델을 기반으로 한 리모델링 네트워크 구성

Yolo 알고리즘의 인공신경망 네트워크 구조 중 Yolov3-Tiny 버전을 기반으로 좀 더 의미 있는 결과 값을 도출하기 위해 딥러닝 구조를 변경하였다. 변경의 형태는 <Fig. 6>과 같이 기존 23개 층의 레이어 모델에서 My-Tiny -Model1,2에서 중간층을 1,2층씩 늘려 24개의 레이어와 25개의 레이어 그리고 My-Tiny-Model3에선 Yolo의 클러스터 추출 후 다시 컨볼루션층을 붙여 26개의 레이어로, 그리고 마지막으로 My-Tiny-Model4 모 델에선 다시 앞 단 부분에 Maxpool 층과 컨볼루션층을 늘려 27개의 레이어로 구성해 보았다.

3) 인공신경망 네트워크별 정확도 측정 및 실시간 탐지 테스트

앞서 소개한 인공 신경망 모델을 별도로 선정한 이미지 파일 테스트를 통해 각각의 탐지율을 산출하였고 산출된 결과 중 가장 적합한 모델을 이용하여 최종적으로 시스템에 적용하였다. 첫째로 탐지 테스트 적용 구 성은 정지 화면 파일인 jpg 파일, 그리고 동영상 재생을 통한 탐지, 그리고 마지막으로 카메라를 이용한 실시간 테스트이다. 정확도 테스트를 위한 샘플 파일은 학습 시 이용했던 이미지 일부와 새로운 이미지를 이용하였으 며, 동영상 실시간의 실제 도로를 촬영한 1920x1080/30 fps 영상을 수집하여 이용하였다. 실험을 위해 구성된 시 스템의 환경은 <Table 1>과 같은 구성을 이루며 사용된 Jetson TX2 개발 보드와 카메라 종류별(Onboard CSI, WebCam, IP Carmera) 사양 그리고 Darknet (Darknet, 2016) 프레임워크 구동을 위해 설치된 소프트웨어 라이 브러리 환경으로 구성되어 있다.

그리고 카메라 테스트의 경우 실제 환경에 가장 적합한 카메라를 적용하기 위해 <Fig. 7>의 Jetson TX2 보 드에 부착된 온 보드 상의 CIS 카메라와 USB 웹 카메라 그리고 보안 카메라로 많이 이용되는 적외선 IP 카 메라 등을 각각 실험에 이용하였다. IP 카메라의 경우 영상 전송을 위한 RTSP 표준 프로토콜을 지원하고 있 어 스트리밍을 통해서 영상을 수신하였다. Yolo의 3가지 인공신경망과 리모델링한 4가지 모델을 포함하여 총 7가지 모델을 각각 학습시켰다. 학습 후 테스트 이미지를 이용해 객체에 대한 각각의 평균 정확도(mAP) 구하고 카메라 또는 동영상 재생에 의한 실시간 탐지 테스트를 하여 fps(Frame Per Second)를 산출하여 최종 비교하였다. Fig. 8

<Table 2>의 비교 결과를 보면 Yolov2가 가장 높은 95.89% 탐지율을 보였지만 실시간 탐지 속도가 현저히 낮았으며, 그 외의 모델 중에서 Yolov3-Tiny와 My-Tiny-Model3가 가장 높은 탐지율과 실시간 탐지 속도가 높 았다. 하지만 Yolov2의 경우 실제 도로에서의 보행자 탐지 시 탐지 시간이 아주 떨어져 정확한 시간에 위험 신호 전달되지 못하므로 임베디드 시스템 환경에서는 적용하기 어려울 것으로 보인다. 그리고, Yolov3의 경 우 평균 정확도 값이 나오지 않았으며, 원 모델에서는 최종 학습 반복 횟수에 500,200번의 횟수를 요구했던 것이, 아마도 리지듀얼 구조에선 충분한 학습 횟수가 필요했던 것 같다. 모델 중, 실시간 보행자 탐지 처리 에 최적화된 모델로 예상되는 Yolov3-Tiny 버전과 My-Tiny-Model3의 산출 가중치 값을 가지고 테스트 결과 이중 Yolov3-Tiny 모델과 My-Tiny-Model3가 20 fps 이상의 실시간 탐지 속도와 비례하여 가장 최적화된 평균 정확도를 보였으며, 특히 3가지 객체 중 보행자 탐지 부분에서 높은 탐지율을 보였다. 이중 임베디드 기반의 최적의 결과를 산출한 Yolov3-Tiny 와 My-Tiny-Model3의 F1 Score 값을 산출 하였다. 산출에 사용된 가중치 값은 <Table 2>에 값과 동일하며, 산출 결과는 <Fig. 9>와 같이 Yolov3-Tiny 모델이 0.79 그리고 My-Tiny-Model3 값이 0.84 의 평균값을 보이며 전체적으로 높은 성능을 보였다.

하여 이 모델의 인공 신경망을 최종적으로 보행자 탐지 모델로 선정하고 최적의 가중치 값을 다시 한 번 산출하고자 50,000번에 해당하는 반복 학습을 최종적으로 진행하였다. 테스트 결과 20,000번의 반복학습에 서 가장 높은 정확도가 산정되었으며, 이 부분이 넘어가는 시점에서는 오버 피팅 이 발생되는 현상이 일어나 며 평균 정확도가 하락하는 모습을 보였다. <Fig. 10>는 각각의 객체에 대한 산출 정확도를 볼 수 있는데 20,000번의 반복 가중치 값에서 랑데부 포인트가 일어나는 것을 볼 수 있다. <Fig. 10>의 평균 정확도 결과 처럼 최종적으로 20,000번의 반복 가중치 값에 의해 산정된 평균 정확도는 86.29%로 앞서 실험한 My-Tiny-Model3 10,000번의 가중치 값인 83.3%의 평균 정확도보다 약 3% 가량의 성능 향상이 있었다. 본 연 구의 실시간 보행자 탐지 시스템 적용 부분에 My-Tiny-Model3 모델을 최종적으로 선정하였다.

앞서 테스트한 인공신경망 모델의 성능 평가 지표인 평균 정확도(mAP)는 각각의 오브젝트의 평균 정밀도 (AP)를 합하여 평균값으로 산출한다. YOLOv3 에서는 IOU(intersection over union)의 임계값을 0.5를 사용하여 Groud-Truth Box가 기준값보다 높을 경우 True Positive로 판단한다. 이 값을 기준으로 각각의 테스트 이미지 의 모든 예측 결과를 결합하여 <Fig. 9>와 같은 Precision-Recall 곡선 값으로 만든다. 수식(1)에서 P(k)는 모든 가능한 임계 값에서의 정밀도이고, r(k)는 리콜의 변화이며, k는 데이터에서 발견된 모든 가능한 리콜 값을 취한다. 수식(1)을 통해서 산출된 모든 오브젝트의 평균 정밀도(AP)를 클래스 개수로 평균값을 산출하여 수 식(2)과 같이 mAP를 계산한다.(Redmon and Farhadi, 2017;Everingham et al., 2010)

여기서

여기서

Ⅳ. 보행자 위험신호 경보 전송

본 연구에서 제안하는 보행자 위험신호 전송 체계는 UTIS를 기반으로 구성하였으며 <Fig. 11>과 같이 기존 UTIS 구성 체계에서 신호등 시스템 체계와 연계하며, 노변기지국인 RSE와 연계하는 시스템으로 구성하였다. 시스템의 동작 순서는 먼저 JetsonTX2 보드에 연계된 카메라를 통한 이미지 탐지 처리 후 해당 영상 이미지를 앞서 선정한 딥러닝 모델을 이용하여 객체를 구분한다. <Fig. 12>의 순서도에 따라 위험 객체로 분류가 된 이 미지를 탐지하게 되면 신호등 상태 신호와 같이 RSE를 통해 차량 내 OBE 단말장치로 일반 메시지 또는 위험 신호 메시지를 전송하게 되며, 수신된 메시지는 차량 내 OBE 단말의 화면을 통해 메시지를 표시한다.

앞서 제안한 보행자 탐지 시스템과 연계하는 ITS 체계 구성을 모델링하여 가상의 신호등 시스템과 차량 내 단말장치인 OBE 단말을 구성하였다. 단말 구성을 위해 무선랜 칩 기반의 ESP8266 칩을 내장한 아두이노 보드를 이용하였다. <Fig. 13>처럼 이 중 신호등 시스템은 도트 매트릭스 8x8 모듈 2개를 이용하여 Green, Yellow, Red 신호를 표시함과 동시에 신호 변환을 도트로 표현하였고 초당 신호등 상태 값을 신호등 서버 로 전송하여 분류된 객체 이미지 정보와 함께 차량 내 OBE 단말장치 전송한다. <Fig. 14>와 같이 차량 내 OBE 단말은 부팅 후 설정된 OpenAP SSID로 접속하며, Jetson TX2 보드의 RSE 서버로 접속한다. 접속 후 수 신된 위험 신호가 있다면 LCD Display에 위험정보를 표시하는 구성으로 가상의 UTIS 시스템을 모델링하였 다. 구현된 시스템을 실제 환경과 유사하게 실험을 구현 하고자 <Fig. 15>와 같이 실외 테스트도 추가로 진 행하였으며. Jetson TX2 내부의 CSI 카메라를 통해 <Fig. 16>과 같이 보행자를 실시간으로 인식한 후 차량 내 OBE 단말기로 경보 전송이 원활히 이루어지는 부분을 확인하였다.

기존 UTIS 프로토콜 체계에서 보행자 위험신호 체계 연동을 위해 UTIS 규격서의 응용 계층 프로토콜 규 격을 분석하였으며, 기존 프로토콜 체계를 변경하지 않고 <Table 3>과 같이 사용자 정의 OPCODE 영역(0xF E00 ~0xF FFF)에 추가 및 OPCODE Specific Data 항목(0xFD~0xFF)에 EID를 추가하는 안으로 다음과 같이 구 성하였다. UTIS의 프로토콜의 기본 구조를 설명하기 위해선 UPDU(UTIS Protocol Data Unit)에 대한 전반적인 설명이 필요하긴 하지만 본문에서는 이 부분을 생략하였으며, 응용 계층 프로토콜의 보행자 위험신호 전달 추가 구성안에 대해서만 제안하도록 하였다(The standard of UTIS,2014).

<OPCODE : 0xF119><EID:FD>

Ⅴ. 결 론

본 연구는 보행자 교통사고 방지를 위해 연구적인 측면뿐만 아니라 실질적으로 효율성 있는 보행자 교통 사고 방지 시스템을 구현하고자 국내 ITS 체계 중 UTIS와 연계 가능한 모델을 기본으로 하여, 실제 시스템 에 적용 가능한 모델로 구현하기 위해 시작하였다. 기존의 보행자 교통사고 방지 연구에선 보행자 탐지에 대 한 연구적인 측면만이 강조되는 경우가 대부분이었는데, 본 연구에선 이러한 연구적인 측면뿐만 아니라 실 제 보행자 교통사고 예방에 도움이 될 수 있는 방법을 찾고자 하였다. 보행자 탐지에 있어 기존 센서를 통한 감지나 수동적인 영상 감시를 딥러닝 알고리즘을 통한 실시간 보행자 자동 탐지 방식으로 구성하고자 했다. 특히 딥러닝 알고리즘 중 YOLO 알고리즘을 이용하여 인공신경망 네트워크 새롭게 구성하고, 임베디드 시 스템에 적합했던 Yolov3-Tiny 모델을 기준으로 보다 높은 탐지율과 실시간 처리에 최적화된 인공신경망 모 델을 새로이 구성하여 My-Tiny-Model3의 모델을 만들어 냈다. 개선된 My-Tiny-Model3은 10,000번의 반복학 습을 기준으로 평균 정확도 83.3% 결과를 얻을 수 있었으며, 기존 Yolov3-Tiny의 76.28%의 평균 정확도보다 약 7.02%의 평균 정확도 향상을 얻어 낼 수 있었다. 그리고 최종적으로 My-Tiny-Model3의 50,000번의 반복학 습 중 20,000번의 학습에서 가장 높은 86.29%의 평균 정확도를 보여 주었다.

본문의 제안 시스템은 보행자 탐지 처리에 대한 위험신호 경보뿐만 아니라 다양한 영상처리 기술들을 응 용하여 위험상황 예측 및 보안에 관련된 시스템 등을 적용하여 다양한 환경에서 적용이 가능할 것이다. 특히 임베디드 기반의 보행자 탐지 시스템은 현재 V2I 또는 V2V에도 적용 가능할 뿐만 아니라 V2X에도 추가적 인 인프라 구축 비용 없이 기존 노변 지상국(RSE) 근처에 설치 가능하여 보행자 교통사고 방지 및 많은 개 발 시스템 응용에 도움을 줄 수 있을 것이라고 기대한다.