Ⅰ. 서 론
1. 개 요
최근 도로기반시설과 관련된 각종 사고가 빈번하게 발생하면서 도로기반시설의 유지관리에 대해 관심이 증가하고 있다. 도로기반시설의 손상요인은 유지관리 미흡, 자연재해, 과적차량으로 인한 손상누적 등 다양 한 원인이 있으나 유지관리 미흡, 자연재해 등에 대한 관리방안은 다양하게 마련되고 있는 상황이다. 도로를 통행하는 차량이 과적하게 되면 도로에 가해지는 하중이 증가하여 도로의 균열이 촉진되고 소성변형이 발생 할 뿐만 아니라 포장수명이 단축된다. 또한, 이러한 현상에 의해 교통사고 발생위험이 증대되고, 도로 및 교 량 구조물과 도로 횡단 시설물 등에 손상요인으로 작용하므로 시설물의 내구성을 단축시켜 이에 따른 유지 보수 비용을 증가시킨다. 과적 행위는 도로포장 파손의 주요요인으로 도로 유지관리 비용증가의 원인이 된 다(Oh et al., 2018).
현재 도로관리청은 고속도로 진·출입 톨게이트 등에 저속 WIM시스템(Weigh-In-Motion : WIM System)을 설치하거나, 본선에 고속 WIM을 설치하여 과적차량을 단속하고 있다. WIM은 도로 포장층에 고감도 축중 센서를 설치하여 주행 중인 중차량의 하중 정보를 직접 측정하는데, 저속 WIM 시스템은 시속 10km/h이하의 속도로 주행하여 측정하여 정확한 하중측정이 가능하지만, 고속 WIM은 상대적으로 하중측정 정확도 유지에 한계가 있어 과적의심차량을 선별하여 후방 과적 검문소에 정보를 알려 정밀 계중 후 과적차량을 판정한다. 본선에 설치되는 고속 WIM은 매설식 장비 특성상 중차량 통행에 의해 파손이 잦고 기후의 영향으로 내구성 이 떨어질 수 있으며, 설치 및 유지관리 시 교통흐름에 방해가 되어 활용에 한계가 있다.
최근 화물차량의 과적뿐만이 아니라 화물차의 가변축을 불법 조작하여 축하중 10톤을 초과하여 과적1)하 는 화물차량이 증가하고 있다(SBS News, 2019). 과적 검문소 진입 시에는 차축을 모두 내려 정상 통과하고 본선 주행 시에는 가변축을 불법으로 들어올려 축하중 10톤을 초과하여 운행하는 방식이다.
가변축은 당초 화물 적재 시 ‘자동차 및 자동차부품의 성능과 기준에 관한 규칙’에 의거하여 ‘축별 설계 허용하중’ 또는 총중량 40톤을 초과하면 자동으로 축이 내려가 지면에 닿고 화물을 내리면 축이 올라가도록 허가받아 설치하는데, 차주가 화물차량 유류비 및 타이어 비용 절감을 위해 가변축을 임의 조작 가능토록 불 법으로 개조하여 운영한다. 현재 도로관리청이 운영하는 과적차량 단속시스템으로는 이러한 방식의 불법 과 적운행을 단속할 수 없어 소수의 이동 단속반을 통한 비정기 선별단속도 수행되고 있으나 상시 모든 차량을 검사할 수 없는 한계가 있다.
이에, 가변축을 들어 올려 축하중을 조작하는 과적행위를 자동으로 단속하기 위한 기반기술로 비매설식 카메라로 주행 중인 화물차의 축 변화를 탐지하는 기술을 개발하였다. 본 논문에서는 영상정보에서 화물차 량의 타이어를 딥러닝으로 인식하고 인식된 타이어들을 배열하여 축조작을 통해 타이어의 들림 여부를 판단 하는 시스템을 제안하였다. 본 논문에서는 도로변에 차량 옆면을 촬영할 수 있는 카메라를 설치하여 실험하 였으나 기 구축된 CCTV 중 비교적 낮은 높이에서 차량 옆면 촬영이 가능한 경우, 해당지역에서 촬영된 영 상데이터를 활용하여 전이학습(Trasfer Learning)으로 모델을 추가 학습하여 활용할 수 있다.
Ⅱ. 딥러닝을 이용한 화물차 축조작 탐지 방법 고찰
화물차의 차축 조작에 의한 과적차량 단속 기술은 기존에 연구되지 않은 분야로, 기존 딥러닝 알고리즘 논문의 고찰을 통해 본 논문의 문제해결 기술인 딥러닝 기반 차축 변화 탐지 기술로 응용 활용될 수 있는 적정 딥러닝 알고리즘을 도출한다.
1. 차량 타이어 인식 기술
1) YOLO(You Only Look Once)
YOLO알고리즘(Redmon et al., 2016)은 객체탐지를 위한 딥러닝 알고리즘 중 하나이며 배경과 객체를 구분 하고 구분된 객체를 분류하는 것을 목적으로 한다. 특히 YOLO는 높은 FPS(Frames per second) 성능을 내기 때문에 실시간성에 최적화된 알고리즘이다. YOLO는 v1을 시작으로 백본망의 개선 등으로 지속적인 성능 향 상을 거듭해 나가면서 현재 객체 인식 분야에서 가장 많이 활용되고 있는 모델이다. YOLO 객체탐지는 Grid Cell과 Anchor Box를 활용하며 Grid Cell 영상에 대하여 Anchor Box를 갖는다. Anchor Box는 미리 정의되어 있는 Bounding Box로 이 Anchor Box가 위치되어있는 영역의 데이터가 어떤 클래스의 객체인지를 판단한다.
2) RCNN(Region-based Convolutional Neural Network)
R-CNN(Girshick et al., 2014)은 2-Stage Detector 계열 객체 탐지 알고리즘 중 하나이며 Image Classification 을 수행하는 CNN 파트와 Localization을 수행하는 Region Proposal 알고리즘으로 구성되어 있다. 이미지를 많 은 수의 영역으로 분리하고 객체가 있을 것으로 추정되는 후보지역들을 탐색하여 해당 후보지역들을 대상으 로 특징을 추출하고 객체를 분류하여 바운딩 박스의 지역의 위치를 정답객체의 위치와 맞도록 조정한다. R-CNN의 객체 탐지의 단계는 이미지로부터 ROI(Region Of Interest)를 생성해내는 Region Proposal 단계와 생 성된 ROI를 CNN을 통해 지역 내 객체의 특징을 추출하는 Feature Extraction 단계 그리고 추출 후 분류 및 위 치를 조정하는 Bounding Box Regression단계로 나눠진다.
3) Mask-RCNN(Mask-Region-based Convolutional Neural Network)
Mask R-CNN(He et al., 2017)은 탐지된 객체를 박스로 표시하는 R-CNN과 Faster R-CNN을 개선한 알고리 즘이며 주로 반도체 포토공정에서의 비전검사(Han and Hong, 2020), 균열탐지(Zhao et al., 2022) 등에 활용된 다. Mask R-CNN은 영상 내 존재하는 객체를 탐지하여 탐지된 객체가 존재하는 영역을 픽셀 단위로 분할시 켜주는 방법 중 하나인 FCN(Fully Convolutional Network)을 이용하여 객체를 픽셀 단위로 분할하여 표시하고 객체 주위에 박스를 그린 후 박스 위에 객체의 종류를 표시해주는 방법이다. Mask R-CNN은 최신의 프레임 워크를 사용하여 학습속도가 빠르고 구현과 훈련이 쉬우며, 광범위하고 유연한 구조 설계를 지원한다. R-CNN계열의 알고리즘은 하나의 이미지에서 주요 객체들을 박스로 표현하며 영상 내에 무수히 많은 박스들 을 사전 생성한 후 객체에 해당하는 것을 찾아 사전 생성된 박스를 이용하여 객체로 표시해준다.
Mask R-CNN은 <Fig. 6>과 같이 크게 두 단계인 영역 제안 네트워크(RPN, Region Proposal Network)와 기 능 분기(Function branches)로 구성되며 RPN은 ROI Align 기법을 활용하여 객체가 존재할 것으로 예측되는 영 역의 크기와 위치를 알려준다. 기능 분기는 Classification, bounding box, mask 3가지의 구성요소로 나뉘어서 동작하므로, 이미지 내에 존재하는 모든 객체를 탐지(Object Detection Task)하는 동시에 각각의 경우를 정확 하게 픽셀 단위로 분류(Segmentation Task)할 수 있다.
본 논문에서는 노변의 CCTV영상을 분석하여 화물차의 타이어를 인식하게 되는데, 노변에서 비스듬하게 촬영된 화물차의 타이어 이미지는 원래 같은 크기라도 원근에 의해 상이하게 나타난다. 비교적 부정확한 타 이어의 형상을 정확도 높게 인지하여 크기와 위치를 특정할 수 있는 인식 기술이 필요하다. 이에, YOLO 등 의 Single-Stage 방법들과 R-CNN 등 2-Stage Detector에 비해 타이어의 크기와 위치를 정확히 특정(Segmentation) 할 수 있는 Mask R-CNN을 본 논문에서 타이어를 인식하는데 활용하였고 인식된 타이어의 위치를 배열하고 타이어들 간의 높이 차이를 측정하여 화물차의 축조작을 판단하였다.
Ⅲ. 화물차 축조작 검지 기술 개발 및 성능평가
1. 차량 타이어 인식 기술 개발
차량 운행 이미지에서 딥러닝을 이용하여 타이어를 자동으로 검출하는 기술을 개발하기 위해서는 대량의 훈련데이터가 필요하다. 따라서, 제2서해안고속도로 송산마도IC∼마도JC 구간(하행) 노변에 저조도 카메라를 설치하고 차량의 옆면 촬영이 용이하도록 도로에서 직각에 가깝도록 거치하고 한 화면에 화물차량 전체가 촬영될 수 있도록 화각을 세부 조정한 후 촬영하여 차량 이미지 데이터(1,920✕1,080픽셀) 약 1,000장을 획득 하였다.
아울러, Mask R-CNN 학습을 위하여 인스턴스 분할 레이블링 툴인 Labelme를 사용해서 차량 타이어에 대한 학습데이터 레이블링을 진행하였고 MMDetection 라이브러리를 활용해 <Fig. 7>과 같이 학습을 수행 하였다.
Labelme는 구성한 데이터셋을 경계 상자(BBox) 등 여러 툴을 활용하여 레이블링 작업을 수행할 수 있는 오픈소스 레이블링 프로그램으로 본 논문에서는 <Fig. 8>과 같이 폴리곤(Polygon)툴을 활용하여 영상 내 타 이어를 레이블링 하였으며, 클래스(Class)명은 “Tire”로 지정하여 수행하였다. 레이블링한 각 이미지 데이터마 다 Json파일이 생성되며 모델 학습 시 입력값으로 샘플 이미지와 함께 활용된다.
MMDetection 라이브러리는 객체 검출과 인스턴스 분할을 다루는 다양한 딥러닝 모델을 하나의 라이브러 리로 구현한 플랫폼으로서, 전체 프레임워크를 모듈 단위로 분리해서 관리할 수 있다는 장점이 있다. 본 연 구의 실험 환경 구성은 <Table 1>과 같다.
2. 화물차 축조작 검지 기술 개발
본 논문에서는 학습된 Mask-RCNN 모델로 화물차의 타이어들을 인식한 후 이를 통해 타이어의 축조작을 통한 들림 여부를 판단하였다. 인식된 타이어 중에서 좌우 양끝단 타이어 T1과 T3의 중심점을 <Fig. 10>과 같 이 연결해서 가변축을 판별할 기준선을 구하였다.
기준선 안에 있는 타이어의 중심점을 T3라고 하고 기준선을 점 T1에서 직선 T1T2에 내린 수선의 발을 H라 고 할 때, 좌우 양 끝단 타이어의 중심점 간 거리로 직선 T1T2의 길이가 계산되고 삼각형 T1T2T3의 넓이를 구 할 수 있다. 이를 통해 점 T3와 직선 T1T2 사이의 거리, 즉, 기준선 안에 위치한 타이어들의 중심점과 기준선 사이의 간격으로 차축 조작을 탐지하도록 식(1)과 같이 구현하였다. 차축 조작 판단의 임계값은 실험을 통해 이미지 취득환경에서 축조작 탐지율이 가장 높은 픽셀 거리 10으로 설정하였다. x1, y1은 타이어 T1의 x, y 좌표이며 x2, y2와 x3, y3은 T2과 T3의 x, y좌표이다.
3. 성능 평가
1) 타이어 인식 성능평가
타이어 인식 성능평가는 제2서해안고속도로 CCTV 원본 이미지 데이터 중 이미지 번짐, 차량 잘림 등 오 류가 없는 이미지 40장을 GT(Ground Truth) 데이터로 선별하여 검증에 활용하였다. 성능지표는 검출 객체인 타이어 클래스에 대해서 AP(Average Precision)를 계산하였다. AP는 IoU (Intersection over Union) 값을 기반으 로 계산되는데, 여기서 IoU는 입력된 이미지에서 객체 탐지모델을 통해 예측된 객체 검출영역(Prediction)과 실 제 객체 영역(Ground truth)의 교차 영역 넓이를 합 영역의 값으로 나눈 수치이다. 대표적인 IoU 임계값인 0.5와 0.75 값을 사용하였으며 해당 IoU 값을 통해 정밀도(Precision)와 재현율(Recall)을 계산하여 PR(Precision-Recall Curve) 곡선의 곡선하면적으로 AP를 산출하였다. APbbox는 검출 객체 경계상자에 대한 AP, APseg는 검출 객체 마스크에 대한 AP를 의미하며 실험 결과는 <Table 2>와 같다. 여기에서 .50:.05:.95는 IoU 임계값을 0.5 에서 0.95로 0.05씩 증가시키면서 산출한 AP의 평균값을 의미한다.
2) 축조작(들림) 검지 성능평가
가변축 인식 성능평가는 제2서해안고속도로 CCTV 원본 이미지 데이터 중 가변축이 있는 화물차 이미지 51장을 선별하여 GT(Ground Truth) 데이터로 확보하여 진행하였다. 본 논문에서는 <Fig. 11>과 같이 타이어 들을 잇는 기준선과 각 타이어들의 좌표정보 비교를 통해 가변축 인식 성능평가를 진행하였다. 가변축 인식 성능평가 결과는 <Table 3>과 같다.
Ⅳ. 결론 및 향후 연구
본 논문에서는 유류비 및 타이어 비용 절감을 위해 가변축을 편법으로 조작하여 운행하는 과적차량을 단 속하기 위한 기반기술로 비매설식 카메라로 주행 중인 화물차의 축 변화를 탐지하는 기술을 개발하였다. 이 를 위해 촬영한 화물차의 옆면 이미지에서 Mask R-CNN을 활용하여 화물차의 타이어를 탐지하고 탐지된 좌 우 타이어의 중심점을 연결하고 나머지 타이어 중심점과의 이격을 측정하여 축조작 상태를 확인하였다. 제 안방법의 실험을 위해 폴리곤(Polygon)툴을 활용하여 영상 내 타이어를 레이블링하였으며 이를 통해 segmentation을 수행한 후 타이어 인식 성능을 평가한 결과 검출 객체 경계상자에 대한 AP 88.1%, 검출 객체 마스크에 대한 AP 90.5%를 보였으며, 가변축 인식 성능평가에서는 84.31%의 정확도를 보였다. 실험을 위해 취득된 이미지는 차량 전체가 촬영되도록 비교적으로 높은 위치에서 비스듬히 촬영되어 원근에 의해 인식저 하 및 축조작 탐지 오류가 일부 발생된 것으로 분석된다. 아울러, 연구의 한계로 축조작 판단 임계값으로 제 시한 픽셀거리의 검증과 다양한 환경에서 취득된 데이터를 통한 검증에 다소 미흡하였다.
따라서, 향후 연구에서는 축조작 화물차 데이터를 양적으로 확보하여 연구결과의 객관성을 높일 필요가 있으며, 촬영 각도에 따라 취득된 이미지에서 타이어를 인식하고 축조작을 판단하는 성능이 달라지므로 차 량의 측면을 보다 정확히 촬영한 이미지 데이터를 확보함으로써 축조작 화물차의 검지 기준 및 성능을 향상 시킬 수 있을 것으로 기대한다. 또한, 다양한 기상환경에서 검지가 가능한 모델학습을 위해 데이터 구축 및 전처리(De-Raining, De-Fogging)를 적용하여 다양한 기상환경에서도 감지할 수 있는 연구를 수행할 것이며 과 적차량 검문소 시스템이 계중한 총 중량 등 계중정보를 연계하여 개발 기술로 검지한 본선 주행 중 지면에 닿는 축수 정보 등을 비교하는 방식으로 과적 검문소 통과 후 축을 들어 과적 운행하는 차량을 자동 단속하 는 기술 개발 연구를 진행할 계획이다.
