Ⅰ. 서 론

1. 개요

도로 상에서 교통 안전에 대한 위협 요소는 다양하지만, 그 중에서도 대형 교통사고를 유발할 가능성이 크고 도로와 교통흐름에 심각한 부정적 영향을 미치는 주요 요인 중 하나로 적재 불량 화물차를 들 수 있다. 적재 불량 화물차의 경우, 적재물이 도로로 낙하할 위험이 크며, 이로 인해 뒤따르던 차량들은 안전거리를 유지하고 있더라도 낙하한 적재물의 비정형적인 움직임으로 인해 교통사고를 방지하기 어려운 상황에 직면 할 수 있다. 이는 불특정 다수의 피해를 야기할 가능성이 크며, 특히 적재물의 특성에 따라 대형 교통사고로 이어질 위험성도 존재한다(Chae, 2007). 2023년 3월, 군산 방향 산업도로 인근에서 대형 화물차에서 적재물이 떨어지며 뒤따르던 승용차 4대가 파손되는 교통사고가 발생하였고, 같은 해 충북 음성군에서는 적재물을 제 대로 고정하지 않고 중부고속도로를 달리던 25t 트레일러에서 10t짜리 적재물이 떨어져 뒤따르던 화물차 조 수석에 탄 60대 남성이 사망하고 3명이 다치는 교통사고가 발생했다. 이처럼 적재 불량 화물차로 인한 교통 사고는 치명적인 2차 교통사고를 유발할 가능성이 크다(Yoo et al., 2017).

한국도로공사가 공공데이터포털(https://data.ex.co.kr/)을 통해 공개한 ‘고속도로 적재불량 단속 실적'에 따르 면, 2019년부터 2023년까지 집계된 적재 불량 화물차 단속 건수는 총 44만 건에 이르며, 적재 불량이나 과적 이 주원인으로 작용한 낙하물 사고는 같은 기간 동안 총 269건으로 집계되었다.

화물차 과적 단속의 경우 축중기를 이용하여 정량적으로 수행되는 반면, 적재 불량 단속은 육안이나 단속 카메라를 이용하여 화물차를 일일이 확인해야 한다는 점에서 단속의 제약이 존재한다. 일반국도에서는 국토 관리사무소 단속원, 고속도로에서는 국토교통부로부터 위임받은 한국도로공사가 톨게이트에서 화물차 과적 및 적재 불량을 단속하고 있지만, 한정된 인력으로 인해 단속이 느슨해질 우려가 있다(Kim, 2016). 또한, 단 속의 주체인 경찰도 적재 불량보다는 과속, 신호위반 단속 등에 초점을 두고 단속하고 있는 실정이다. 이러 한 배경에서 도로 상의 교통 안전성을 제고하기 위해서는 적재 불량 화물차에 대한 엄격한 단속과 체계적인 관리가 필요하다. 그러나 현재 인력에 의존한 국내 화물차 적재 불량 단속 체계는 인력 부족 및 단속 효율 저하, 현행법에서 규정한 적재 불량 단속기준의 불명확함 등 여러 문제를 안고 있다(Kim et al., 2021).

이러한 문제를 해결하고자 한국도로공사는 2023년부터 일부 영업소에 “AI 적재 불량 판별시스템”을 본격적 으로 도입하여, 화물차 적재함 개방 및 덮개 미설치 등 적재 불량 의심 데이터를 선별하고 해당 데이터를 영업 소에 실시간으로 전송하여 전담 직원이 최종 확인 후 경찰에 제보하는 방식으로 단속을 수행하고 있다. 이를 위해 2021년에 이 시스템을 시범적으로 운영하였으며, 시범 운영 기간 동안 이 시스템이 기존의 CCTV 녹화영 상의 수작업 확인 방식에 비해 단속 건수를 약 4.7배 증가시켰으며, 업무량은 85% 감소시켰다(Kim, 2021).

본 연구에서는 자동으로 화물차 적재 불량, 특히 국내 적재 관련 안전기준을 기반으로 한 폭, 길이, 높이 를 초과하는 적재 불량 화물차에 대해 딥러닝 기반 이미지 분석을 적용하는 방안을 모색하고자 한다. 이를 위해 본 연구에서는 실제 화물차 적재 불량 단속 관련 업무를 수행하는 전문가의 판단 기준에 따라 적재 크 기를 초과한 화물차를 딥러닝 기술을 이용하여 분류하고자 하였다. 이를 위해 합성곱 신경망(convolution nueral network, CNN) 기반 딥러닝 모델을 선정하여, 수집된 화물차 이미지로 학습을 진행하고 적재 크기 초 과 유형에 대한 분류를 수행하였다.

본 연구는 딥러닝을 활용한 자동화 단속 체계의 고도화를 위한 기초 연구로서 의미가 있으며, 기존의 화 물차 적재 불량 직접단속체계의 한계점을 개선하고, 화물차 적재 불량 단속의 효율성을 높여 도로 안전성 개 선에 기여할 수 있을 것으로 판단된다.

2. 연구의 범위 및 절차

본 연구는 국내 적재 불량 안전기준을 위반하는 화물차를 단속하는 전문가의 판단 기준을 학습시켜, 딥러 닝 모델이 유사한 방식으로 화물차의 적재 크기 초과 여부를 판단하는 것을 목적으로 한다. 이를 위해 활용 된 화물차 이미지는 이순신대교의 CCTV를 통해 2021년에 수집된 화물차 이미지 데이터, AI-Hub(https:// aihub.or.kr/)에서 제공하는 2023년에 수집된 과적 차량 도로 위험 데이터를 포함한다.

본 연구의 수행 절차는 다음과 같다. 첫째, 현행 법에서 규정하고 있는 화물차 적재 관련 단속 기준을 검 토하여 적재 불량의 기준을 명확히 분석한다. 둘째, 분석에 사용할 화물차 이미지를 수집하고, 전처리를 수 행하여 분석에 적합한 형태로 정제한다. 이때, 화물차 영역을 추출하는 방법에 따라 두 가지 전처리 방안을 적용하였다; 첫째, bounding box(bbox)를 기준으로 화물차 영역을 추출하는 방법, 둘째, 이미지 분할 기준으로 화물차 영역을 추출하는 방법이다. 이후 전처리된 이미지를 활용하여 딥러닝 기반 이미지 분류 모델을 학습 시켰으며, 모델 학습에는 두 가지 종류의 입력값을 사용하였다. 첫 번째는 bbox 기준으로 추출된 화물차 영 역 이미지만을 이용한 경우이며, 두 번째는 bbox 기준과 이미지 분할 기준으로 각각 추출된 화물차 영역 이 미지를 모두 활용한 경우이다. 최종적으로, 이러한 모델을 통해 화물차의 정상 적재 및 적재 크기 초과 여부 를 판단하는 연구를 수행하였다. 구체적인 연구 수행 절차의 흐름도는 <Fig. 1>과 같다.

<Fig. 1>

Research procedure

Ⅱ. 관련 이론 및 선행 연구 고찰

1. 관련 이론

1) 화물차 적재 단속기준

본 연구는 화물차 적재 불량의 구체적인 유형에 따라 분류하는 것을 목적으로 하기 때문에, 분석에 앞서 화물차 적재 관련 안전기준을 검토하였다. 국내 화물차 적재와 관련된 법령으로는 ^｢도로법_｣, ^｢도로교통법_｣, ^｢화물자동차 운수사업법_｣, ^｢자동차관리법_｣ 등이 있으며, 각 법령은 화물차 안전에 관한 제반 사항을 점검하 기 위한 기준으로 활용되고 있다. 우선, ^｢도로법_｣ 및 ^｢도로교통법_｣에서는 <Table 1>과 같이 정량적 기준을 제시하여, 해당 기준을 초과하는 화물차의 운행을 제한하고 있다. 구체적으로, ^｢도로법_｣ 제77조 및 동법 시 행령 제79조에서는 적재 중량 및 차량 제원에 따라 운행 제한을 규정하고 있으며, ^｢도로교통법_｣ 제39조 및 동법 시행령 제22조에서는 적재 중량 및 적재 용량과 관련된 정량적 기준을 규정하여 해당 안전기준을 초과 할 경우 운행을 제한하고 있다.

또한, ^｢도로교통법_｣ 제39조 제4항은 모든 차량 운전자가 운전 중 화물이 떨어지지 않도록 덮개를 씌우거 나 묶는 등의 고정 조치를 취해야 함을 명시하고 있다. 유사하게, ^｢화물자동차 운수사업법_｣ 제11조 제20항에 서는 적재 화물의 낙하를 방지하기 위해, 동법 시행규칙 별표 1의 3에서 제시한 기준과 방법에 따라 덮개, 포장, 고정 장치 등의 필요한 조치를 취할 것을 규정하고 있다. 그러나 해당 기준들은 덮개 및 포장에 대한 명확한 수치나 기준이 없으며, 덮개와 포장이 어려운 화물차 종류에 대해서는 “10mm 이상의 와이어 로프 또 는 레버블록을 사용하여 적재부 4개의 점과 기계 4개의 점을 연결하여 단단히 고정”(^｢화물자동차 운수사업 법_｣ 시행규칙 별표 1의 3, 건설기계 참고)과 같이 현장에서 육안으로 판별 가능한 방법을 제시하고 있다.

본 연구에서는 이러한 적재 관련 안전기준을 바탕으로, 화물차 적재 불량 판독을 수행하는 한국도로공사 전문가 3명에게 이순신대교 CCTV에서 수집된 적재 불량 의심 화물차 이미지의 적재 불량 유형 분류를 요청 하였다. 이를 통해 다음 <Table 2>에 세부 위반 유형을 확인하였으며, 세부 위반 유형에 따른 분류 결과를 지 도 학습 기반 딥러닝 모델의 학습 데이터(유형 분류의 정답)로 활용하여 전문가의 판단을 자동화하는 방안을 제안하고자 한다. 특히, 아래 세부 위반 유형 중 이미지 분석에 용이한 정량적 기준을 포함하는 적재 크기 초과(즉, 적재물의 폭, 길이, 높이 초과) 유형을 선정하여 딥러닝 모델을 통해 전문가의 판단과 유사한 결과 를 도출할 수 있는지를 검증하고자 하였다.

2) 합성곱 신경망 기반 이미지 분류

합성곱 신경망은 딥러닝 분야에서 이미지 인식, 비디오 분석, 자연어 처리 등 다양한 작업에 널리 사용되 는 인공 신경망의 한 유형이다. CNN의 기본구조는 크게 합성곱 계층(convolutional layer)과 풀링 계층(pooling layer)으로 구성되며, 이 두 계층을 통해 이미지의 지역적 특징을 감지하고 중요한 정보를 추출한다(LeCun et al., 1998). CNN은 여러 개의 합성곱 및 풀링 계층으로 구성될 수 있으며, 이러한 계층들이 순차적으로 이미 지 데이터를 처리한다. 합성곱 계층에서는 입력 이미지에 특정 가중치를 곱해주는 합성곱 연산을 수행하여 이미지의 특징을 감지하고, 풀링 계층에서는 합성곱 계층에서 생성된 특징맵(feature map)의 크기를 줄여 계 산량을 줄이고 과적합을 방지할 수 있다. 이러한 구조를 통해 CNN은 입력 이미지로부터 다양한 특징을 추 출하며, 마지막 단계에서 완전히 연결된 레이어를 통해 객체를 분류하거나 위치를 파악하는 출력이 생성된 다(Kim and Kim, 2016).

CNN은 이미지 분류뿐만 아니라 객체 탐지, 이미지 분할 등 다양한 작업에서 뛰어난 성능을 발휘하며, 대 표적으로 LeNet, ResNet, Faster R-CNN, EfficientNet 등과 같은 모델들로 발전되었다. LeNet은 CNN의 초기 모 델로서 손글씨 인식 작업에서 큰 성과를 거두었고, ResNet은 잔차 학습(residual learning)을 도입해 매우 깊은 네트워크에서도 성능 저하를 방지하는 방법을 도입하였다. Faster R-CNN은 객체 탐지를 위한 모델로, 관심 영역을 빠르게 제안하고 객체를 정확히 탐지할 수 있으며, Mask R-CNN은 Faster R-CNN을 기반으로 개발된 모델로, Faster R-CNN이 객체의 위치(bbox)와 클래스(label)를 예측하는 데 중점을 둔 반면, Mask R-CNN은 여 기서 한 단계 더 나아가, 각 객체의 경계선을 따라 정확한 마스크(mask)를 생성할 수 있도록 설계되었다. 이 러한 다양한 CNN 기반 모델 중에서 EfficientNet은 기존의 CNN 구조를 개선하여 더 적은 계산으로 더 높은 정확도를 달성하고자 개발된 모델로, 모델의 깊이, 너비, 그리고 입력 이미지의 해상도를 동시에 조정하는 특징이 있다(Tan and Le, 2019). 이는 다양한 컴퓨팅 환경과 요구사항에 맞춰 효율적으로 스케일링할 수 있다 는 장점을 제공한다. 특히 네트워크 복잡도에 따라 다양한 모델 변형(B0~B7)이 제공되며, 컴퓨팅 자원의 제 약에 따라 최적화된 모델을 선택할 수 있어 본 연구의 분석에 적합할 것으로 판단하여 베이스 모델로서 활 용하였다. 해당 모델의 전반적인 구조는 <Fig. 2>에서 확인할 수 있다.

<Fig. 2>

Example of EfficientNet structure

3) 이미지 분할

이미지 분할은 이미지에서 객체가 있는 위치, 모양, 어떤 픽셀이 어떤 객체에 속하는지 등에 대한 문제를 하기 위해 이미지를 픽셀 단위로 나누어 각 픽셀이 어느 객체에 속하는지 결정하는 과정이다(Lüddecke and Ecker, 2022). 이미지 분할은 처리 방식에 따라 semantic segmentation, instance segmentation, panoptic segmentation 등 세 가지 종류가 있으며, semantic segmentation은 실제로 인식할 수 있는 물리적 의미 단위로 인식하는 것(ex. 사람, 자동차, 비행기 등 물리적 단위)으로, 만약 사람이라는 객체가 여러 개 추출되었을 때, 다른 사람이더라도 같은 “사람”이라는 레이블로 표현된다. 반면, instance segmentation은 이미지의 개별 객체를 식별 및 분할하여 이미지 내 각 객체에 고유한 레이블을 할당(사람 1, 사람 2…)하고, 각 분할된 개별 객체별로 다르게 레이블로 표현된다. Panoptic segmentation은 이러한 두 가지 접근을 모두 결합하여, 이미지의 모든 영역을 의미 있는 물리적 단위로 구분하는 동시에, 개별 객체도 명확하게 식별할 수 있어 사람 1, 사람 2와 같이 각각의 객체에 고유한 레이블을 부여하면서, 객체들이 속한 클래스 “사람”도 고려한다(Jain et al., 2023).

2. 선행 연구 고찰

도로에서 화물 적재 불량으로 인한 사고 위험이 증가함에 따라, 기존 수동 단속 방식의 한계를 보완하고 실시간 평가가 가능한 자동화 솔루션 도입의 필요성이 커지고 있다. 이를 해결하기 위해 다양한 선행 연구가 진행되고 있으며, 특히 객체 탐지 및 추적 알고리즘을 적용한 연구가 활발히 이루어지고 있다.

Gang and Lee(2020)는 고속도로를 통행하는 화물차 영상을 활용하여 SPSS PASW Statistics 18 통계 프로그 램으로 분석한 결과, 적재물을 안전하게 고정하고 운행하는 화물차의 비율이 30% 미만임을 확인하였다. 또 한, 화물차 운행 실태 및 의식 조사에서는 적재물 낙하 경험이 있는 화물차 운전자 중 약 70%가 교통사고를 유발했거나 유발할 뻔한 경험이 있음을 밝혔다. 이를 통해 적재 불량 화물차의 위험성과 더불어, 화물차 적 재 불량 단속시스템의 개선 및 관련 법 규정의 구체화 필요성을 강조하였다. Jung et al.(2022)는 AI-Hub 데이 터셋을 전처리하고 객체 추적 알고리즘을 적용하여 동일 객체가 중복 저장되는 문제를 방지하였으며, 객체 탐지 알고리즘(you only look once, YOLO) 모델을 기반으로 도로 위에서 적재 불량 화물차를 식별하는 시스 템을 제안하였다. 해당 시스템은 기존 사전 학습된 모델에 비해 약 23% 향상된 성능을 보였다. Shin et al. (2021)는 YOLO 및 Mask-RCNN 모델을 활용하여 화물차의 적재 영역을 추출하고, 해당 영역에서 적재 불량 여부를 회귀 모델 기반으로 정량화하여 단속하는 시스템을 구축하였다. 이 시스템은 차량 진입 시, CCTV로 촬영된 실시간 이미지를 이용하여 화물 적재 영역을 검출, 차량 번호를 인식하여 인식된 차량의 정보와 제안 된 알고리즘을 통해 계산된 적재 불량 점수를 도출한다. 해당 시스템을 통해 적재 불량 단속에 소요되는 인 력을 50% 이상, 추가적인 학습 데이터가 확보되면 최대 90% 이상을 절감할 수 있을 것으로 예상하였다. Lee et al.(2023)는 YOLO 모델과 후처리 알고리즘을 사용하여 실시간으로 적재 불량 및 과적 차량을 탐지하는 시 스템을 제안하였다. AI-Hub에서 제공된 대규모 공공 데이터셋을 이용해 YOLOv5, YOLOv7, YOLOv8 모델을 학습시켰으며, 차량 전체를 인식하기 위한 bbox의 비율 조정을 위한 후처리 알고리즘을 도입하였다. 특히, YOLOv7-E6 모델에서는 후처리 알고리즘을 적용한 후 mAP(0.5:0.95)가 88.3%에서 92%로 3.7% 향상되었고, YOLOv5는 성능과 연산 속도 면에서 가장 우수한 결과를 보였다. 연구 결과, 해당 시스템은 드론에 탑재하 여 실시간으로 적재 불량 및 과적 차량을 정확하게 탐지할 수 있음을 확인하였으며, 향후 교통 단속시스템에 적용 가능성을 제시하였다. Sun et al.(2023)는 고속도로 자동 계측시스템에서 촬영된 이미지를 사용하여 화 물차 차종을 정확하게 식별하고 이를 기반으로 과적 여부를 판단할 수 있는 딥러닝 기반 시스템을 개발하는 것을 목표로 하였다. MMAL-Net 기반 딥러닝 모델을 사용하여 화물차의 전면, 측면, 부분 이미지를 분석해 95.03%의 정확도를 달성하였으며, 해당 방법론을 고속도로 자동 축중 스테이션에 통합하여 실시간 운송 관 리와 교통안전 증대를 제안하였다.

이처럼 기존 연구들은 적재 불량 문제 해결을 위한 AI 및 딥러닝, ICT 기술, 센서 기반 기술 등을 활용한 접근 방안을 제시하고 있으며, 이를 통해 도로 안전성 강화와 효율적인 관리 방안을 모색하고 있다. 더 나아 가, 적재 불량 문제 외에도 딥러닝 알고리즘을 활용하여 화물 차종 인식, 갓길 차로 위반 검출, 도로 노면 균 열 유형 분류 등 도로 위에서 발생하는 이상 상황 등을 검지하는 다양한 선행 연구들이 국내에서 활발히 진 행되고 있다.

Won et al.(2019)는 택배 화물 자동 하역 장비에 적합한 딥러닝 기반 화물 인식 알고리즘을 제안하며, 실시 간 객체 검출과 픽셀 단위의 정확한 위치 검출을 통해 자동 하역 시스템의 효율성을 향상시키고자 하였다. 이를 위해 스테레오 카메라를 사용하여 RGB 및 Depth 정보를 수집하고, YOLO v2와 Mask R-CNN 모델을 융 합하여 객체 검출, 분류, 그리고 픽셀 단위 위치 계산을 수행하였다. 분석 결과, 실제 택배 차량의 적재 공간 을 모사한 환경에서 총 4,000장의 학습 및 테스트 이미지를 통해 모델 성능을 검증하였으며, recall rate 8.32를 기록하며 높은 객체 검출 및 픽셀 단위 정확도를 보였다. Go et al.(2022)는 고속도로 갓길 차로 위반 차량을 실시간으로 검출할 수 있는 자동화 시스템을 개발하였다. Faster R-CNN 모델을 활용하여 입력 영상에서 모든 차량을 탐지하고, 탐지된 차량이 갓길 차로를 위반했는지 여부를 추가적으로 분석하였다. 또한, Faster R-CNN 모델의 사전 학습된 ZFNet과 VGG16 백본을 비교하였다. 데이터 확보의 한계를 극복하기 위해 GTA V 시뮬레이션 게임을 활용하여 고속도로 환경을 재현하고, 1,800장의 데이터를 사용해 모델 성능을 검증하였 다. 결과적으로, ZFNet은 VGG16 대비 약 7% 높은 검출률과 3.4배 빠른 속도를 보였다. Jung and Jung(2020)는 기존 루프 센서를 활용한 교통량 수집 방식의 한계를 극복하고자, 열화상 카메라를 이용하여 1종(승용차)과 3종(2축 트럭)을 분류하는 AI 기반 교통량 데이터 수집 시스템을 제안하였다. 연구를 위해 640×480 픽셀의 열화상 이미지를 주간 및 야간 조건에서 촬영하여 1종 차량 9,804장, 3종 차량 3,275장을 포함한 총 17,536장 의 데이터를 수집하였다. 수집된 데이터를 CNN 모델에 학습시킨 결과, 차량 분류 정확도 97.7%를 달성하였 다. Kim et al.(2019)는 드론으로 촬영한 도로 노면 영상을 딥러닝 기반 객체 탐지 알고리즘을 활용하여 아스 팔트 도로 균열을 탐지하고 유형을 분류하는 연구를 수행하였다. 연구에서는 Tiny-YOLO-V2와 Faster R-CNN 모델 간 성능을 비교하였으며, 대전광역시 유성대로에서 드론을 이용해 수집한 380장의 도로 영상을 분석하 였다. 결과적으로, Tiny-YOLO-V2의 mAP가 33%에 불과한 반면, Faster R-CNN은 mAP 71%로 더 높은 성능을 보였으며, 특히 도로 균열 유형 중 데이터가 많고 형태가 명확한 AC(alligator crack)에서 가장 우수한 성능을 기록하였다.

3. 연구의 차별성 도출

선행 연구를 고찰한 결과, 화물차 적재 불량 단속 시스템은 딥러닝과 AI, ICT 기술의 발전에 따라 지속적 으로 개선되고 있는 것으로 나타났다. 그러나 기존 연구들은 적재 불량 여부를 판단하는 데 있어 현행 법규 를 기준으로 한 구체적인 적재 불량 유형의 분류가 부족한 한계가 있었다. 본 연구에서는 실제 화물차 적재 불량 판독을 수행하는 전문가의 판단을 기반으로, 세부 위반 유형 중 이미지 분석에 용이한 정량적 기준을 포함하는 적재 크기 초과(즉, 적재물의 폭, 길이, 높이 초과) 여부를 딥러닝 모델이 정확히 판단할 수 있는지 를 확인하고자 하였다. 이를 위해, 화물차 적재 특징을 보다 정확하게 분석하기 위해 적재 영역에 대한 bbox 및 이미지 분할과 같은 전처리 작업을 수행하고, 이미지 분할에 따른 구체적인 화물차 영역 정보를 포함하여 적재 크기를 더욱 정밀하게 평가할 수 있는 방법을 제안하였다. 또한, 모델의 입력 구조에 따라 두 가지 모 델의 성능 차이를 분석하고, 최적의 입력 구조를 탐색함으로써 적재 크기 초과 판별 성능을 향상시키는 데 목적이 있다. 이를 통해 딥러닝을 활용한 적재 불량 유형에 해당하는 의심 화물차들의 1차 선별을 자동화하 여 향후 자동화 단속 체계의 고도화를 위한 토대를 마련하고자 한다.

Ⅲ. 활용 데이터 및 분석 방법론

1. 이미지 데이터 수집

본 연구에서 활용된 화물차 이미지는 두 가지 주요 출처에서 수집되었다. 첫 번째 출처는 전라남도 여수 시와 광양시를 연결하는 이순신대교의 CCTV를 통해 2021년에 수집된 화물차 이미지 데이터이다. 이 데이터 는 실제 화물차 적재 불량 단속 업무를 수행하는 전문가의 판단 기준에 따라 각 이미지가 “적재 크기 초과” 와 “정상 적재”로 어노테이션(annotation)되었다. 여기서 “적재 크기 초과”는 전문가의 기준에 따라 적재물의 폭, 길이, 높이가 규정을 초과한 경우를 의미한다. 어노테이션은 이미지나 데이터에 추가적인 정보를 부여하 여 모델 학습에 활용하는 과정을 의미하며, 지도 학습에서는 이러한 어노테이션된 데이터를 사용하여 모델 이 입력 데이터(이미지)와 정답(유형 분류) 간의 관계를 학습하도록 돕는다. 두 번째 출처는 딥러닝 모델의 학습을 위해 충분한 데이터를 확보하기 위하여 AI-Hub에서 제공하는 2023년에 수집된 과적 차량 도로 위험 데이터를 활용한 것이다. 해당 이미지 데이터는 앞서 수집된 이순신대교 이미지의 어노테이션 결과를 참고 하여 연구자가 직접 “적재 크기 초과”와 “정상 적재”로 추가 어노테이션을 수행하였다.

본 연구에서는 화물차의 적재 크기 초과 여부에 대해 딥러닝 모델이 전문가의 판단과 유사한 결과를 도출 할 수 있는지를 검증하고자 하였다. 이를 위해 실제 한국도로공사에서 각 영업소의 CCTV로 수집된 화물차 이미지를 활용하여 적재 불량을 판별하는 방식을 참고하였다. 특히, 여러 각도에서 촬영된 화물차 이미지를 포함하는 AI-Hub 데이터 중에서 CCTV와 유사하게 적재함이 보이는 상단 시점의 고정된 각도에서 촬영된 화물차 이미지를 사용하였다. 다음 <Fig. 3>의 좌측 이미지는 분석에서 제외된 이미지 예시이며, 우측 이미 지는 활용된 이미지 예시를 나타낸다.

<Fig. 3>

Examples of truck images by shooting angle

2. 이미지 전처리 및 데이터셋 구축

1) Bbox 기준 화물차 영역 추출

적재 불량 여부를 판단하기 위해서는 화물차 적재 영역이 집중적으로 분석되어야 하므로 1차적으로 YOLO를 통해 인식된 bbox를 기준으로 자르는 작업을 수행했다. 수집한 모든 이미지 데이터를 대상으로 해 당 전처리 작업을 수행하여 데이터셋을 구축하였으며, 원본 이미지 내에서 bbox 기준으로 화물차 영역 추출 한 예시는 아래 <Fig. 4>과 같다.

<Fig. 4>

Example of extracting truck area based on bbox (red box)

전처리 과정에서는 전체 이미지에서 화물차의 원근에 따라 서로 다른 크기의 bbox를 추출하였으며, 이러 한 다양한 크기의 bbox 이미지를 딥러닝 모델의 입력 구조에 맞추기 위해 모두 224×224 크기로 조정(resize) 하였다. 이를 통해 다양한 크기의 bbox를 일관된 형태로 변환함으로써 모델 학습의 효율성을 높이고, 실제 도로 환경에서 촬영된 다양한 조건의 이미지에도 적용할 수 있도록 하였다.

2) 이미지 분할 기준 화물차 영역 추출

Bbox 기준 화물차 영역을 추출하여 데이터셋을 구축하고 나서, 적재 크기 초과 유형의 경우 화물차 영역 을 기준으로 적재물이 튀어나와 있는 부분이 존재하는 특성을 이용하여 추가적인 적재 크기 초과 화물차의 특징을 포착하고자 하였다. 이를 위해 적재물까지 포함한 화물차 영역을 이미지 분할하여, 적재물이 화물차 본체를 벗어난 구체적인 위치와 형태 정보를 딥러닝 모델이 학습할 수 있도록 제공하는 것을 목표로 하였다.

이때, 객체 인식 라이브러리인 detectron2를 활용하여 Mask R-CNN 알고리즘 기반의 이미지 분할을 수행하 였다. 해당 라이브러리는 데이터 전처리, 데이터 로더, 평가 및 시각화 등 다양한 유틸리티를 지원하고, 사용자 정의 데이터셋 로드 및 새로운 클래스를 학습시키거나 기존 모델을 확장하는 과정이 비교적 간단하다는 장점 이 있어 해당 화물차 영역 추출 과정에 적합하다고 판단하였다. 적재물까지 모두 포함하는 화물차 영역을 이 미지 분할하는 사용자 정의 데이터셋이 필요하기 때문에, 일부 데이터셋에 대하여 자동 툴 기능을 제공하는 플랫폼인 roboflow에서 적재물 포함 화물차 영역을 레이블링하여 이에 대해 이미지 분할 모델을 학습시켰다. 이렇게 학습된 모델을 전체 데이터셋에 적용하여 적재물을 포함하는 화물차 영역을 추출하도록 이미지 분할 을 수행했고, 이미지 데이터셋에 대한 전처리를 완료하였다. 화물차 영역을 추출한 예시는 다음 <Fig. 5>와 같 으며, 향후 이미지 분할 결과를 통해 추출한 화물차 영역은 1, 기타 배경은 0으로 변환하여 활용하였다.

<Fig. 5>

Examples of extracting truck area based on image segmentation

3. 분석방법론

1) 모델 정의

화물차 이미지 분석에는 전이학습(transfer learning) 기법을 활용하여 사전 학습된 EfficientNet을 베이스 모 델로 사용하였다. 전이학습은 대규모 데이터셋으로 사전 학습된 모델의 가중치를 새로운 작업에 재활용함으 로써, 데이터가 부족한 상황에서도 학습 효율성과 성능을 효과적으로 향상시킬 수 있는 기법이다.

EfficientNet은 본 연구의 요구에 맞추어 마지막 분류기 부분만 수정하여 적용되었으며, 이를 통해 적재 크 기 초과 여부 판단 작업에 적합한 성능과 학습 시간을 단축하는 효과를 얻을 수 있었다. 입력 이미지의 구조 에 따라 두 가지 모델을 설계하고 학습을 수행하였다. 분석에 활용된 이미지는 bbox 기준 화물차 영역 추출 이미지와 이미지 분할 기준 화물차 영역 추출 이미지로 구성되었다. Model 1은 bbox 기준 화물차 영역 추출 이미지만을 입력으로 사용한 모델로, 단일 이미지를 기반으로 학습을 진행하였다. Model 2는 bbox 기준 화물 차 영역 이미지와 이미지 분할 기준 화물차 영역 이미지를 함께 입력으로 사용한 모델로, 두 개의 이미지를 입력하여 학습을 수행하였다.

2) 모델 구축

Model 1은 bbox 기준 화물차 영역 추출 이미지를 입력으로 받아 최종적으로 정상 적재와 적재 크기 초과 두 가지 클래스에 대해서 분류하는 모델이다. 구체적으로는 학습 이미지 부족의 한계를 보완하고 모델 학습 의 효율을 높이기 위해 대규모 이미지 데이터셋인 ImageNet으로 사전 학습된 EfficientNet 베이스 모델을 사 용하였다. 이 모델에서는 bbox 기준 화물차 영역 이미지(3×224×224)를 입력으로 사용하며, 여기서 3은 RGB(red, green, blue) 채널을 의미하고, 224×224는 이미지의 픽셀 크기를 나타낸다. 해당 입력을 받아 마지막 분류기(fully connected layer)에서 두 가지 클래스로 분류하도록 설정하였다.

Model 2는 bbox 기준 화물차 영역 추출 이미지와 이미지 분할 기준 화물차 영역 추출 이미지를 모두 입력 으로 받아 최종적으로 정상 적재와 적재 크기 초과 두 가지 클래스에 대해서 분류하는 모델이다. Model 2도 사전 학습된 EfficientNet 베이스 모델을 사용하였으며, bbox 기준 화물차 영역 이미지와 이미지 분할 결과(0 과 1로 구분되는 화물차 영역 추출 이미지)를 결합하여 6채널의 입력 이미지(6×224×224)로 구성하였다. 이를 EfficientNet의 입력으로 제공하고, 마지막 분류기에서 두 가지 클래스로 분류하도록 설정하였다. 최종적으로 Model 1, 2의 구조를 시각화하여 나타난 것은 <Fig. 6>와 같다.

<Fig. 6>

Visualization of the structure of Model 1 and Model 2

입력 구조에 따라 두 가지 모델로 구현한 이유는 각 입력 방식이 가진 특징을 최대한 활용하여 모델의 성 능을 비교하고자 함에 있다. Model 1은 상대적으로 간단한 입력 구조를 통해 기본적인 적재 상태를 평가하 고자 하였고, Model 2는 추가적인 이미지 분할 정보를 포함함으로써 보다 정교하게 적재 크기를 평가할 수 있도록 하였다. 이러한 접근은 모델의 입력 구조에 따라 성능 차이가 어떻게 나타나는지를 확인하고, 더 나 은 적재 불량 판별 성능을 위한 최적의 입력 구조를 탐색하기 위한 것이다.

Ⅳ. 분석 결과

1. 모델 학습 결과

딥러닝 모델 학습 시 구축한 이미지 데이터셋은 총 1,045개이며, 이를 랜덤하게 8:2의 비율로 나눠 각각 학습(train)과 평가(test)에 활용하였다. 이때, 실제 도로 환경에서는 정상 적재 차량에 비해 불법 적재 차량의 비율이 매우 낮지만, 이러한 데이터 비율의 지나친 불균형이 딥러닝 모델 학습 과정에서는 학습 성능 저하를 초래할 수 있다. 이를 방지하고 학습 효율성을 높이기 위해, 본 연구에서는 정상 적재 화물차(normal load truck)와 적재 크기 초과 화물차(oversize load truck)의 비율을 약 6:4로 조정하여 데이터셋을 구성하였다. 이러 한 데이터셋 설계를 통해 모델 학습의 안정성을 확보함과 동시에 적재 크기 초과 여부를 효과적으로 판단할 수 있는 성능을 달성하고자 하였다. 또한, 학습 데이터의 20%를 학습 반복 횟수(epoch) 25회마다 검증 (validation)에 활용하도록 하였으며, 구체적인 데이터셋 정보는 다음 <Table 3>와 같다. 이와 함께, 모델에 따 른 하이퍼파라미터는 시행착오법을 통해 가장 높은 성능을 보이는 값으로 선정하였으며, 각 모델 학습에 사 용한 하이퍼파라미터 정보는 <Table 4>과 같다.

각 모델을 학습 데이터를 사용해 학습한 후, 평가데이터에 대해 정상 적재 및 적재 크기 초과 클래스를 분 류하였다. 화물차 이미지 분류 결과 예시는 다음 <Fig. 7>에 제시되어 있다. <Fig. 7>의 (a)는 실제 클래스가 적재 크기 초과인 좌측 이미지를 입력했을 때, 학습된 딥러닝 모델이 우측과 같이 적재 크기 초과로 올바르 게 분류한 예시를 나타낸다. 반면, (b)는 실제 클래스가 정상 적재인 좌측 이미지를 입력했을 때, 학습된 모 델이 우측과 같이 적재 크기 초과로 잘못 분류한 예시를 보여준다.

<Fig. 7>

Examples of the results of classifying truck images

2. 모델 학습 결과 비교

모델에 따른 클래스 분류를 한 결과 분류 성능 평가 지표를 도출하여 성능을 비교하고자 하였다. 모델별 로 confusion matrix를 그려 accuracy, precision, recall, 클래스별 가중치를 반영한 weighted f1-score를 산출하였 으며 이는 다음 <Fig. 8>과 <Table 5>와 같다.

<Fig. 8>

Confusion matrix of Model 1 and Model 2

Model 1과 Model 2의 산출된 평가지표에 따르면, accuracy, precision, recall 및 weighted f1-score가 0.940 이 상의 높은 분류 성능을 보여줬지만, Model 2가 Model 1보다 상대적으로 높은 성능을 보였다. accuracy, precision, recall, weighted f1-score 모두에서 Model 2가 각각 0.986, 0.988, 0.976, 0.986의 값을 기록하며, Model 1의 성능 0.957, 0.940, 0.951, 0.957보다 전반적으로 우수한 결과를 보였다. <Fig. 8>에 제시된 모델별 confusion matrix 결과에 따르면, Model 2는 추가적인 이미지 분할 기반 정보를 활용함으로써 Model 1에 비해 FP(false positive)와 FN(false negative)가 모두 감소한 것으로 나타났다. 특히, Model 1에서 실제 적재 크기 초 과 화물차를 정상 적재 화물차로 잘못 판단한 사례(FN)가 4건이었던 반면, Model 2에서는 2건으로 줄어들었 다. 이는 이미지 분할 정보를 활용함으로써 적재물의 크기와 위치를 상대적으로 정확하게 인식할 수 있었으 며, 이러한 개선이 모델의 학습 성능 향상에 기여했음을 보여준다.

또한, 각 모델의 학습 결과를 시각적으로 해석하기 위해 Grad-CAM(gradient-weighted class activation mapping) 을 적용하였다. Grad-CAM은 이미지 분류 모델이 특정 클래스를 예측할 때 어떤 부분에 주목하는지 시각화하 는 기법으로, 모델의 예측 과정에 대한 이해를 돕는다. <Fig. 9>은 학습시킨 Model 1과 Model 2를 대상으로 동일한 적재 크기 초과 유형에 해당하는 화물차 이미지에 대해 Grad-CAM을 적용하여 heatmap 형태로 시각화 한 결과를 나타낸다. 좌측 이미지는 Model 1의 Grad-CAM 결과로, 모델이 적재물의 중앙 영역에 집중하여 클래 스를 예측했음을 보여준다. 반면, 우측 이미지는 Model 2의 Grad-CAM 결과로, 적재물 전반에 걸쳐 주목하고 있음을 확인할 수 있다. 이는 Model 2가 적재물 전체에 대한 정보를 포착하여 과적 상태를 보다 정확하고 포괄 적으로 평가할 수 있음을 의미하며, 이러한 포착 능력이 Model 2의 성능 향상에 기여함을 시사한다.

<Fig. 9>

Comparison of Grad-CAM results between Model 1 and Model 2

이에 따라, Model 2에서 제안된 이미지 분할 기반으로 추출된 추가적인 화물차 적재 관련 정보가 모델 학 습에 일정 부분 도움이 된 것으로 판단할 수 있으며, 향후 추가 연구를 통해 높은 성능의 분류 작업을 요구 하는 응용 분야에서 보다 신뢰성 있는 결과를 제공할 수 있을 것으로 기대된다.

Ⅴ. 결론 및 향후계획

본 연구는 이미지 분류에서 높은 성능을 보이는 EfficientNet 기반 딥러닝 모델을 활용하여, 전문가의 판단 을 기반으로 한 세부 위반 유형 중 정량적 기준을 포함하여 이미지 분석에 용이할 것으로 판단되는 적재 크 기 초과(즉, 적재물의 폭, 길이, 높이 초과) 여부를 딥러닝 모델이 정확히 판단할 수 있는지를 확인하고자 하 였다. 연구 과정에서 이순신대교 CCTV 이미지 및 AI-Hub에서 제공하는 과적 차량 도로 위험 데이터를 수집 하였으며, 수집된 이미지에 대해 bbox 및 이미지 분할 기법을 사용하여 화물차의 적재 영역을 정확하게 추출 하는 전처리 과정을 적용하였다. 이를 통해, 이미지 분석 과정에서 적재 영역에 집중된 정보가 반영되도록 하여 분류 성능을 더욱 향상시킬 수 있었다. 총 1,045장의 화물차 이미지를 수집하여 딥러닝 모델 학습에 활 용하였고, 209장의 이미지를 이용해 학습된 모델을 평가한 결과, Model 1과 Model 2 모두 accuracy, precision, recall, weighted f1-score에서 0.940 이상의 높은 성능을 보였다. 이는 EfficientNet 기반의 딥러닝 모델이 화물 차 적재 불량 문제, 특히 적재 크기 초과 여부를 판단하는 데 효과적인 모델임을 입증하는 결과로 볼 수 있 다. 특히 Model 2는 Model 1에 비해 전반적으로 더 우수한 성능을 기록하였고, Model 2는 적재 크기 초과 화 물차를 더 높은 정확도로 예측할 수 있었다. 이는 이미지 분할을 통해 추가적인 적재 관련 정보, 즉 적재물 의 크기와 위치 정보를 정확하게 추출하여 학습에 반영한 결과로 볼 수 있다.

이렇듯 본 연구에서는 화물차의 적재 크기 초과 여부를 판단하기 위해 EfficientNet 기반의 딥러닝 모델을 적용하였으며, 이미지 분할 기법을 활용하여 모델의 성능을 향상시켰다. 그러나 본 연구에는 몇 가지 한계점 이 존재한다.

첫째, 본 연구에서는 유사한 각도에서 촬영된 CCTV 이미지를 학습 데이터로 활용하였기 때문에, 다양한 환경에서의 적용 가능성에 한계가 있다. 실제 도로 환경에서는 화물차가 다양한 각도와 위치에서 촬영될 수 있으므로, 기존 모델이 다양한 환경에서도 일관된 성능을 보장할 수 있는지에 대한 추가적인 검증이 필요하 다. 둘째, 본 연구는 적재 크기 초과 여부에 한정하여 분석을 수행하였으며, 덮개 미설치, 결속 상태 불량, 적 재함 개방 등 다양한 안전기준 위반 사례를 고려하지 않았다. 이러한 요소들은 도로 안전성 확보 및 효과적 인 화물차 단속을 위해 중요한 요인으로, 향후 연구에서 보완이 필요하다. 셋째, 본 연구에서 적용한 CNN 모델은 이미지의 전반적인 특징을 학습하여 적재 크기 초과 여부를 효과적으로 판단할 수 있었으나, 높이 초 과, 길이 초과, 폭 초과 등 세부적인 초과 요인을 구체적으로 구분하는 데 한계가 존재한다. 이는 CNN 모델 이 주로 지역적 특징을 학습하는 데 강점을 가지지만, 화물차의 구조적 특성이나 환경적 요인(예: 화물의 부 분적 가림, 다양한 촬영 각도 등)에 민감하여 세부 정보를 놓칠 수 있기 때문이라 판단된다.

이러한 한계를 보완하기 위해 향후 연구에서는 다음과 같은 확장이 필요하다. 우선, 모델의 범용성을 높이 기 위해 CCTV뿐만 아니라 드론 등 실무 환경에서 촬영된 다양한 각도와 위치의 화물차 이미지를 추가로 수 집하고 모델 학습에 반영할 예정이다. 이를 통해 실제 도로 환경에서 발생할 수 있는 다양한 상황을 반영하 여 보다 신뢰성 높은 모델을 구축할 수 있을 것으로 기대된다. 또한, 화물차의 다양한 안전기준 위반 여부를 정확히 분류할 수 있도록 모델을 고도화할 필요가 있다. 덮개 미설치, 결속 상태 불량, 적재함 개방 등 다양 한 위반 유형을 고려한 다중 분류 모델을 개발함으로써, 보다 포괄적인 도로 안전관리 체계를 마련할 수 있 을 것이다.

이때, 세부 위반 요인을 정확히 구분하기 위해 3D 객체 탐지 기술 및 transformer 기반 딥러닝 모델을 도입 하는 방안을 고려해야 할 것으로 판단된다. transformer 모델의 셀프 어텐션 메커니즘(self-attention mechanism) 을 활용하면 적재물의 전체적인 크기와 위치 관계를 정밀하게 파악할 수 있으며, 이를 통해 적재 크기 초과 여부뿐만 아니라 초과된 구체적인 요인을 명확히 식별할 수 있을 것으로 기대된다. 아울러, 향후에는 거대언 어모형(large language model, LLM)을 활용하는 방안도 고려할 필요가 있다. 구체적으로, CNN 모델의 분류 결과와 입력 이미지를 기반으로 LLM을 활용하여 모델의 분류 근거를 설명하도록 함으로써, 모델의 해석 가 능성과 신뢰성을 더욱 향상시킬 수 있을 것이다. 이러한 접근은 화물차 적재 크기 초과 여부 판단의 투명성 을 높이고, 궁극적으로 교통 단속 및 법적 규제 적용의 효율성을 강화하는 데 기여할 것으로 기대된다. 결론 적으로, 이미지 분할 기법, transformer 모델, 그리고 LLM을 결합한 첨단 기술의 융합을 통해 기존 딥러닝 기 반 접근 방식의 한계를 보완하고, 화물차 적재 크기 초과 여부를 보다 정확하고 정밀하게 분석할 수 있는 시 스템을 구축할 수 있을 것으로 예상된다.