Ⅰ. 서 론
1. 연구의 배경 및 목적
지능형 교통 체계(Intelligent transport systems, ITS)는 교통운영에서 교통안전에 이르기까지 혁신적인 서비 스를 제공하며, 사물인터넷(internet-of-things, IoT) 기술의 활용이 증가함에 따라 시기적절하고 고도화된 서비 스를 제공할 수 있게 되었다(Zheng et al., 2019). 교통정보의 예측은 ITS의 교통운영과 교통정보 제공의 측면 에서 핵심적인 역할을 수행하며, 교통시설 이용자와 운영자 모두에게 서비스를 제공 하는데 활용되고 있다 (Fink, 1995). 또한, 정확도가 높은 교통정보 예측은 ITS를 활용한 교통시설 이용자들의 혼잡 경로 회피 제공 등에서 활용되기에, ITS에서 가장 중요한 부분 중 하나로 여겨진다(Zheng et al., 2021).
단기 교통정보 예측모델은 시계열 데이터를 기반으로 하는 가장 기초적인 회귀분석 중 하나인 자동회귀 이동평균 모델(autoregressive moving average, ARMA)부터 딥러닝을 기반으로 하는 모델까지 다양하다. 특히 딥러닝을 기반으로 하는 모델은 기초적인 합성곱 신경망(convolutional neural network, CNN), 장단기 메모리 (long short term memory, LSTM), LSTM을 간단하게 개선한 게이트 순환 유닛(gated recurrent unit, GRU), 양방 향 LSTM, CNN과 LSTM을 결합한 Conv-LSTM, 다층 퍼셉트론(multi-layer perceptron, MLP) 모델과 자동회귀 누적이동평균(autoregressive intergrated moving average, ARIMA)을 결합한 모델 등 단일 모델 뿐만 아니라, 다 양한 기존 모델을 결합하여 정확도가 높은 예측을 수행하는 형태도 존재한다(Zheng et al., 2021).
이처럼, 딥러닝에서는 다양한 모델들의 장단점을 여러가지 방법으로 결합하여 예측 정확도와 안정성을 높 이고자 하고 있으며 이러한 작업을 앙상블(ensemble)이라 한다(Eom et al., 2020). 앙상블 기법은 일반적으로 배깅(bagging), 스태킹(stacking), 부스팅(boosting) 등으로 분류된다(Jang, 2022). 배깅은 개별 지도학습을 통해 병렬형 예측분류 결과를 도출하는 기법이며, 부스팅은 여러 딥러닝 모델을 거치며 예측 가능성을 높이는 가 중 학습 데이터 모델을 생성하는 기법, 마지막으로 스태킹 기법은 개별 딥러닝 모델의 예측 결과를 결합하여 다시 학습 데이터로 활용하는 기법이다(Jang, 2022;Creamer and Freund, 2010;Kang and Noh, 2022). 스태킹을 활용하여 모델을 학습시키면 모델 적합도를 향상시킬 수 있으나, 동일한 데이터로 훈련됨에 따라 과적합 문 제가 발생한다. 이를 개선하기 위해 교차검증(cross validation) 기반 스태킹 기법이 등장하였으며, 교차검증은 데이터의 모든 부분을 사용하여 모형을 검증 및 평가하기에 과적합을 개선하고 정확도를 향상시키는 데 그 의미가 있다(Seo, 2022).
해외 연구에서는 다양한 모델의 조합을 통해 높은 성능의 교통정보 예측모델을 개발하고 있으며, 교차검증을 통해 과적합을 방지하는 연구가 활발히 이루어지고 있다(Zheng et al., 2021;Liu et al., 2020;Del Ser et al., 2019). 다만, 국내 교통정보 예측모델은 단일 모델 혹은 배깅과 부스팅을 활용한 모델 개발이 주를 이루고 있다.
따라서, 본 연구에서는 딥러닝 앙상블 기법 중 스태킹을 활용하여 고속도로의 교통정보 예측모델을 개발 하고자 한다. 이를 위해 기존 시계열 예측에서 널리 활용되는 다양한 모델들을 기반으로 교통정보 예측모델 을 개발하고, 이를 스태킹 앙상블하여 모델별 성능 평가를 수행하였다. 또한, 다양한 스태킹 앙상블에 있어 교차검증의 여부에 따른 모델의 성능을 비교하여 교차검증이 교통정보 예측모델 개발에 미치는 영향을 분석 할 수 있도록 하였다.
2. 연구의 범위 및 절차
본 연구에서 개발하고자 하는 교통정보 예측모델에는 한국도로공사 공공데이터 포털에서 제공하는 차량 검지기(vehicle detection system, VDS) 기반 지점 교통량 및 속도 데이터가 활용되었다. 이에 따라 본 연구의 공간적 범위는 VDS 데이터가 수집되는 국내 고속도로 본선부이며, 시간적 범위는 고속도로 교통정보 중 최 근 3개년에 해당하는 2020 ~ 2022년으로 설정하였다.
연구는 VDS 데이터 수집 및 분석과 대상구간 선정, 교통정보 예측모델 및 앙상블 모델 구성, 구성된 앙상 블 모델 평가･비교 순으로 수행되었다.
Ⅱ. 관련 이론 및 연구 고찰
1. 관련 이론 고찰
본 연구에서는 다양한 딥러닝 모델들 중, 예측 정확도가 높고, 국내에서 활발히 사용되며 상대적으로 최근 에 개발된 LSTM, 양방향 LSTM, GRU를 앙상블하여 모델을 개발하였다. 또한, 다양한 교통정보 예측 모델 및 앙상블 관련 연구의 고찰을 통해 연구의 차별점을 도출하였다.
1) 딥러닝 모델
LSTM은 장단기 메모리를 활용한 딥러닝 모델로, 시계열 예측에 널리 활용되는 모델이다. LSTM은 RNN이 가진 기울기 소멸 문제(vanishing gradient problem)를 개선한 모델이다. 은닉층에 하나의 활성화 함수만 존재 하는 RNN과 달리 LSTM은 cell state, forget, input, output 게이트를 추가하여 정보의 전달을 통제함으로써 학 습이 진행되는 도중 기울기가 소실되는 문제를 해결하였다(Kim and Park, 2021). LSTM의 구조는 cell state, forget gate, input gate, output gate를 중심으로 서로 정보를 주고받는 구조로 구성되어 있으며, forget gate에서 는 입력된 정보 중 어떤 정보를 버릴지, input gate에서는 어떤 값을 업데이트할 것인지, output gate에서는 출 력값을 결정한다(Kim and Lee, 2020a)
양방향 LSTM은 일반 순환신경망의 예측 결과가 직전 패턴을 기반으로 수렴하려는 경향을 가지는 문제, 입력되는 데이터의 길이가 길고 층이 깊으면 과거의 정보가 손실되는 기울기 소멸 문제를 모두 극복하기 위 해 제안된 알고리즘이다(Ko et al., 2018). 양방향 LSTM은 정방향으로 학습하는 LSTM에 역방향으로 학습하 는 LSTM을 추가하는 형태로 구성하여 예측 결과가 직전 패턴을 기반으로 수렴하려는 문제점을 해소하였다.
GRU는 LSTM의 셀을 간단하게 개선하여 reset gate, update gate 두 개의 gate를 활용하는 모델이다. Reset gate는 이전 시퀀스의 기억 정도를 결정하는 게이트이며, update gate는 LSTM의 forget gate와 input gate를 결 합하여 이전 및 현재 시퀀스의 정보 반영 비율을 결정하는 gate이다. GRU는 LSTM보다 간단한 구조를 가지 고 있으나, 성능이 비슷하고 처리 속도가 더욱 빠른 모델로 평가된다(Chung et al., 2014).
2) 앙상블 기법
앙상블 기법은 한 개의 학습 알고리즘을 단독으로 사용하는 것보다 더 좋은 예측 성능을 얻기 위해 두 개 이상의 알고리즘을 학습하여 결합하는 방식이다(Rokach, 2010). 이러한 앙상블 기법을 딥러닝에 적용시키면, 여러 모델들의 장단점을 다양한 방법으로 결합함으로써 과적합을 해소하며, 예측 정확도와 안정성을 높일 수 있다(Eom et al., 2020).
앙상블 기법은 일반적으로 배깅, 스태킹, 부스팅 등으로 분류된다(Jang, 2022). 배깅은 개별 지도학습을 통 해 병렬형 예측분류 결과를 도출하는 기법이며, 부스팅은 여러 모델을 거치며 예측 가능성을 높이는 가중 학 습 데이터 모델을 생성하는 기법, 마지막으로 스태킹은 개별 모델의 예측 결과를 결합하여 다시 학습 데이터 로 활용하는 기법이다(Jang, 2022;Creamer and Freund, 2010;Kang and Noh, 2022).
스태킹을 활용하는 앙상블은 다양한 모델의 예측 결과를 결합하는 만큼, 높은 정확도를 보이며 다양한 모 델의 장점을 반영하여 안정적인 모델을 구성할 수 있으나, 과적합에 취약한 단점을 가지고 있다. 따라서, 이 를 해소하기 위해서는 교차검증을 활용하며(Seo, 2022), 시계열 데이터 기반 예측은 데이터의 흐름을 고려한 교차검증이 필요하다.
2. 관련 연구 고찰
1) 교통정보 예측
Kim et al.(2020b)은 LSTM 모델을 기반으로 단기 통행속도 예측 모델을 개발하였다. 시공간적 영향력을 반 영할 수 있는 모델을 구성하기 위해 대상 구간 인근의 평균 속도를 입력 데이터로 활용하였다. 개발된 모델 은 2개의 LSTM 레이어, 3개의 dense 레이어로 구성되었으며, 1년간의 5분 단위 평균 속도를 입력받아 5분부 터 1시간까지의 단기 통행속도를 예측하였다. 모델의 평가 결과, 오차율은 5분 예측에서 최저 5.5%, 60분 예 측에서 최대 13.5%까지 증가하였다.
Park(2022)은 딥러닝 모델을 활용하여 5분 단위 평균속도를 기반으로 1시간 통행속도 예측모델을 개발하 였다. CNN, GRU을 활용하여 도로의 공간적 특성과 시계열 특성을 학습하고, 학습 결과에 어텐션(attention)기 법을 적용해 가중치를 부여함으로써 성능을 향상시켰다. 시공간적 특성을 반영할 수 있도록 분석 대상 구간 인근 2개 링크의 평균 속도를 입력 데이터로 활용하였다. 성능 비교 결과, CNN/GRU 단일 모델과 CNN/GRU 결합 모델보다 CNN/GRU 결합 모델에 어텐션을 적용한 모델이 더욱 우수한 예측 성능을 나타내었다.
Kim et al.(2023)은 도시부 도로의 다양한 자료를 수집하여 통행속도 변화에 대한 영향을 분석하였으며, GRU 모델을 기반으로 단기 통행속도 예측 모델을 개발하였다. 모델은 3개의 GRU 레이어를 활용해 구성하 였으며, 성능을 평가하기 위해 직전 주기의 통행속도를 기반으로 baseline 모델을 활용하였다. 모델의 평가 결과, 평균 제곱근 오차(root mean squared error, RMSE)는 5.08로 분석 대상구간 15개 중 14개가 baseline 모델 보다 우수한 예측 성능을 나타내었다.
2) 앙상블 기법
Zheng et al.(2021)은 앙상블 모델을 활용해 단기 교통량을 예측하였다. 본 연구에서는 ARIMA, LSTM, stacked autoencoder(SAE), 캡슐 네트워크(capsule network, CAPSNET) 모델을 결합한 ALLSCP 모델을 제안하였다. ALLSCP 모델은 동일한 입력 데이터를 기반으로 예측한 support vector regression(SVR), CNN 및 타 연구의 모델들 과 비교되었으며, 직선도로에서 96.14%, 교차로에서 95.53%의 정확도로 더욱 우수한 성능을 보였다.
Del Ser et al.(2019)는 회귀 신경망의 일종인 echo state network(ESN)를 스태킹하여 구성한 모델인 e-ESN 모델을 개발하여 도시 내부 교통량을 예측하였다. 모델은 K-최근접이웃(K-nearest neighbor, KNN), 의사결정 나무 회귀, 선형 회귀, SVR, MLP, LSTM을 활용하였으며, 앙상블 방법으로 랜덤 포레스트, adaboost, gradient boosting을 활용하였다. 평가 결과,스태킹 기법을 활용한 e-ESN 모델이 12개 지점 교통량 중 10개 지점에서 타 모델보다 높은 예측 정확도를 보였다.
3. 연구의 차별성
교통정보 예측에는 일반 선형 회귀모형부터 CNN, LSTM, GRU와 같은 딥러닝 모델들이 다양하게 활용되어 왔다. 해외 연구에서는 다양한 모델의 조합을 통해 높은 성능의 교통정보 예측모델들이 개발되고 있으며, 대부 분의 모델들이 교차검증을 통해 과적합을 방지하고 있다(Asencio-Cortés et al., 2016;Yang et al., 2017;Zhong et al., 2020;Del Ser et al., 2019). 다만, 국내 교통정보 예측모델은 단일 모델 혹은 배깅과 부스팅을 활용한 모델 이 주로 개발되고 있는 것으로 나타났다(Jeon et al., 2021;Kim et al., 2020b;Park, 2022;Kim et al,. 2023).
따라서, 본 연구에서는 LSTM, 양방향 LSTM, GRU 모델을 기반으로, 다양한 조합의 스태킹 앙상블을 수행 하여 다양한 교통정보 예측모델을 개발･평가한다. 또한, 본 연구의 목적은 국내 고속도로 교통정보를 예측하 는 앙상블 모델의 개발 및 평가에 있으므로, 국내 고속도로 다구간에 이를 적용하여 다양한 스태킹 앙상블 방법 중 국내 도로망에 부합하는 모델을 개발 및 평가하였다.
Ⅲ. 고속도로 교통정보 예측모델 개발 및 평가
1. 자료 수집 및 대상 구간 선정
1) 고속도로 교통정보 수집 및 대상 구간 선정
고속도로 교통정보는 한국도로공사 고속도로 공공데이터 포털(https://data.ex.co.kr/)에서 제공하는 5분 단위 VDS 교통량 및 평균속도 데이터를 활용하였다. VDS 데이터는 수집이 이루어진 집계 일자 및 시･분, 교통량, 평균 속도로 구성되어 있다. 본 연구에서 모델의 개발에 활용하는 데이터는 개별 대상구간의 요일, 월, 교통 량, 평균속도로 구성하였기 때문에, VDS 데이터를 전처리하여 활용하였다.
본 연구의 교통정보 예측은 다구간을 대상으로 하기 때문에, 국내 고속도로의 교통류 흐름을 대표할 수 있는 구간을 선정하였다. 이를 위해 인근 3개년의 국내 고속도로 교통정보를 기반으로 대상구간 선정 기준 을 설정하였다. 첫 번째 기준은 버스 전용차로 및 갓길차로제를 시행하지 않을 것으로 설정하였다. 버스 전 용차로 및 갓길차로제 시행 구간은 VDS가 일부 설치되지 않아, 정확한 교통량이 집계되지 않기 때문에 상류 및 하류 구간에서 교통량이 급증하는 현상이 발생할 수 있기 때문이다. 두 번째 기준은 대상 구간이 세개 이 상의 VDS로 구성되어 있을 것으로 설정하였다. 대상 구간의 진출입부에서는 교통류의 흐름이 급변하기 때 문에 교통정보의 예측에 영향을 끼칠 수 있기 때문이다. 마지막으로, 일부 돌발상황 및 유지보수의 이유로 교통정보가 수집되지 않는 기간들이 있음을 고려해 개별 콘존 1개년 데이터 중 ‘-1’로 표기되는 오류 데이터 가 10만 건/년 미만으로 발생하는 구간일 것으로 설정하였다.
세 가지 조건을 만족하는 고속도로 구간 중, 오류 데이터가 가장 적은 상위 세개 구간을 대상구간으로 선 정하였다. 선정된 구간은 동경주 IC → 남포항 IC, 경기광주 JC → 신월천교, 밀양 IC → 밀양 JC 구간이며, 선정 과정 및 결과는 <Table 1>과 같다.
<Table 1>
Target section details
| Section Name | Conzone ID | Installation of LCS/Bus only lane | Number of VDS | Number of Error Data | Selected VDS I.D | ||
|---|---|---|---|---|---|---|---|
| 2020 | 2021 | 2022 | |||||
| Donggyeongju IC → Nampo Port IC | 0652CZS040 | X | 10 | 27,268 | 1,492 | 127,284 | 0652VDS04702 |
| Gyeonggi Gwangju JC →Sinyewol Bridge | 0370CZS030 | X | 4 | 684 | 31,336 | 105,785 | 0370VDS01700 |
| Milyang IC → Milyang JC | 0552CZE085 | X | 4 | 1,893 | 2,750 | 1,343 | 0552VDS01190 |
2. 개별 모델 구성 및 평가
딥러닝 모델은 모델 내부 구조에 따라 사용자가 직접 세팅해주는 값인 하이퍼 파라미터(hyper parameter)의 조절을 통해 최적화할 수 있다(Brownlee, 2018). 하이퍼 파라미터의 최적화는 시행착오법을 통해 수행되며, 예측모델 및 입력되는 데이터별로 상이하게 이루어진다.
본 연구에서 시행착오법을 통해 수정되는 하이퍼 파라미터는 모델 내부에서 처리되는 데이터들의 단위인 window size(Shi et al., 2022), 은닉층의 수인 hidden layer, 개별 입력 데이터들의 연산을 담당하는 unit, 학습의 방향 및 편향 등을 설정하는 optimizer(Ruder, 2017), 학습의 정도에 해당하는 learning rate(Lee et al., 2023), 과 적합의 방지를 위해 일부 뉴런을 비활성화하는 비율인 dropout rate이다(Srivastava et al., 2014). Epoch(patience) 는 모델의 반복 학습 과정에서 개선이 이루어지지 않으면 학습을 종료하는데, 이때 개선이 이루어지지 않는 임계 횟수이고, loss function은 공통적으로 평균제곱오차(mean squared error, MSE)로 설정하였기 때문에 시행 착오법에서 수정하지 않았다.
본 연구에서는 모델별로 시행착오법을 수행하여 최적의 성능을 낼 수 있는 모델을 구성하였다. 모델의 예 측 기간을 1시간으로 설정하였기 때문에, 5분 단위 12건의 데이터를 제외한 데이터를 학습에 활용하였다. 개 발한 모델이 train 데이터에 과도하게 적합되었는지 여부, 즉 과적합 여부를 확인하기 위해 train 데이터와 test 데이터를 8:2로 분할하여 학습을 진행하였다.
또한, 교통정보 데이터의 특성 상, 교통량이 0이거나 속도가 0인 데이터들이 존재하기 때문에 평가지표는 대칭평균절대비오차(symmetric mean absolute percentage error, SMAPE)로 제시하였다. SMAPE는 실제값이 0이 있는 데이터에서 오류가 발생하는 평균절대비오차(mean absolute percentage error, MAPE)를 보완한 오차율이 다. SMAPE의 산식은 (1)과 같다.
where,
1) LSTM 모델 구성
LSTM 모델은 다변량 시계열 데이터를 활용한 예측이 가능하므로, LSTM 모델이 개별 대상구간의 요일, 월, 교통량, 평균속도 모두를 입력받아 60분간의 예측을 수행할 수 있도록 하였다. 시행착오법을 거쳐 구성 된 구간별 LSTM 모델의 하이퍼 파라미터와 평가지표는 <Table 2>와 같다.
<Table 2>
Optimized LSTM models by target sections
| Hyper-parameters | Donggyeongju IC → Nampo Port IC | Gyeonggi Gwangju JC → Sinyewol Bridge | Milyang IC→ Milyang JC |
|---|---|---|---|
| Window size | 4 | 4 | 3 |
| Hidden layer | 2 | 4 | 5 |
| Unit | 16 | 8 | 6 |
| Optimizer | Adam | Adam | Adam |
| Batch size | 32 | 64 | 64 |
| Learning rate | 0.001 | 0.01 | 0.01 |
| dropout Rate | 0.2 | 0.2 | 0.2 |
| Test SMAPE(volume) | 12.57 | 9.78 | 10.26 |
| Predict SMAPE(volume) | 16.14 | 10.53 | 12.46 |
| Test SMAPE(speed) | 11.31 | 11.29 | 10.50 |
| Predict SMAPE(speed) | 10.75 | 12.35 | 11.37 |
2) 양방향 LSTM 모델 구성
양방향 LSTM 모델은 LSTM 모델과 동일하게 다변량 시계열 데이터 활용한 예측을 수행할 수 있으므로, 입력값으로 개별 대상구간의 요일, 월, 교통량, 평균속도 모두를 입력받아 60분간의 예측을 수행하도록 하였 다. 시행착오법을 거쳐 구성된 구간별 양방향 LSTM 모델의 하이퍼 파라미터와 평가지표는 <Table 3>과 같다.
<Table 3>
Optimized Bi-LSTM models by target sections
| Hyper-parameters | Donggyeongju IC → Nampo Port IC | Gyeonggi Gwangju JC → Sinyewol Bridge | Milyang IC → Milyang JC |
|---|---|---|---|
| Window size | 4 | 4 | 3 |
| Hidden layer | 3 | 3 | 2 |
| Unit | 8 | 32 | 32 |
| Optimizer | Adam | Adam | Adam |
| Batch size | 32 | 128 | 128 |
| Learning rate | 0.01 | 0.01 | 0.001 |
| dropout Rate | 0.2 | 0.2 | 0.2 |
| Test SMAPE(volume) | 11.55 | 8.04 | 10.38 |
| Predict SMAPE(volume) | 15.61 | 9.25 | 12.90 |
| Test SMAPE(speed) | 3.10 | 2.78 | 2.30 |
| Predict SMAPE(speed) | 1.74 | 1.55 | 1.80 |
3) GRU 모델 구성
GRU 모델도 LSTM 모델과 동일하게 다변량 시계열 데이터를 활용해 예측을 수행할 수 있으므로, 입력값 으로 개별 대상구간의 요일, 월, 교통량, 평균속도 모두를 입력받아 60분간의 예측을 수행할 수 있도록 하였 다. 시행착오법을 거쳐 구성된 구간별 GRU 모델의 하이퍼 파라미터와 평가지표는 <Table 4>와 같다.
<Table 4>
Optimized GRU models by target sections
| Hyper-parameters | Donggyeongju IC → Nampo Port IC | Gyeonggi Gwangju JC → Sinyewol Bridge | Milyang IC → Milyang JC |
|---|---|---|---|
| Window size | 6 | 4 | 4 |
| Hidden layer | 3 | 3 | 3 |
| Unit | 16 | 16 | 8 |
| Optimizer | Adam | Adam | Adam |
| Batch size | 128 | 128 | 32 |
| Learning rate | 0.001 | 0.001 | 0.01 |
| dropout Rate | 0.2 | 0.2 | 0.2 |
| Test SMAPE(volume) | 13.42 | 10.36 | 10.28 |
| Predict SMAPE(volume) | 13.90 | 12.78 | 12.46 |
| Test SMAPE(speed) | 3.01 | 2.78 | 2.31 |
| Predict SMAPE(speed) | 1.99 | 1.51 | 1.88 |
4) 개별 모델 평가
앙상블 모델을 구성하기 이전에, 앙상블 모델과의 성능 비교를 위해 개별 모델들을 평가하였다. 먼저 LSTM 모델은 경기광주 JC → 신월천교 구간의 교통량 예측을 제외하고 test SMAPE와 predict SMAPE 모두 10 이상의 값으로, 10% 이상의 오차율을 보였다.
양방향 LSTM 모델의 경우, 교통량 예측은 경기광주 JC → 신월천교 구간을 제외하고 test SMAPE와 predict SMAPE 10 이상의 값으로 10% 이상의 오차율을 보였다. 반면, 속도 예측은 LSTM 모델과 비교하여 크게 개선되어 모든 구간의 test SMAPE는 3 이내의 값으로 3% 이내의 오차율을 보였으며, predict SMAPE는 2 이하로 2% 이하의 오차율을 보였다.
GRU 모델의 교통량 예측은 모든 구간에서 test SMAPE와 predict SMAPE가 10 이상의 값으로 10% 이상의 오차율을 보였다. 속도 예측은 양방향 LSTM 모델과 동일하게 LSTM 모델과 비교하여 크게 개선되었다. 모 든 구간의 test SMAPE와 predict SMAPE가 3 이내의 값으로 3% 이내의 오차율을 보였으며, predict SMAPE는 2 이하로 2% 이하의 오차율을 보였다.
LSTM 모델과 달리 양방향 LSTM, GRU 모델은 속도 예측 면에서 성능이 크게 개선되었는데, 이는 입력된 구간별 평균 속도는 비교적 시간별 교통류 흐름의 편차가 뚜렷하나, LSTM의 예측은 직전 입력값에 큰 영향 을 받는 문제점을 가지고 있기 때문으로 판단된다.
다만, 일부 모델들에서는 test 데이터 기반 예측 오차율과 실제 예측 오차율이 차이를 보인다. 이는, 모델 이 과적합 및 과소적합되었기 때문이다. Test 데이터 기반 예측은 1년간의 데이터 중 약 2개월의 예측을 수 행하기 때문에 넓은 범위의 시간을 예측한다. 따라서, test score는 모델의 전체적인 정확도를 표현하는 반면, predict score는 사전에 정의한 예측 시간인 협소한 범위의 시간을 대상으로 평가하기 때문이다.
3. 앙상블 모델 구성 및 평가
앙상블 모델은 다양한 모델들의 예측 결과를 기반으로 학습･예측을 수행하기 때문에 과적합에 대한 우려 가 존재한다. 본 연구에서 구성되는 앙상블 모델은 K-fold 교차검증을 활용하여 이를 해소하고자 하였으며, 교차검증을 수행한 모델과 수행하지 않은 모델을 상호 비교하였다. K-fold 교차검증은 모델에 입력되는 데이 터들을 분할하여 학습과 예측에 활용하는 검증 방법으로, 모든 데이터를 학습과 예측에 쓸 수 있고 과적합을 방지할 수 있다(Lee et al., 2019). 다만, 학습에 활용되는 고속도로 교통정보 데이터는 시계열적 특성을 가지 고 있기 때문에, 시계열적 특성을 고려할 수 있도록 연속된 데이터로 fold를 구성하였다.
앙상블 모델의 예측에 활용되는 메타모델(meta model)은 MLP, 의사결정나무, KNN 회귀등 다양한 모델을 활용할 수 있으며(Al-Hajj et al., 2019), 본 연구에서는 Al-Hajj et al.(2019)의 연구에서 상위 2개의 메타모델인 KNN 회귀 모델과 MLP 모델 중 KNN 회귀를 적용한다. 이는, KNN 회귀 알고리즘이 가장 가까운 k개의 데 이터들의 평균값을 취하는 방식으로 연산을 수행하기 때문에(Hwang and Jo, 2021), 다양한 개별 모델의 학습 결과를 반영할 수 있을 것이라 판단하였기 때문이다.
그 후, 교차검증의 여부에 따라 모델을 분류하였다. 교차검증을 수행하지 않는 앙상블 모델은 개별 모델의 예측 결과를 쌓아 학습 데이터를 생성하며, 이를 앙상블 모델의 학습 데이터로 활용한다. 교차검증을 수행하 지 않는 앙상블 모델의 구조도는 <Fig. 1>과 같다. 교차검증을 수행하는 앙상블 모델의 개별 모델은 K-fold 교차검증을 통해 K개의 학습 데이터를 생성하며, 이를 앙상블 모델의 학습 데이터로 활용한다. 개별 모델에 서 K번의 예측값의 평균값은 앙상블 모델의 테스트 데이터로 활용된다. 본 연구에서 구성한 교차검증을 수 행하는 앙상블 모델의 구조도는 <Fig. 2>와 같다.
1) Window size 고정 및 최적화 재수행
앙상블 기법은 다양한 모델의 예측 결과들을 기반으로 학습을 재수행하기 때문에, 기반이 되는 예측모델 의 window size가 동일해야 한다. 따라서, 개별 모델의 window size를 고정한 후에 시행착오법을 수행하여 성 능 평가를 다시 수행하였다. 입력 데이터는 5분 단위로 수집되었기 때문에, window size를 최소 1(5분)부터 최대 6(30분)까지 증가시켜 모델의 SMAPE를 기반으로 모델별 평가를 수행하였다. 구간별 여섯 개의 개별 모델 중, 가장 많은 모델이 최저 SMAPE를 보이는 window size를 최적 window size로 설정하였으며, 개별 table에서 음영처리된 부분이 선정된 최적 window size이다. 구간･모델별 평가 결과는 <Table 5>와 같다.
<Table 5>
Train score of a trial-and-error method application(fixed window size)
| Window size | Model | Evaluation score(SMAPE) | |||||
|---|---|---|---|---|---|---|---|
| Donggyeongju IC → Nampo Port IC | Gyeonggi Gwangju JC → Sinyewol Bridge | Milyang IC → Milyang JC | |||||
| Volume | Speed | Volume | Speed | Volume | Speed | ||
| 1 | Lstm | 19.20 | 13.05 | 11.51 | 11.42 | 13.69 | 12.05 |
| Bi-Lstm | 14.98 | 3.24 | 10.53 | 2.91 | 18.79 | 2.43 | |
| GRU | 17.84 | 3.27 | 11.48 | 1.47 | 15.50 | 2.24 | |
| 2 | Lstm | 14.56 | 14.06 | 14.18 | 10.15 | 27.54 | 12.83 |
| Bi-Lstm | 13.53 | 3.14 | 9.08 | 2.82 | 16.95 | 2.35 | |
| GRU | 13.87 | 3.05 | 9.61 | 1.48 | 14.48 | 1.91 | |
| 3 | Lstm | 16.10 | 11.66 | 10.13 | 11.39 | 13.03 | 12.03 |
| Bi-Lstm | 13.23 | 3.23 | 8.63 | 2.80 | 15.58 | 2.25 | |
| GRU | 13.94 | 2.09 | 9.08 | 1.43 | 19.17 | 1.99 | |
| 4 | Lstm | 12.57 | 11.31 | 9.78 | 11.29 | 15.80 | 11.18 |
| Bi-Lstm | 11.55 | 3.10 | 8.04 | 2.78 | 21.44 | 2.28 | |
| GRU | 13.42 | 3.01 | 10.36 | 2.78 | 10.44 | 2.31 | |
| 5 | Lstm | 15.11 | 13.36 | 14.63 | 12.22 | 16.21 | 11.73 |
| Bi-Lstm | 13.03 | 3.06 | 8.35 | 2.69 | 16.44 | 2.30 | |
| GRU | 12.81 | 2.38 | 10.73 | 1.45 | 23.07 | 1.70 | |
| 6 | Lstm | 12.13 | 11.52 | 10.51 | 11.29 | 11.44 | 10.71 |
| Bi-Lstm | 13.24 | 3.06 | 8.18 | 2.79 | 10.71 | 2.34 | |
| GRU | 12.19 | 2.19 | 12.38 | 2.91 | 13.11 | 2.26 | |
Window size를 1에서 6까지 증가시킨 결과, 동경주 IC → 남포항 IC, 경기광주 JC → 신월천교 구간은 window size 4가 최적 window size로 선정되었으며, 밀양 IC → 밀양 JC 구간은 window size 6이 최적 window size로 선정되었다.
2) 앙상블 모델 개발
앙상블 모델은 단순히 개별 모델의 예측 결과를 기반으로 예측을 수행한 모델과 K-fold 교차검증을 수행 하는 모델로 분류하여 개발하였다. 교차검증을 수행한 모델은 4개의 fold를 대상으로 3개의 fold로 학습, 1개 의 fold로 검증을 수행하므로, 3개 fold에 대한 평가를 수행한 후, 이를 평균으로 교차검증 앙상블 모델의 평 가지표를 계산한다.
최종적으로, 3개의 대상구간별 교통량･속도 예측모델은 4개의 앙상블 모델로 개발되었으며, 총 48개의 앙 상블 모델을 구성하였다. 개별 모델은 <Fig. 3>과 같이 fold 별 평가 결과 및 그래프와 전체 모델 평가 결과 를 확인할 수 있도록 구성하였다. 본 연구에서 구성된 전체 앙상블 모델 평가 결과는 <Table 6>과 같으며, 음 영처리된 부분이 가장 낮은 오차율을 보인 모델이다.
<Table 6>
All ensemble model evaluation results
| Target section | Prediction type | Ensembeld model | SMAPE(%) | |||||
|---|---|---|---|---|---|---|---|---|
| Not validated model | Fold 1 | Fold 2 | Fold 3 | Validated model | ||||
| 1 | Donggyeongju IC → Nampo Port IC | Volume | LSTM, GRU Bi-LSTM | 8.26 | 12.26 | 12.23 | 12.14 | 12.21 |
| 2 | LSTM, GRU | 8.26 | 12.14 | 12.27 | 12.51 | 12.31 | ||
| 3 | LSTM, Bi-LSTM | 8.32 | 12.47 | 12.31 | 12.35 | 12.38 | ||
| 4 | GRU, Bi-LSTM | 7.98 | 12.27 | 12.14 | 12.14 | 12.18 | ||
| 5 | Average speed | LSTM, GRU Bi-LSTM | 1.37 | 4.72 | 3.63 | 3.56 | 3.97 | |
| 6 | LSTM, GRU | 1.31 | 4.40 | 3.72 | 3.43 | 3.85 | ||
| 7 | LSTM, Bi-LSTM | 1.34 | 3.83 | 3.75 | 3.50 | 3.69 | ||
| 8 | GRU, Bi-LSTM | 1.58 | 3.87 | 3.79 | 3.52 | 3.73 | ||
| 9 | Gyeonggi Gwangju JC→ Sinyewol Bridge | Volume | LSTM, GRU Bi-LSTM | 8.82 | 8.22 | 8.21 | 9.17 | 8.53 |
| 10 | LSTM, GRU | 7.80 | 8.18 | 8.39 | 9.17 | 8.58 | ||
| 11 | LSTM, Bi-LSTM | 8.24 | 8.19 | 8.45 | 9.36 | 8.67 | ||
| 12 | GRU, Bi-LSTM | 8.80 | 8.36 | 8.23 | 9.31 | 8.63 | ||
| 13 | Average speed | LSTM, GRU Bi-LSTM | 1.40 | 3.07 | 3.05 | 3.56 | 3.23 | |
| 14 | LSTM, GRU | 1.57 | 2.98 | 3.13 | 3.54 | 3.22 | ||
| 15 | LSTM,Bi-LSTM | 1.34 | 3.00 | 3.29 | 3.55 | 3.28 | ||
| 16 | GRU, Bi-LSTM | 1.47 | 3.17 | 3.10 | 3.55 | 3.27 | ||
| 17 | Milyang IC → Milyang JC | Volume | LSTM, GRU Bi-LSTM | 6.65 | 10.94 | 10.32 | 9.46 | 10.24 |
| 18 | LSTM, GRU | 6.62 | 10.68 | 10.33 | 9.56 | 10.19 | ||
| 19 | LSTM, Bi-LSTM | 6.53 | 11.05 | 10.45 | 9.92 | 10.47 | ||
| 20 | GRU, Bi-LSTM | 6.49 | 11.34 | 10.31 | 9.62 | 10.42 | ||
| 21 | Averages peed | LSTM, GRU Bi-LSTM | 1.18 | 2.75 | 2.44 | 2.47 | 2.55 | |
| 22 | LSTM, GRU | 1.15 | 2.71 | 2.44 | 2.36 | 2.50 | ||
| 23 | LSTM, Bi-LSTM | 1.01 | 2.66 | 2.43 | 2.52 | 2.54 | ||
| 24 | GRU, Bi-LSTM | 1.01 | 2.66 | 2.49 | 2.39 | 2.51 | ||
3) 앙상블 모델 평가
앙상블 모델의 평가는 먼저 교차검증의 여부에 따른 앙상블 모델의 성능을 평가하였다. 그리고 앙상블에 활용된 개별 모델과 앙상블 모델을 비교하였다.
먼저, 교차검증의 여부에 따른 모델 평가에서 교차검증을 수행한 모델의 예측 오차율이 높게 나타났다. 이 는 교차검증의 수행이 입력된 모든 데이터를 분할하여 모든 데이터가 학습, 검증 데이터로 활용되도록 하였 기 때문이다. 즉, 교차검증을 수행한 모델은 예측하는 시간의 범위에 관계없이 균일한 예측 정확도를 보장할 수 있도록 구성되었다. 교차검증을 시행하지 않은 앙상블 모델에의 교통량 예측은 양방향 LSTM･GRU 앙상 블 모델이 가장 낮은 오차율을 보였으며, 교차검증을 시행한 앙상블 모델에서는 양방향 LSTM･GRU 앙상블 모델과 LSTM･GRU 앙상블 모델이 낮은 오차율을 보였다.
다음으로 가장 낮은 오차율을 보인 앙상블 모델과 개별 모델의 성능을 비교･분석을 수행하였으며, 결과는 <Table 7>과 같다. 교차검증을 수행하지 않은 모델의 예측 오차는 앙상블에 활용된 개별 모델과 비교해서도 큰 폭으로 개선되었는데, 이는 개별 모델들의 오차율을 낮출 수 있는 방향으로 KNN 회귀를 활용해 학습했 기 때문인 것으로 판단된다. 교차검증을 수행한 모델과 개별 모델을 비교하였을 때는 LSTM 모델의 속도 예 측을 제외하고는 크게 다르지 않은 오차율을 보였다.
<Table 7>
Comparison between ensemble model and individual models
| Model | Evaluation score(SMAPE) | |||||
|---|---|---|---|---|---|---|
| Donggyeongju IC → Nampo Port IC | Gyeonggi Gwangju JC → Sinyewol Bridge | Milyang IC → Milyang JC | ||||
| Volume | Speed | Volume | Speed | Volume | Speed | |
| Not validated ensemble | 7.98 | 1.31 | 7.80 | 1.40 | 6.49 | 1.01 |
| Validated ensemble | 12.18 | 3.69 | 8.53 | 3.22 | 10.19 | 2.51 |
| Lstm | 12.57 | 11.31 | 9.78 | 11.29 | 11.44 | 10.71 |
| Bi-Lstm | 11.55 | 3.1 | 8.04 | 2.78 | 10.71 | 2.34 |
| GRU | 13.42 | 3.01 | 10.36 | 2.78 | 13.11 | 2.26 |
4. 소결
본 절에서는 고속도로 지점 교통량 및 속도 데이터를 기반으로 다양한 고속도로 교통정보 예측모델을 개 발･분석하였다.
가장 먼저, LSTM, 양방향 LSTM, GRU 모델을 기반으로 교통량 및 속도 데이터예측 모델을 개발하였다. 교통량 예측모델은 세 모델 모두 test 데이터 기반 예측에서 10%대의 오차율을 보였다. 다만, 일부 모델은 과 적합 및 과소적합이 된 경향이 있으며 이는 test score는 모델의 전체적인 정확도를 표현하는 반면, predict score는 사전에 정의한 예측 시간인 협소한 범위의 시간을 대상으로 평가하기 때문으로 판단된다.
개별 예측 모델 중, 교통량 예측에서 가장 높은 정확도를 보인 모델은 양방향 LSTM 모델로 나타났다. 교 통량 예측의 경우 세 개별 모델 모두 경기광주 JC → 신월천교 구간을 제외하면 test SMAPE, predict SMAPE 모두 10 이상으로 10% 이상의 오차율을 보였기 때문에 유의미한 차이는 보이지 않았다. 다만, 속도 예측에 서는 LSTM 모델과 비교하여 양방향 LSTM 모델과 GRU 모델이 현저히 낮은 오차율로, test SMAPE가 3 이 내, predict SMAPE가 2 이하의 값으로 3% 이내의 오차율을 보이는 모델이 개발되었다. 이는, 양방향 LSTM 과 GRU가 LSTM의 문제점인 예측이 직전 패턴에 큰 영향을 받는다는 한계를 극복한 모델이기 때문으로 판 단된다.
앙상블 모델은 LSTM, 양방향 LSTM, GRU 모델을 조합하여 구성하였으며, 교차검증을 수행하지 않은 모 델과 수행한 모델을 개발하여 평가를 수행하였다.
교차검증을 수행하지 않은 앙상블 모델은 개별 모델들의 결과를 기반으로 더욱 오차율을 낮출 수 있도록 학습･예측을 수행하였다. 교차검증을 수행하지 않은 앙상블 모델은 개별 모델들과 비교하여 모든 구간에서 교통량 예측 오차율이 8% 이하로 크게 개선되었으며, 속도 예측에서도 2% 이하의 오차율을 보였다. 따라서, 단기 교통정보의 예측에 있어서는 교차검증을 수행하지 않은 앙상블 모델이 부합할 것으로 판단된다.
교차검증을 수행한 앙상블 모델은 예측하는 시간의 범위에 관계없이 균일한 예측 정확도를 보장할 수 있 도록 학습하였다. 교차검증을 수행한 앙상블 모델은 개별 모델들과 비교하였을 때, LSTM 모델의 속도 예측 을 제외하면 교통량 및 속도 예측에서 큰 개선을 보이지 않았다. 다만, 시간적 범위와 관련 없이 균일한 예 측 정확도를 보였다. 이는, 개별 모델이 과적합 및 과소적합되었을 때, 교차검증을 수행하지 않은 앙상블 모 델의 예측 결과도 과적합 및 과소적합될 수 있는 문제점을 극복할 수 있음을 의미한다. 따라서, 장기 교통정 보의 예측에 있어서는 과적합 및 과소적합을 고려했을 때, 교차검증을 수행한 앙상블 모델이 부합할 것으로 판단된다.
Ⅳ. 결론 및 향후 연구과제
본 연구에서는 딥러닝 앙상블 기법 중 스태킹을 활용하여 고속도로의 교통정보 예측모델을 개발･평가하 였다. 이를 위해 기존 시계열 예측에서 널리 활용되는 LSTM, 양방향 LSTM, GRU 모델을 기반으로 교통정보 예측모델을 개발하고, 이를 스태킹 앙상블하여 모델별 성능 평가를 수행하였다. 또한, 다양한 스태킹 앙상블 에 있어 교차검증의 여부에 따른 모델의 성능을 비교하여 교차검증이 교통정보 예측모델에 있어 미치는 영 향을 분석할 수 있도록 하였다.
고속도로 교통정보 예측모델의 개발은 대상구간 선정, 개별 모델 구성 및 평가, window size 고정 및 최적 화 재시행, 앙상블 모델 개발 및 평가 순서로 이루어졌다.
대상구간 선정은 본 연구의 목적이 국내 고속도로 교통정보 예측모델 개발에 있기 때문에, 국내 고속도로 의 교통류 흐름을 대표할 수 있는 구간을 선정할 수 있도록 세가지 기준에 따라 선정되었다. 해당 기준은 버 스전용차로제 및 갓길차로제 미운영구간일 것, VDS 데이터의 수집이 정상적으로 이루어지며 진출입로를 제 외한 구간에 VDS 데이터가 수집이 가능할 것, 수집된 데이터의 오류 데이터가 적은 구간일 것으로 설정하였 다. 해당 기준을 만족하는 국내 고속도로 구간 중 오류 데이터가 가장 작은 세 구간인 동경주 IC → 남포항 IC, 경기광주 JC → 신월천교 구간, 밀양 IC → 밀양 JC 구간을 대상구간으로 선정하였다.
선정된 대상구간의 VDS 데이터를 기반으로 LSTM, 양방향 LSTM, GRU 모델을 구성하였으며, 모델의 구 성에 있어 시행착오법을 수행해 최적화된 교통정보 예측모델을 개발하였다. 입력되는 VDS 데이터는 8:2로 분할하여 학습 및 검증 데이터를 구성하였으며, 1시간을 예측할 수 있도록 구성하였다. 개별 모델은 교통량 예측에 있어서는 10%의 오차율을 보였으며, LSTM 모델을 제외하고는 속도 예측에서 3%이하의 오차율을 보 이는 모델이 구성되었다. 다만, 일부 모델은 test 데이터 기반 과적합 및 과소적합이 된 경향을 보였으며 이 는 단일 모델의 한계 및 예측 시간의 범위에 따른 차이로 판단된다.
이후, 앙상블 모델의 구성을 위해서 개별 모델의 window size를 고정하여 최적화를 재수행하였으며, 최적 화가 재수행된 개별 모델들을 기반으로 스태킹 앙상블 모델을 구성하였다. 구성된 앙상블 모델은 구간별, 예 측 정보별, 교차검증 여부별로 총 48개를 구성하였다. 개발된 앙상블 모델은 교차검증을 수행하지 않은 모델 이 교차검증을 수행한 모델보다 낮은 오차율을 보였다. 교차검증을 수행하지 않은 앙상블 모델은 교통량 예 측에서 8% 이내, 속도 예측에서 2% 이내의 오차율을 보였으며, 교차검증을 수행한 모델은 교통량 예측에서 12% 이내, 속도 예측에서 3% 이내의 오차율을 보였다. 이는 교차검증을 수행하지 않은 앙상블 모델은 단기 예측을 수행한 개별 모델들의 결과를 기반으로 더욱 오차율이 낮출 수 있도록 학습･예측을 수행했으며, 교 차검증을 수행한 모델은 예측하는 시간의 범위에 관계없이 균일한 예측 정확도를 보장할 수 있도록 학습했 기 때문으로 판단된다. 즉, 교차검증을 수행하지 않는 앙상블 모델은 단기 교통정보 예측에 있어서 높은 성 능을 보이며, 교차검증을 수행하는 앙상블 모델은 장기 예측에서 더욱 균일한 성능을 보일 것으로 판단된다.
본 연구는 다양한 딥러닝 모델들을 대상으로 국내 고속도로 교통정보 예측모델을 개발하였다. 교통정보 예측모델은 개별 모델과 개별 모델들을 스태킹 앙상블한 모델을 개발하였으며, 개발된 모델들을 대상으로 분석･평가를 수행하였다. 또한, 앙상블 모델에 있어 교차검증의 여부에 따른 모델의 예측 방향성을 확인하였 다. 다만, 본 연구에서 개발된 모델은 시계열 예측에 높은 성능을 보이는 LSTM, 양방향 LSTM, GRU 모델만 을 대상으로 앙상블을 수행하였으며, 앙상블 모델의 학습에 활용되는 메타모델은 KNN 회귀모델만을 활용하 였다. 또한, VDS 데이터에서 수집 가능한 데이터들만을 기반으로 학습하였기 때문에, 본래 시계열 예측모델 들이 학습할 수 있는 다양한 환경적 요소들을 고려하지 못하였다는 한계점이 있다. 따라서 향후 연구에서 다 양한 딥러닝 모델을 기반으로 환경적 요소들을 고려한 모델을 개발한다면, 더욱 높은 성능의 모델을 개발할 수 있을 것으로 사료된다.
