Journal Search Engine

Volume/Issue :

Year(s) : to

Search :

Title :

Author :

Keyword :

Abstract :

Figure :

Table :

Reference :

Search Advanced Search

Adode Reader(link)

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer

The Journal of The Korea Institute of Intelligent Transport Systems Vol.24 No.4 pp.55-70
DOI : https://doi.org/10.12815/kits.2025.24.4.55

Video Analysis-Based Anomaly Detection Algorithm Leveraging Collective Behavior Transitions in Subway Coaches

Junghwa Kim^*

^*Dept. of Urban and Transportation Engineering., Kyonggi University

^† Corresponding author : Junghwa Kim, junghwa.kim@kyonggi.ac.kr

Received 11 August 2025 │ Revised 26 August 2025 │ Accepted 26 August 2025

Abstract

We present an interpretable, rule based video analysis algorithm for early recognition of high risk events (e.g., arson, fire, knife attacks) inside subway coaches. Validation uses routine operation footage and CCTV from the May 31, 2025 Line 5 arson incident. Using YOLOv5s for person detection and DeepSORT for multi object tracking, we compute frame level average speed (avg_speed) and the circular standard deviation of headings (dir_std) while preserving ID consistency under occlusion. The key advantage is rapid anomaly judgment by capturing collective behavior transitions—a sudden surge of movement aligned in one direction—through two simple statistics. The final decision declares an anomaly when (avg_speed > 1.700 m/s) OR (dir_std < 91.0°) holds for K = 3 consecutive frames and the anomaly fraction within W = 13 satisfies r ≥ 0.45. On the evaluated videos, the method achieved Precision 0.905, Recall 0.909, F1 0.907, and Accuracy 0.869 at the frame level. The results underpin enhancements to urban-rail safety by enabling earlier operator awareness and mitigating secondary harm, and the proposed rule set shows strong potential as a core component of CCTV-based early-warning modules.

Key Words : Multi object tracking , YOLOv5 , DeepSORT , Incident detection Public Transport Safety

도시철도 객차 내 집단행동 전이를 이용한 영상분석 기반 이상상황 감지 알고리즘 개발

김 정 화^*

^*주저자 및 교신저자 : 경기대학교 스마트시티공학부 도시·교통공학전공 교수

초록

도시철도(지하철) 객차처럼 폐쇄·혼잡한 환경에서 발생할 수 있는 방화·화재·흉기 난동 등 고위험 상황을 조기 포착하기 위해 영상분석 기반의 규칙형 이상상황 감지 알고리즘을 제안한 다. 정상 운행 장면과 함께 2025년 5월 31일 5호선 객차 방화 사건의 CCTV 영상을 활용해 검증 하였으며, 사람 검출에는 YOLOv5s, 다중객체 추적에는 DeepSORT를 사용하였다. 제안 안골리 즘은 가림(occlusion) 상황에서도 ID 일관성을 확보하고, 프레임 단위 평균 속도(avg_speed)와 방향각의 원형 표준편차(dir_std)를 계산한다. 집단이 한쪽 방향으로 빠르게 동조 이동하는 전이 신호를 두 지표로 간단히 포착해 빠른 이상 판단을 가능케 한다는 점이 해당 알고리즘의 핵심 강점이다. 최종 판정은 (avg_speed > 1.700 m/s) OR (dir_std < 91.0°)의 1차 조건을 연속 K=3 프레임 유지하고, 최근 W=13 프레임의 이상 비율 r≥0.45를 만족할 때 ‘이상상황’으로 판단한다. 알고리즘 평가 결과, 프레임 단위 Precision 0.905, Recall 0.909, F1 0.907, Accuracy 0.869를 달성하 였다. 이는 관제의 조기 인지와 2차 피해 억제를 통해 도시철도 안전체계의 고도화를 뒷받침하 며, 제안 로직은 현장 CCTV 기반 조기경보 모듈의 핵심으로 활용될 수 있음을 보여준다.

키워드 : 다중객체 추적 , YOLOv5 , DeepSORT , CCTV 기반 사건 탐지 , 대중교통 안전

This article has been cited by 0 article in crossref

Cited-By

Funding:

Ⅰ. 서 론

도시철도 객차는 구조적으로 밀폐되고 고밀도의 승객이 탑승하는 혼잡 환경이라는 특성을 지닌다. 이러한 특성으로 인해 돌발적 위험이 발생할 경우 군중의 행동 변화는 단시간 내에 급격하게 나타나며, 위기 확산의 주요 매개가 된다. 실제 사례에서도 이러한 특성이 분명히 드러난다. 예컨대, 2025년 5월 말 서울 지하철 5호 선에서 발생한 방화 시도 사건에서는 인접 객차 승객들까지 수 초 이내에 한쪽으로 몰려 이동하는 장면이 CCTV에 기록되었다. 또한 2018년 일본 신칸센에서 발생한 손도끼 난동 사건에서는 다수의 승객들이 즉각적 으로 도주하거나 회피 행동을 보이며, 객차 내 혼란이 급격히 확산되는 양상이 확인되었다. 이와 같은 사례 들은 지하철과 같은 폐쇄·혼잡 공간에서 위기 상황이 발생할 경우 단기간에 대규모 인명 피해로 이어질 수 있음을 잘 보여준다.

그럼에도 불구하고 현재 운영 중인 안전 시스템은 대부분 수동적 CCTV 관제나 연기·화재 센서와 같은 물 리적 탐지 장치에 의존하고 있다. 이러한 방식은 사건 발생 직후 수 초 이내 나타나는 전조 단계의 행동 변 화를 실시간으로 포착하기에는 구조적 한계를 내포한다. 다시 말해, 기술적 기반이 마련되어 있더라도 전조 단계의 군중 행동 변화를 조기에 감지하여 즉각적인 경보를 발령하는 데에는 제한적일 수밖에 없다. 실제 사 건 분석은 위험 상황 직후 나타나는 집단 행동 전이(crowd behavior shift), 즉 평균 이동 속도의 급격한 상승 이나 이동 방향의 급격한 수렴과 같은 현상이 위기 확산의 초기 신호임을 시사한다. 이러한 현상은 정량적으 로 측정 가능한 특성을 지니지만, 기존 연구의 상당수는 시뮬레이션 데이터나 제한된 재현 실험에 의존하고 있어 실제 사건 데이터 기반의 임계치 산정 연구는 상대적으로 부족한 상황이다.

이에 본 연구는 실제 지하철 방화 사건 영상을 활용하여 정상 상황과 위험 상황을 비교 분석함으로써, 현 장에서 즉시 적용 가능한 수치 기준(threshold)을 제시하고자 한다. 특히, 복잡한 연산이나 고성능 서버 자원 이 없어도 작동할 수 있는 경량·실시간 처리 구조를 제안함으로써, 실효성뿐 아니라 향후 상용화 가능성과 대중교통 전반으로의 확장 가능성을 확보하는 것을 목표로 한다.

구체적으로, 객체 탐지에는 YOLOv5s를, 다중객체 추적에는 DeepSORT를 활용하여 가림(occlusion) 상황에 서도 ID 일관성을 확보하였다. 이를 통해 프레임 단위로 승객의 이동 특성을 정량적으로 분석하고, 위험 상 황에서 나타나는 집단 행동 전이를 조기에 감지할 수 있는 가능성을 검증하였다. 분석 과정에서는 평균 이동 속도(avg_speed)와 방향 분산(dir_std)이라는 두 가지 핵심 지표를 산출하여 정상 상황과 위험 상황 간 통계적 차이를 규명하였으며, 이를 토대로 최적의 임계치를 도출하였다. 나아가, 두 지표의 조합에 연속 조건을 적 용함으로써 감지 성능을 최적화하여 실제 CCTV 환경에서 적용 가능한 알고리즘으로 발전시켰다.

종합하면, 본 연구는 이상상황의 ‘원인’(방화, 흉기 난동 등)이 아니라, 그로 인해 촉발되는 승객들의 ‘집단 적 반응 패턴’(급가속, 동일 방향 급이동, 방향 분산 급증 등)을 활용하여 실시간으로 이상상황을 탐지·경보 하는 것을 목적으로 한다. 상대적으로 위험도가 낮아 회피 반응이 국지적·산발적으로 나타나는 상황(예: 주 취, 경미한 언쟁, 잡상인 등)은 연구의 이상상황 정의에서 제외하였다. 또한 본 연구의 범위는 탐지(Detection) 에 한정하였다.

Ⅱ. 선행연구 검토

영상 기반 이상행동 탐지(Video-based Anomalous Behavior Detection)는 지난 10여 년간 인공지능과 컴퓨터 비전 기술의 급속한 발전 그리고 CCTV 인프라의 확충에 힘입어 비약적인 성장을 이루어왔다. 초기에는 배경 차분이나 광류(optical flow)와 같은 전통적 영상처리 기법을 통해 단순한 움직임 변화나 패턴 이상을 검출하는 수준에 머물렀으나 2010년대 중반 이후 GPU 연산 성능 향상과 대규모 영상 데이터셋 구축이 가능해지면서 딥러닝 기반의 객체 검출, 행동 인식, 시공간 특징 추출 기법이 본격적으로 적용되기 시작하였다. 이러한 기술 발전은 군중 행동 분석, 범죄 예방, 재난 대응 등 다양한 분야로 확장되어 대중교통과 같이 인구 밀집도가 높고 위험 상황 발생 시 피해 규모가 큰 환경에서 중요한 연구 주제로 자리 잡았다. Sultani et al.(2018)은 실제 CCTV 영상을 활용하여 정상과 이상이 혼합된 영상 ‘bag’에서 이상 점수를 학습하는 다중 인스턴스 학습(MIL) 기반 딥러닝 모델을 제안하고 대규모 데이터셋을 함께 공개하였다. Ionescu et al.(2019)는 객체 중심 오토인코더와 dummy anomalous 샘플 기법을 결합하여 성능을 향상시켰으며, Avenue와 ShanghaiTech 데이터셋에서 우수한 결과를 달성하였다. Chong and Tay(2017)는 시공간 오토인코더를 이용하여 140fps 수준의 빠른 처리 속도를 달성하였고, Marsden et al.(2016)은 장면 수준의 특징과 GMpx/sVM 분류기를 결합하여 폭력적 흐름(Violent Flows) 데이터셋에서 실시간에 가까운 성능을 보였다. Abati et al.(2019)는 Variational Autoencoder(VAE) 기반 모델을 통해 정상 행동의 잠재공간 분포를 학습하고 이상치를 확률적으로 탐지하였다. Hasan et al.(2016)은 Fully Convolutional Network(FCN)를 적용하여 픽셀 단위 이상 영역을 예측하는 방식을 제안하였다. Mehran et al.(2009) 은 군중 행동 분석(Crowd Behavior Analysis) 분야에 Social Force Model을 활용하여 군중 상호작용 힘을 계산하고 비정상 흐름을 탐지하는 방법을 제시하였다. Peng et al.(2024)은 보행자의 회전 행동까지 반영한 Torsional Social Force Model을 제안하여 시뮬레이션의 정밀도를 높였다. Ali and Shah(2007)는 광류(optical flow) 상관관계를 이 용하여 갑작스러운 군중 분산과 같은 이상상황을 탐지하였다.

대중교통 수단 내부 및 역사 공간에서의 이상상황 감지 시스템은 화재, 폭력, 기물 파손, 범죄 예방 등 다 양한 목적을 위해 지속적인 발전이 이루어지고 있다. 버스, 지하철역은 밀폐·협소한 공간이거나 인구 밀집도 가 높은 환경이기에 위험 상황이 발생하면 짧은 시간 안에 대규모 피해로 이어질 수 있기에 영상 기반 이상 행동 탐지 기법이 연구 방법으로 적용되어왔다.

Ciampi et al.(2022)은 이동 중인 버스 내부에서 촬영된 1,400개 폭력/비폭력 클립으로 구성된 Bus Violence 벤치마크를 공개하여 대중교통 특유의 동적 배경·조명 변화가 일반화에 미치는 어려움을 보고했다. 대중교 통 도메인에선 학습한 모델이 일반 폭력 데이터로 충분히 일반화되지 않으므로 도메인 특화 데이터/기법 필 요하다는 시사점을 제시했다. Lee(2018)는 스마트 철도역사 구축을 위해 CCTV와 센서 네트워크를 연계한 영 상기반 감시 기술을 분석하고 화재·이상행동·혼잡·침입 감시를 하나의 통합 시스템에서 처리할 수 있는 설 계 방향을 제시하였다. 감지 정확도를 높이는 방안으로 다중 카메라 간 협력과 영상·센서 데이터 융합을 제 안하였다. Yum et al.(2015)는 스크린도어 설치가 미비한 플랫폼에서 승객 추락사고를 예방하기 위해 멀티빔 LED 센서를 활용한 Virtual 3D Curtain 시스템을 개발하였다. 개발된 시스템은 위험 영역 진입 시 경고 방송 을 송출하고 동시에 근접 촬영 영상을 관제센터에 전송하여 신속 대응을 가능하게 하여 설치·운영 비용 대 비 높은 경제성과 정확도를 확보하였다.

Lim et al.(2022)은 역사 내 쓰러짐, 폭행, 기물 파손 등 6종의 이상행동을 YOLOv4 기반 객체 검출 후 LSTM과 GRU 모델로 비교 분석하여 LSTM이 시간적 연속성을 반영한 분석에서 더 높은 감지 성능을 보임 을 확인하였다. Zhang et al.(2023)는 철도 건널목 환경에서 보행자·차량·야생동물을 실시간 인식하고 위험지 역 잔류 여부를 판단하는 시스템을 설계하였으며, Orange3 기반 딥러닝 모델과 OpenCV·YOLO를 결합하여 위험 예측과 조기경보 기능을 구현하였다. 또한 한국철도기술연구원(2021)은 열차 내 폭행, 쓰러짐, 무단 개 문 등의 위험 행동을 실시간 탐지하고 관제센터에 경보를 전송하는 ‘철도차량 내 승객 위험요소 스마트 감 지 시스템’을 개발하여 차량 내부의 안전성을 높이는 방안을 제시하였다.

이상의 선행연구들은 대중교통 환경에서 발생 가능한 위험 상황을 조기에 인지하기 위해 다양한 접근법 을 제시해왔다. 영상 기반 객체 검출과 행동 인식 기술은 버스, 철도 역사, 승강장, 건널목 등 서로 다른 환경 에 맞춰 최적화하였다. 일부 연구에서는 멀티빔 LED 센서나 CCTV–센서 네트워크 융합 등 특화된 하드웨 어를 적용하였고, 딥러닝 모델 비교, 실시간 경보 기능 구현, 위험 예측 알고리즘 적용 등 성능 향상과 실용 화를 위한 노력이 이어졌다. 그러나 대부분의 연구는 위험 상황 자체의 발생을 탐지하는 데 초점을 두고 있 어 화재나 폭력 등 위기 직후 대규모 피해로 이어질 수 있는 집단 피난 행동을 별도로 감지·분석한 사례는 부족한 실정이다. 이로 인해 실제 위기 상황에서 군중의 급격한 이동을 조기에 포착하여 신속 대응을 지원하 는 측면에서는 한계가 존재한다.

본 연구는 선행연구의 한계를 극복하기 위해 2025년 서울 지하철 5호선 방화 사건의 실제 CCTV 영상을 활용하여 분석을 수행하였다. YOLOv5s와 DeepSORT 기반의 객체 검출·추적 기법을 적용해 가림(occlusion) 상황에서도 승객의 ID 일관성을 확보하였으며, 프레임 단위의 평균 속도와 방향 분산 두 가지 지표를 산출 하였다. 산출한 지표로부터 재현 가능한 임계치를 도출하여 실제 사건과 유사한 환경에서 집단 피난 행동을 조기에 감지할 수 있는 기반 알고리즘을 제안한다. 이러한 접근은 실제 사건 기반 데이터 활용, 단순·경량 구조, 그리고 향후 실시간 적용 가능성을 동시에 확보함으로써 기존 연구와 차별성을 가진다.

<Table 1>

Related Work Comparison in Abnormal Behavior Detection for Public Transit

Study	Application Environment	Key Technology	Features and Limitations
Ciampi, L et al. (2022)	Inside buses	CNN for action classification, ConvLSTM Models	Bus-optimized CCTV benchmark (1,400 labeled clips) with solid 3D-CNN/SlowFast/VideoSwin baselines
Lee (2018)	Railway stations	CCTV sensor network integration	Multi-camera cooperation, integrated monitoring of fire, congestion, and intrusion
Yum et al. (2015)	Railway platforms	Multi-beam LED sensor	Alternative to PSD, fall prevention, warning broadcast and close-up capture
Lim et al. (2022)	Railway stations	YOLOv4 + LSTM/GRU	Comparison of six abnormal behaviors, LSTM showed superior performance
Zhang et al. (2023)	Railway level crossings	Orange3 + OpenCV + YOLO	Recognition of pedestrians, vehicles, and wild animals; risk prediction and early warning
KRRI (2021)	Inside railway vehicles	Action recognition + control center integration	Detection of assault, collapse, unauthorized door opening; real-time alarm transmission
This Study	Inside subway cars	YOLOv5s + DeepSORT + speed/direction statistical analysis	Incident-based thresholds for speed & direction variance; lightweight for real-time use.

Ⅲ. 데이터셋 및 분석 방법론

1. 데이터 셋 구성

본 연구에 사용된 데이터셋은 2025년 서울 지하철 5호선 방화 사건 실제 CCTV의 미디어 송출(Channel A) 영상을 기반으로 구성하였다. 데이터셋은 총 세 가지 상황으로 나누어진다. 첫 번째는 방화 사건이 발생하기 전, 동일 객차에서의 일상적인 운행 상황을 촬영한 영상으로 승객들이 자유롭게 이동하며 평균 속도와 방향 분산이 안정적으로 유지되는 패턴을 보인다. 두 번째는 방화 사건 직후, 사건이 발생한 객차 내부에서 승객 들이 즉시 대피하는 장면으로 초기 시점부터 평균 속도가 급격히 상승하고 이동 방향이 다양하게 나타나 방 향 분산 값이 크게 증가한다. 세 번째는 방화 사건 직후 인접 객차에서 촬영된 영상으로 승객들이 초기에는 낮은 속도를 보이다가 위험 인지 이후 한 방향으로 집단 이동하며 방향 분산이 급격히 감소하고 속도가 증 가하는 특징을 보인다. 이와 같이, 동일 사건을 중심으로 사전 정상 상태, 사건 직후 발생 객차의 즉시 대피, 사건 직후 인접 객차의 지연 대피라는 세 가지 구체적 상황을 포함함으로써 다양한 집단 행동 반응을 비교· 분석할 수 있도록 하였다. 이렇게 데이터셋은 정상(normal)과 두 가지 이상상황(abnormal1, abnormal2)으로 구 분되며, 각 영상은 서로 다른 길이와 프레임 수를 가진다. 구체적으로, 정상 상황 영상은 약 10.5초(316프레 임, 29.97fps)로 구성되었으며, 이상상황 1은 약 8.5초(256프레임, 29.97fps), 이상상황 2는 약 22.7초(680프레임, 29.97fps)의 길이를 가진다. 시나리오별 길이와 프레임 수를 명시함으로써 데이터셋의 규모를 객관적으로 제 시하고, 후속 분석에서 정상과 이상상황 간 비교 가능성을 확보하였다. 이러한 정량적 설명은 연구의 재현 가능성을 높이고, 알고리즘 성능 평가의 신뢰도를 보강한다.

2. 영상 데이터 전처리

본 연구는 지하철 객차 내에서 발생 가능한 집단의 이상행동(예: 도주, 집단 회피 등)을 실시간으로 감지 하기 위한 사전 징후 기반 영상 분석 알고리즘을 제안한다. 사람 객체 검출을 위한 YOLOv5s와 다중객체 추 적기인 DeepSORT를 결합하여 사용하였다. YOLOv5s는 경량 구조와 높은 탐지 정확도를 동시에 갖추고 있어 프레임 단위에서 빠르고 안정적인 사람 객체 인식이 가능하게 한다. DeepSORT는 ReID 임베딩과 칼만 필터 를 결합해 가림(occlusion)·밀집 환경에서도 객체의 ID를 안정적으로 유지한다. 두 방법론의 결합은 개별 승 객이 일시적으로 가려지거나 재등장하는 경우에도 추적의 연속성을 확보하여 속도 및 방향 분석의 정확도를 크게 향상시킨다.

집단 전체의 평균 이동 속도와 방향 분산이라는 거시적 행동 지표를 산출하여 이상상황의 전조 움직임을 포착하는 것을 목표로 한다. YOLOv5s + DeepSORT 조합은 지표 산출 시 필수적인 객체 식별의 일관성과 프 레임 간 좌표 변화의 신뢰성을 동시에 보장하기에 본 연구 목적에 부합하는 최적의 선택이다. 사용한 영상은 미디어 송출 자료를 기반으로 일부 구간에 블러(blur) 처리가 되어 있음에도 YOLOv5s는 안정적인 탐지 성능 을, DeepSORT는 높은 ID 유지율을 보여주었다. ByteTrack은 고해상도·비모자이크 환경에서 강점을 가지지 만, 본 연구의 데이터 특성상 ID 안정성이 상대적으로 높은 DeepSORT를 채택하였다.

원본 영상은 초당 30프레임(30 fps) 조건으로 동일 처리하였고, 프레임별 사람 수, 평균 속도, 방향성 패턴 의 변화가 뚜렷한 지점을 각 구간의 시작·종료 시점을 설정하였다. 이를 통해 화재 발생 전 해당 객차 상황 (이하 normal), 화재 발생 직후 해당 객차 상황(이하 abnormal1), 화재 발생 후 인접객차 상황(이하 abnormal2) 세 가지 상황 모두에서 재현 가능한 행동 패턴을 반영한 프레임 세트와 동일 조건 유지로 후속 분석의 비교 가능성과 재현성을 확보하였다.

<Fig. 1>

Incident Car (before the incident)

<Fig. 2>

Incident Car (immediately after the fire)

<Fig. 3>

Incident Car (evacuation initiated after the fire)

<Fig. 4>

Adjacent Car to the incident (during evacuation after the fire)

3. 핵심지표 추출

본 연구에서는 지하철 객차 내 군중 움직임의 변화를 정량적으로 포착하기 위해 YOLOv5s와 DeepSORT를 활용하여 검출·추적된 사람 객체의 중심 좌표 (x, y)를 기반으로 평균 속도(avg_speed)와 방향 분산(dir_std) 을 산출하였다.

1) 평균 속도(avg_speed)

각 프레임에서 탐지된 사람 객체 i 에 대해, 이전 프레임의 중심 좌표 (x_i_{, t - 1}, y_i_{, t - 1})와 현재 프레임의 중심 좌표 (x_i_{, t}, y_i_{, t})간의 유클리드 거리 d_i_{, t} 를 계산하였다.

d_{i, t} = \sqrt{{(x_{i, t} - x_{i, t - 1})}^{2} + {(y_{i, t} - y_{i, t - 1})}^{2}} [px / frame]

이를 프레임 간 시간 간격 Δt = 1/FPS 로 나누어 px/s단위 속도를 구하고, 지하철 객차 문폭 1.3 m를 기준으로 픽셀 → 미터 변환계수 S 를 적용하여 m/s 단위로 환산하였다. 화재가 발생한 해당 객차를 촬용한 normal과 abnormal1의 경우 문폭을 70 px로 인접 객차인 abnormal2의 상황은 89px로 적용하여 다음과 같은 S 값을 산출하였다. 여기서, abnormal2는 화재 발생의 인근 객차로 normal과 abnormal1을 촬영한 객차와 카메라 줌/시야각과 원근 왜곡 차이로 인해 다른 픽셀을 적용하여 스케일 차이에 따른 편향을 제거하였다.

\begin{array}{l} S_{n, a b 1} = \frac{1.3 m}{70 p x} = 0.186, & S_{a b 2} = \frac{1.3 m}{89 p x} = 0.0146 \end{array}

따라서 최종 속도는 다음과 같이 계산된다.

υ_{i, t}^{m / s} = \frac{d_{i, t}}{Δ t} \times S

프레임 t의 평균 속도(avg_speed)는 해당 프레임에서 검출된 N_t 명의 속도의 평균으로 정의된다.

a υ g s p e e d_{t} = \frac{1}{N_{t}} \sum_{i = 1}^{N_{t}} υ_{i, t}^{m / s}

박스 중심의 서브픽셀 흔들림(약 0.3–0.5 px/frame)에 따른 속도 편향을 줄이기 위해 픽셀 기반 노이즈 바 닥값(0.4 px/frame 환산)을 적용하였다. normal 영상 ‘정지 구간’에서 계산한 속도 분포의 95백분위수(P95 = 0.264 m/s)와 비교해 두 값 중 큰 값(0.264 m/s)을 최종 임계값으로 채택하였으며, 해당 속도 이하 값은 0으로 클리핑하였다.

2) 방향 분산(dir_std)

객체 i 의 이동 방향은 중심 좌표 변화량으로부터 기울기(Δy/Δx)를 구하고, 아크탄젠트(arctangent) 함수 를 이용하여 각도(도 단위)로 변환하였다.

θ_{i, t} = \arctan 2 (y_{i, t} - y_{i, t - 1}, x_{i, t} - x_{i, t - 1}) \times \frac{180}{π}

프레임 내 모든 사람의 방향 값 집합 {θ_i, t}에 대해 원형 표준편차(circular standard deviation) 계산을 통해 방향 분산(dir_std)로 정의하였다. 값이 낮을수록 군중이 특정 방향으로 일관되게 이동함을 의미하며, 값이 높 을수록 이동 방향이 다양하게 분포됨을 의미한다.

4. 지표 분석 방법론

본 연구에서는 추출된 평균 속도(avg_speed)와 방향 분산(dir_std)에 대해 기초 통계 분석을 수행하여 normal과 abnormal 구간의 특성을 비교해 이상상황에서 나타나는 두 지표의 뚜렷한 패턴을 확인하였다. 기존 군중 행동 분석 문헌과 본 연구의 통계 분석 결과를 종합하여 속도와 방향 분산의 초기 기준값 후보를 설정 하였다. ROC 분석 수행으로 각 지표의 최적 기준값을 산출하고, Youden Index를 활용하여 cut-off 값을 도출 하였다. 이후 민감도(Recall)1)와 정밀도(Precision)2)의 균형을 고려하여 F1-score3)가 최대화되는 지점으로 값을 조정하였다. 기준 적용 시에는 우선 특정 조건을 만족하는 상태가 3프레임 이상 연속해서 나타날 때만 이상 으로 판정하는 지속시간 조건을 두어, 순간적인 측정 오차나 단발성 움직임으로 인한 오경보를 줄였다. 그러 나 지속시간 조건만 적용할 경우, 짧은 시간 안에 집중적으로 나타나는 이상 패턴을 놓칠 수 있기에 최근 13 프레임 중 이상 프레임이 45% 이상 포함되는 경우를 이상으로 간주하는 K-of-N 비율 조건을 함께 적용하였 다. 이러한 결합은 일정 시간 이상 지속되는 패턴과 일정 비율 이상 반복되는 패턴 모두를 포착할 수 있어 탐지 결과의 안정성과 신뢰성을 동시에 확보하는 데 기여한다. 최종적으로 현장에서 재현 가능하고 신뢰도 높은 이상상황 감지 임계값을 확정하기 위해 설정된 기준치의 성능을 혼동 행렬(Confusion Matrix)로 평가하 고, Precision, Recall, F1-score를 산출하여 정확도를 검증하였다.

Ⅳ. 분석 결과

1. 정상 및 이상상황 비교

<Fig. 5>는 각각 평균 속도(avg_speed)와 방향 분산(dir_std)의 프레임별 시계열 변화를 나타낸다. 세 시나리오 (normal, abnormal1, abnormal2)는 전반적인 패턴에서 뚜렷한 차이를 보였다. 평균 속도 시계열에서 abnormal1(사 건 발생 객차–방화 직후)은 대피 시작 시점에 급격히 상승하여 구간 전반에 걸쳐 높은 수준을 유지했고, abnormal2(인접 객차–대피 중)는 대피 개시가 지연되어 중반 이후에 점진적으로 상승했다. normal(일상 운행) 은 전반적으로 낮은 수준을 유지했으나 일부 프레임에서 순간 변동이 관찰되었다. 방향 분산 시계열에서는 abnormal2가 대피 개시 시점에 급격히 수렴하며 한 방향으로의 동시 이동이 두드러졌고, abnormal1은 양방향 이동이 혼재된 중간 수준의 분산을 보였다. normal은 시간 전반에 걸쳐 비교적 높은 분산을 유지했다.

<Fig. 5>

Time-series Trends of Average Speed and Direction Std. (normal:Incident car–before the fire, abnormal1:Incident car– immediately after the fire, abnorma2:adjacent car–during evacuation after the fire)

수치 비교에서도 동일한 경향이 확인되었다. <Table 2>와 같이 평균 속도는 abnormal1 = 3.68 m/s, abnormal2 = 3.61 m/s, normal = 1.60 m/s로 나타났다. 방향 분산 평균은 abnormal2 = 77.84°로 가장 낮아 대피 시 경로가 거의 일치했음을 시사하고, abnormal1 = 91.22°는 양방향 이동이 섞인 중간 수준, normal = 102.79°는 평상시 무작위적 이동 특성을 반영하였다. normal 구간의 평균 속도가 다소 높게 산출된 이유는 산출 방식과 측정 특 성에 기인한다. 본 연구는 프레임별로 이동이 감지된 객체만 평균에 포함하므로, 소수 보행자·자세 전환·시선 이동 등 미세 움직임이 반영된다. 또한 바운딩 박스의 서브픽셀(약 0.3–0.5 px/frame) 수준 흔들림이 속도 값으 로 환산될 수 있어 완전 정지처럼 보이는 순간에도 소폭의 속도가 계산될 수 있다. 이를 완화하기 위해 0.264 m/s 이하 값은 0으로 클리핑했지만, ‘0 제외 평균’ 특성상 일부 프레임에서는 상대적으로 높은 평균이 나타날 수 있다. 관찰된 도주 속도의 타당성은 외부 근거와도 정합적이다. Murtagh et al. (2021)에 따르면 건강한 성인 의 야외 ‘일상 보행’ 평균 속도는 약 1.3 m/s 수준으로 보고된다. Selinger et al. (2022)은 착용형 센서로 수집한 대규모 데이터를 분석하여 자연환경에서 관측된 달리기(조깅~러닝) 평균 속도 범위가 대략 1.5–5.5 m/s임을 제시하였다. abnormal1과 abnormal2의 평균 속도 3.68 m/s과 3.61 m/s은 이 범위 안의 러닝/도주 영역에 해당한 다. 시계열 변화와 평균 비교 모두에서 abnormal1과 abnormal2는 normal 대비 명확한 패턴 차이를 보였으며, 속도·방향 분산 지표가 대피 상황의 전조를 정량적으로 포착할 수 있음을 확인하였다<Fig. 5, Fig. 6>.

<Table 2>

Descriptive Statistics (Mean, Variance) of Crowd-Motion Metrics by Scenario

Statistics		normal	abnormal1	abnormal2
Mean(st.d)	avg_speed (m/s)	1.60(2.79)	3.68(9.80)	3.61(15.23)
Mean(st.d)	dir_std (°)	102.79(347.79)	91.22(478.65)	77.84(715.17)

<Fig. 6>

Comparison of Crowd Movement Characteristics Across Three Video Conditions

t-test 분석 결과, 평균 속도(avg_speed)는 abnormal1과 abnormal2에서 모두 normal보다 유의하게 높았다 (abnormal1–normal: t=9.58, p=1.43×10⁻¹⁹; abnormal2–normal: t=11.39, p=2.50×10⁻²⁸). 반면 abnormal1과 abnormal2 사이의 평균 속도 차이는 유의하지 않았다(t=0.27, p=0.788). 이는 방화 직후 객차의 즉시 대피와 인접 객차의 지연 대피가 모두 속도 수준의 유의한 상승으로 나타났음을 시사한다. 방향 분산(dir_std)은 두 이상상황이 모두 normal보다 유의하게 낮았으며, abnormal2–normal 비교에서 차이가 가장 크게 나타났다(t=-15.78, p=3.97×10⁻⁴⁹). abnormal1–normal에서도 유의한 차이를 보였으며(t=-6.40, p=4.13×10⁻¹⁰), abnormal1은 abnormal2보다 유의하게 큰 분산을 나타냈다(t=7.09, p=4.56×10⁻¹²). 이는 인접 객차에서 대피가 본격화될 때 이동 방향이 한쪽으로 강하게 수렴했음을 의미한다. 따라서 본 연구에서는 평균 속도의 임계값 도출 시 사건 발생 객차–방화 직후와 정상 상황의 비교 결과를 기준으로 하고, 방향 분산의 임계값 도출 시에는 인접 객차–대피 중과 정상 상황의 비교 결과를 기준으로 삼아 ROC 분석과 cut-off 산출을 수행하였다.

2. 이상상황 판단 임계값 도출

ROC 분석 결과, 속도(avg_speed)는 normal–abnormal2 페어를 기준으로 평가했을 때 AUC가 0.666이며, Youden 지수 기준의 초기 임계치는 Ts = 2.337 m/s로 도출되었다(<Fig. 7>, 좌). 방향 분산(dir_std)은 normal– abnormal1 페어에서 AUC가 0.662, 초기 임계치는 Td = 91.041°였다(<Fig. 7>, 우). 이는 속도보다 방향성 수렴 이 중간 수준의 판별력을 보이지만 두 지표를 서로 다른 비교쌍으로 잡았을 때 두 종류의 이상상황을 모두 포괄하는 임계치를 얻을 수 있음을 시사한다. 속도는 abnormal1이 가장 높고 분산은 abnormal2가 가장 낮기 에 각각을 극단값에 맞춰 임계치를 잡으면 다른 이상 시나리오가 과소 탐지될 위험이 있어 비교쌍으로 잡는 것이 필요하다. 따라서 본 연구는 속도는 normal–abnormal2 ROC, 분산은 normal–abnormal1 ROC를 기준으 로 임계치를 설정하는 원칙을 채택했다.

<Fig. 7>

ROC-based Comparison of Average Speed(L) and Direction Std(R).

초기 임계치들을 바탕으로 두 지표를 OR 규칙으로 결합해 임계치 조합 (T_s, T_d)전 범위를 탐색한 F1 열 지도(heatmap)를 작성하였다 (<Fig. 8> 참조). 열지도에서 가로축은 T_s (m/s), 세로축은 T_d (deg), 색상은 F1을 나타낸다. 최고점(★)은 T_s =1.700m/s, T_d =91.000∘에서 관측되었고, 해당 지점의 분류 성능은 Precision 0.808, Recall 0.872, F1 0.839였다. <Fig. 8>에는 최적점의 위치를 명확히 하기 위해 수직·수평 점선으로 임계 치를 함께 표시하였다. 혼동행렬 기준으로는 TP 639, FP 152, FN 94, TN 163이며, 이는 실제 이상 프레임의 87.2%를 포착하면서도 허위 경보를 과도하게 증가시키지 않는 균형점임을 의미한다. Youden 기준 초기값 대 비 속도 임계치 T_s 를 낮추어(2.337→1.700 m/s) 누락(FN)을 줄이고, 방향 분산 임계치 T_d는 사실상 동일 수 준(≈91°)을 유지해 방향성 수렴의 판별력을 보존한 조정의 결과이다. 앞서 논의한 바와 같이 속도는 abnormal1이 가장 높고 분산은 abnormal2가 가장 낮아 극단값에 맞춘 단일 기준은 다른 이상 시나리오의 과 소탐지를 유발할 수 있다. 따라서 속도는 normal–abnormal2 비교, 분산은 normal–abnormal1 비교를 기준으 로 삼아 임계치를 조정했고, 그 조합의 최적점이 바로 <Fig. 8>의 (1.700m/s, 91.000∘)이다.

<Fig. 8>

F1 Heatmap for OR-Rule Thresholds (T_s , T_d )

3. 지속시간 조건의 이상상황 판단 기준 설정

앞 절에서 도출한 임계치 조합 T_s =1.700 m/s, T_d =91.0∘을 고정한 뒤, 프레임 단위의 이상 플래그를 시간 적으로 안정화하기 위해 두 가지 조건을 추가로 탐색하였다: (i) 최소 연속 길이K, (ii) K-of-N 비율 규칙(윈 도우 길이 W, 비율 r). 먼저 OR 규칙 (avg_speed>T_s ) OR (dir_std<T_d )만으로 평가했을 때의 전체 조합 성 능을 F1 열지도에서 확인한 결과, Precision 0.808, Recall 0.872, F1 0.839, 혼동행렬은 TP 639, FP 152, FN 94, TN 163으로 나타났다. 이는 임계치 자체만으로도 재현율이 높은 조기 경보 특성을 보이나지만 단발성 스파 이크에 의한 오경보 가능성이 남아 있음을 시사한다. 단발성 신호를 억제하고 운영 안정성을 높이기 위해 K 탐색을 수행하였으며, K =1에서 재현율은 가장 높게 유지되었으나(Recall 0.872) K 가 증가할수록 재현율 이 감소하고 정밀도가 상승하는 전형적 트레이드오프가 관찰되었다. K =3에서 Precision 0.895, Recall 0.810, F1 0.850로 F1이 최대가 되어(지연은 약 K /30≈0.10초) 혼동행렬은 TP 594, FP 70, FN 139, TN 245였다(<Fig. 9>참조). 따라서 본 연구는 지속시간 최소 K =3 프레임을 이상상황 판단 추가 조건으로 채택하였다.

<Fig. 9>

Impact of Persistence K on Precision, Recall, F1, and Accuracy

<Table 3>

Detection Metrics vs K

K	Precision	Recall	F1
1	0.808	0.872	0.839
2	0.85	0.838	0.844
3	0.895	0.81	0.85
4	0.914	0.757	0.828
5	0.939	0.675	0.786
6	0.955	0.641	0.767
7	0.964	0.592	0.734
8	0.979	0.583	0.731

K =3 (최소 연속 이상 프레임 수)로 순간 스파이크를 전처리하고 K-of-N을 적용해 부분적 누락(occlusion·ID 흔들림·프레임 드롭)이 있더라도 짧은 시간 동안 충분한 밀도로 나타난 집단 이동만 이상으로 판정하도록 윈도우 비율 규칙을 추가적으로 고려하였다. 본 연구의 목적상 핵심 신호는 객차 내 집단행동 전이(동일 방향 급집중 이동)이므로 단발·산발 프레임이 아니라 짧은 구간에서 밀도 있게 반복되는 패턴을 요구하는 추가 규칙이 고려되 어야 한다. 따라서 K =3을 고정한 상태에서 K-of-N 비율 규칙을 적용하여 윈도우 길이 W ∈{9, 13, 17, 21}와 비율 r∈[0.45, 0.80]를 변화시키며 F1을 비교하였다. 전반적으로 r을 높일수록 보수성이 커져 F1이 하락했고, W 는 지나치게 길어질수록 민감도가 떨어졌다(<Fig. 10> 참조). W =13, r=0.45에서 F1이 가장 높게 측정되어 43초(13/30s) 범위에서 이상 프레임 비율이 45% 이상일 때만 최종 이상상황으로 확정 판별하였다. 이 조합을 적용하면 프레임 단위 최종 성능은 Precision 0.905, Recall 0.909, F1 0.907, Accuracy 0.869로 개선되었다. 이는 경보의 약 90%가 실제 이상이고, 실제 이상 중 약 91%를 놓치지 않고 포착했음을 의미한다. 오경보와 미탐을 동시에 낮춘 균형 성능으로 현장 적용에 충분한 신뢰도를 확보했음을 시사한다.

<Fig. 10>

Tuning the K-of-N Rule: F1 as a Function of r and W (K = 3)

4. 이상상황 판단 최종조건 및 알고리즘 도출

임계치 조합 (avg_speed>1.700m/s) OR (dir_std<91.0∘)에 시간적 연속성K =3과 윈도우 비율 규칙 W =13, r =0.45을 포함한 최종 규칙으로 단발성 잡음에 의한 FP를 억제하면서도 실제 이상을 놓치지 않는(Recall 유지) 균형점을 제공한다. <Fig. 11>은 이상상황으로 정의되는 조건들의 조합에 대해 각 영상별 프레임 위치를 시 각화한 결과를 보여준다.

<Fig. 11>

Visualization of Anomalous Frames per Video under the Proposed Speed–Direction Thresholds

세 가지 상황(normal, abnormal1, abnormal2)에 대해 이상상황 프레임이 발생한 구간이 색상과 위치로 구분 되어 가로축은 프레임 번호, 세로축은 각 상황의 구분을 의미한다. normal에서는 아주 짧은 구간에서만 간헐 적으로 이상이 나타나 불필요한 경보가 거의 없었다. 반면 abnormal1은 영상 초반부터 긴 연속 구간이 뚜렷 하게 이어지고, 이후에는 짧은 패치가 드물게 나타난다. abnormal2는 초반에 짧은 조각이 몇 차례 보인 뒤 곧 중·후반에 걸쳐 장시간의 연속 이상 구간이 형성되며 말미에 소규모 패치가 산발적으로 이어진다. 이는 사건 발생 객차에서는 즉시 대피가 시작되어 초반부터 강한 신호가 생성되고, 인접 객차에서는 짧은 지연 후 집단 이동이 오랫동안 유지되었다는 해석과 부합한다. 아울러 연속 길이와 K-of-N 비율 조건을 적용한 결과, 순간 흔들림이나 개별 보행에 따른 스파이크는 대부분 제거되고 의미 있는 집단 이동만 덩어리 형태로 남아남기 어 허위 경보를 억제하면서 실제 위험 구간은 안정적으로 포착되었다.

<Fig. 12>는 본 연구의 실시간 이상상황 감지 절차를 요약한다. (단계 1) 입력·탐지: 실시간 영상 스트림을 프레임 단위로 받아 YOLOv5s로 사람만 검출한다. (단계 2) 추적 갱신: DeepSORT로 다중 객체를 추적해 각 인원의 중심 좌표와 궤적을 매 프레임 갱신한다. (단계 3) 지표 계산: 활성 트랙을 이용해 프레임별 평균 속 도와 이동 방향의 표준편차(원형 표준편차)를 계산한다. (단계 4) 프레임 규칙: 평균 속도가 1.700 m/s 초과이 거나 방향 분산이 91.0° 미만이면 해당 프레임을 ‘이상 후보’로 표시한다. (단계 5) 지속시간 조건: 이상 후보 가 3프레임 이상 연속으로 나타날 때만 다음 단계로 진행한다. (단계 6> K-of-N 창 분석: 최근 13프레임을 버 퍼링하여 이상 후보 비율이 45% 이상인지 확인한다. (단계 7) 경보 처리: 조건을 만족하면 화면 배너(필요 시 사운드/웹훅)로 경보를 띄우고 타임스탬프를 기록한다. (단계 8) 모니터링 유지: 조건을 만족하지 못하면 단 일 프레임 표시는 지우고 슬라이딩 윈도우만 갱신한 뒤 모니터링을 계속한다. 이와 같은 “프레임 임계치 → 3프레임 연속 → 13프레임 중 45% 이상”의 단계적 구조는 순간 스파이크·가림·트래킹 흔들림에 강인하며, 동일 방향 급집중 이동을 짧은 지연으로 안정적으로 포착하도록 설계되었다.

<Fig. 12>

Activity diagram of the AI-based real-time anomalous event detection algorithm

Ⅴ. 결 론

본 연구는 지하철 객차와 같은 폐쇄·밀집 환경에서 발생할 수 있는 위험 상황을 실시간으로 감지하기 위 해, YOLOv5s+DeepSORT를 기반으로 한 경량 영상 분석 알고리즘을 제안하였다. 사람만을 검출·추적하여 프 레임별 중심 좌표 궤적을 갱신하여 평균 이동 속도(avg_speed, m/s)와 이동 방향 분산(dir_std, °·원형 표준편 차)의 두 지표로 단순화해 계산한다. 판정은 프레임 임계치(속도 1.700 m/s 초과 또는 방향 분산 91.0° 미만) 를 먼저 적용한 뒤, 지속시간 조건(K=3 프레임)과 K-of-N 규칙(W=13, r=0.45)을 순차적으로 통과했을 때만 최 종 이상으로 확정한다. 이 단계적 구조는 연산 부하를 최소화하면서도 순간 스파이크·가림(occlusion)·추적 흔 들림에 강인하여 약 0.3초 이내의 지연으로 동작한다.

본 연구의 핵심적인 차별성은 폐쇄적 객차에서 나타나는 집단행동 전이(동일 방향 급집중 이동)를 위험의 전조 신호로 명확히 정의하고 이를 속도와 방향성이라는 해석 가능한 지표로 포착했다는 점이다. 기존 연구 가 개별 행위나 밀집도 변화에 치우친 반면, 본 연구는 객차 내에서 집단 전체가 동시에 움직이기 시작하는 순간을 핵심 분석 대상으로 설정하였다. 이러한 전이 시점은 방화, 흉기 난동, 폭력 사건 등과 같이 단시간에 확산될 수 있는 위험 상황의 초기 신호로서, 조기 대응에 결정적인 단서를 제공한다.

특히 긴 객차·좁은 통로라는 구조적 제약을 반영해 방향 분산을 핵심 지표로 포함함으로써, 단순 속도 기 반 방식 대비 집단의 일방향 대피를 더 안정적으로 식별할 수 있었다. 이는 위험 상황에서 승객들이 제한된 통로 폭으로 인해 동일한 방향으로 급격히 몰리는 행동 패턴을 고려한 것으로 단순 속도 기반 방식보다 높 은 검출 신뢰도를 제공한다. 나아가, 간결하면서도 정보성이 높은 지표를 사용함으로써 연산 부하를 최소화 하여 여러 객차 영상을 동시에 모니터링해야 하는 실제 운영 환경에서 실시간성을 유지하는 데 필수적이다.

실용적 측면에서도 본 연구의 의의는 크다. 현재 대부분의 지하철에서는 위험 상황이 발생하더라도 승객 이 출입문 비상개폐장치를 직접 작동시키거나 비상통화 장치를 이용해 자발적으로 기관사에게 상황을 알려 야만 관제센터와 운행 시스템이 반응한다. 그러나 실제 위험 상황에서는 승객이 대피하느라 이러한 조치를 즉시 수행하기 어려워 대응이 지연되는 경우가 많다.

제안 시스템은 승객의 별도 조치 없이 이상상황을 자동 감지해 관제 연계 경보(화면 배너, 음향/웹훅, 타임 스탬프 로깅 등)를 발생시킬 수 있으며, 필요시 자동 정차·방송 등과 결합할 수 있다. 시스템의 자동화는 골 든타임 확보와 피해 최소화에 직접적으로 기여할 수 있다. 최종 성능은 Precision 0.905, Recall 0.909, F1 0.907, Accuracy 0.869로, 경보의 약 90%가 실제 이상이면서 실제 이상도 약 91%를 놓치지 않는 균형 성능을 확인하였다. 이는 현장 적용에 필요한 신뢰도와 실시간성을 동시에 충족했음을 시사한다.

결론적으로, 본 연구는 집단 행동 전이현상이라는 위험 전조를 소수의 핵심 지표 정량화로 긴 객차·좁은 통로 구조라는 공간 제약을 반영하여 설계된 간결하면서도 정보성이 높은 실시간 감지 알고리즘을 제시하였 다. 이는 기존 시스템의 한계를 극복하고, 도시철도 안전 모니터링 분야에서 즉각 대응이 가능한 핵심 기술 로 발전할 수 있음을 입증하였다. 제안한 중심좌표 기반 이상행동 감지 알고리즘은 자율주행버스, 무인 셔 틀, 스마트 정류장 등 미래형 대중교통 시스템에 폭넓게 적용가능하다. 승객 안전 확보와 비정상 상황 조기 감지 수요가 커지고 있는 만큼, 본 기술은 외부 서버 없이도 실시간으로 다수 탑승자의 움직임 패턴을 분석· 탐지할 수 있다는 점에서 중요한 기반 기술로 활용될 수 있다. 또한 개별 식별이나 고화질 영상에 의존하지 않고 공간 내 전체 이동 흐름 변화를 감지하여 프라이버시 보호와 시스템 경량화가 요구되는 교통 환경에도 효과적으로 통합 가능하다. 따라서 지하철 객차뿐 아니라 향후 다양한 형태의 무인 교통 수단에서도 실시간 공공안전 감지 시스템의 핵심 기술로 발전할 잠재력을 보여준다.

다만 본 연구에는 몇 가지 한계가 존재한다. 실제 위험 상황(방화, 흉기 난동 등)에 대한 장시간 고품질 영 상 확보가 어렵고, 개인정보 보호 문제로 원본 영상을 직접 활용하지 못하였다. 향후 연구에서는 지하철 CCTV의 시야각 제약, 사건·사고 발생 위치에 따른 검지 성능 차이, 객차 내 인원 수와 교통약자의 이동 패 턴이 감지 결과에 미치는 영향을 체계적으로 분석하여 임계치의 정확도와 일반화 성능을 고도화할 필요가 있다. 또한 본 연구는 단일 사건 영상을 활용한 초기 검증 단계에 머물러 있어, 다양한 사례와 노선에 대한 추가 검증이 요구된다. 특히 국내 사례에 국한하지 않고 다사건·다노선 데이터를 포함한 후속 연구를 통해 알고리즘의 보편성과 적용 가능 범위를 확장할 필요가 있다.

Figure

<Fig. 1>.