Ⅰ. 서 론
기존 자율주행 차량 기술은 차량에 부착된 센서를 사용하여 주변의 정보를 수집하고 주행 환경을 인지하 여 스스로 주행 계획을 수립하는 형태로 개발되어왔다. 하지만 자율주행 차량에 장착된 카메라나 라이다, 레 이더 등의 센서를 통해 수집되는 정보는 역광이나 악천후, 장애물로 인한 가려짐 등의 요인으로 특정 상황에 서 검출 성능이 떨어질 수 있다. 최근의 자율주행 기술 연구는 차량의 단독 인지 한계를 극복하기 위해 도로 인프라의 도움을 받는 협력형 자율주행 기술(Cooperative Driving Automation)로 그 범위가 확장되고 있는데, 해당 기술은 자율주행 차량 간의 데이터 교환을 넘어 도로 인프라에서 수집한 차량이나 보행자, 자전거 등 도로상의 동적 객체정보를 제공받아 활용하는 것을 목표하고 있다. 더 나아가서는 단순 정보 제공을 넘어 인 프라에서 가이던스를 제공 자율주행 차량의 주행에 직접 개입하는 형태까지 광범위한 연구가 이루어지고 있 다(Jeon et al., 2022).
협력주행 연구에 있어 교통 상황을 인식하는 객체인지(Object Perception) 기술은 핵심 구성요소로, 도로 동 적 객체정보를 수집하는 대표적인 센서는 카메라와 라이다, 레이더 등이 있으며, 수집된 객체정보는 동적 정 밀지도(Local Dynamic Map, LDM) 플랫폼이나 C-ITS (Cooperative Intelligent Transportation System) 플랫폼을 통해 차량으로 전달될 수 있다. 이러한 V2X 통신에 필요한 데이터의 구성요소 및 메시지 셋은 미국 SAE (Society of Automotive Engineers) International의 SAE J2735 표준에서 정의된 바 있으며 (SAE International, 2020), 최근 SAE J3224를 통해 J2735에서 정의된 형태의 데이터를 활용하여 SSS (Sensor Sharing Service)를 생성하기 위한 운영 개념 및 메시지 흐름이 제시되었다 (SAE International, 2022).
J2735 및 J3224에서 차량과 인프라들이 공유하는 UV (Unequipped Vehicle)의 좌표는 3D 객체의 정중앙 바 닥을 기준으로 산출하고 있다. 2D 단안 카메라 영상에서 3D 형태의 객체를 검출하는 방법은 (Ku et al., 2019)와 같이 제안된 바 있다. 실제 자율주행 차량의 경로계획 및 주행에 직접적으로 영향을 미치는 동적 객 체정보의 경우, 실시간성이 중요하지만 (Kim et al., 2022), 단안 카메라 영상 기반의 3D 객체 검출 알고리즘 은 간소화된 형태의 2D 객체 검출 알고리즘 대비 여전히 높은 연산량을 요구하고 있어 협력주행 인프라에 적용이 어려운 상황이다. 이에 본 논문에서는 기존 2D 객체 검출 알고리즘과 고정된 인프라 카메라 환경에 서 사전에 정의된 기하학적인 정보를 바탕으로 단안 카메라 영상에서 실시간으로 객체의 검출 및 중점을 추 정할 수 있는 방법을 제안하고자 한다.
Ⅱ. 관련 연구
자율주행 차량의 기술 수준은 미국 SAE International에서 0~5단계로 정의한 바 있다 (SAE International, 2021). 현재의 자율주행 수준은 특정 조건 하에서 시스템이 운전자를 대신하는 조건부 자동화 수준으로 3단 계에 해당한다. 본 장에서는 4단계 이상의 자율주행 기술 수준에 도달하기 위한 협력형 자율주행 기술에 대 해 살펴보고, 보다 구체적으로 단안 카메라 기반의 인프라 센서 구현에 필요한 개선점을 도출하고자 한다.
1. 협력형 자율주행 기술의 필요성
자율주행 기술의 보급과 함께 자율주행 관련 교통사고가 증가하는 추세인데, 자율주행 차량의 사고 원인 은 주변 환경 인식 오류, 의사 결정 오류, 행동 오류, 크게 세 가지로 분류할 수 있다(Wang et al., 2020). 환경 인식 오류는 가까운 객체로 인한 가려짐, 기상환경의 변화 등 돌발 상황에서 발생할 수 있는 센서의 인지 성 능 저하로 인해 발생할 수 있는데 (Ignatious and Khan, 2022), 이러한 자율주행 차량의 단독 인지 한계 극복 을 위해 협력형 자율주행 기술의 필요성이 대두되고 있다(Jeon et al., 2022). 이러한 문제점을 개선하기 위해 도심 도로 자율협력주행을 위한 동적 정보 플랫폼 기술이 제안된 바 있는데, 해당 플랫폼은 유럽의 Safespot 프로젝트를 통해 개발된 동적 정밀지도를 기반으로 설계되었다 (Roh and Kim, 2019). <Fig. 1>은 네 개의 층 을 가지는 LDM의 구조와 동적 정보를 나타낸 그림으로, 협력주행을 위해서는 자율주행 차량에 제공 가능한 사각지대의 동적 정보를 수집할 수 있는 인프라 구축이 수반되어야 함을 확인할 수 있다.
2. 차량-인프라 센서 정보 교환 표준
SAE J2735 표준에서는 V2X 장착 플랫폼이 되는 차량과 지면 간의 좌표 시스템을 정의하고 있는데, 차량 의 위치를 나타내는 기준점은 차량을 중심으로 도로 표면에 투영된 직사각형의 중심점으로 정의하고 있다 (SAE International, 2020).
협력주행을 위한 V2X 센서 데이터에 대한 SAE J3224 표준에서는 SAE J2735의 참조 위치 및 좌표 시스템 을 동일하게 적용하고 있다. 해당 표준에서는 <Fig. 2>에 나타난 것과 같이 Xv 축은 차량의 전방, Yv 축은 차량의 우측에 해당함을 확인할 수 있으며, 검출된 동적 객체에 대해서는 클래스 정보, 위치, 움직임, 고유 추적 ID, 회전 정보 등의 부가적인 정보를 산출하여 자율주행 차량을 지원할 수 있도록 메시지가 정의되어 있다 (SAE International, 2022).
3. 협력주행 지원 인프라 센서
도로변에 설치된 센서의 설치 위치는 신호등이나 가로등 등 주변의 구조물을 활용하여 설치될 수 있으며, 밀집한 교통 상황에서 가려짐을 최소화할 수 있도록 높은 위치에 설치한다. 각 센서는 고유한 특성과 장점을 갖고 있으며 <Table 1>은 대표적인 센서들의 특성을 간단하게 비교한 자료이다. 딥러닝의 발전 이후, 일반적 인 객체 감지 기술은 빠르게 발전하고 있으나, 도로 측면에서 센서를 기반으로 작동하는 객체 감지 분야의 연구는 여전히 새로운 영역이며 전통적인 분석 방법과는 다른 특징을 갖고 있다 (Bai et al., 2022).
<Table 1>
Different Sensors Utilized for Infrastructure-based Perception (Source : Bai et al., 2022)
| Capabilities | Camera | LiDAR | RADAR |
|---|---|---|---|
| Privacy-safe data | ★ | ★★★ | ★★★ |
| Accurately detects and classifies objects | ★★ | ★★★ | ★ |
| Accurately measures object speed and position | ★★ | ★★★ | ★★★ |
| Extensive field-of-view(FOV) | ★ | ★★★ | ★★ |
| Reliability across changes in lighting, sun, temperature | ★★ | ★★★ | ★★★ |
| Ability to read signs and differentiate color | ★★★ | ★★ | ★ |
자율주행 차량의 운행 지원 및 고도화된 교통관리 등을 고려한 인프라 센서의 요구사항에 대한 연구가 이 루어진 바 있으며, 차량의 실시간 위치 모니터링과 정보 제공 및 지연시간의 최소화는 핵심적인 고려사항으 로 여겨진다 (Kim et al., 2022).
4. 영상분석 알고리즘
YOLO나 SSD, EfficientDet 등 널리 알려진 실시간 다중 객체 검출 알고리즘을 사용하여 교통정보를 수집 하고자 하는 연구는 다양하게 수행된 바 있다 (Al-qaness et al., 2021). 실시간성을 보장하기 위한 신경망의 경 량화 및 인프라 환경 최적화 연구도 이루어진 바 있으나 (Jo et al., 2022), 차량과 인프라 사이의 데이터 상호 교환을 위한 정밀 위치 측위 방면의 연구는 여전히 미비한 실정이다. 단안 카메라를 바탕으로 차량의 중심점 을 추정하기 위한 딥러닝 기반의 방법들이 제안된 바 있으나 (Ku et al., 2019), 차량의 주행 지원에 필요한 실시간성을 확보하기에는 높은 연산량으로 적용이 어려운 실정이다. 실시간성을 높이기 위하여 배경 차분 (Background Subtraction) 기반의 차량 자세 추정 방법도 제안된 바 있으나, 딥러닝 기반의 객체 검출과 전경 분리를 이용한 영상처리, 두 단계의 영상분석 과정이 필요한 상황이다.
이에 본 논문에서는 도로 주변에 설치되어 항상 동일한 시야각을 갖는 인프라 수집 카메라 센서의 특징을 고려하여 간단한 구조의 객체 검출 신경망을 활용하여 실시간으로 차량의 중심점을 추정하는 방법을 제시하 고자 한다.
Ⅲ. 본 론
본 장에서는 YOLO 기반의 객체 검출 신경망을 이용하여 도로상의 차량과 해당 차량의 전면과 후면의 범 퍼 영역을 객체 검출 알고리즘의 클래스로 추가한 모델을 생성하고, 사전에 정의된 도로의 기울기와 2D 객 체 검출 알고리즘의 결과물인 경계 상자 (Bounding Box)만을 이용하여 차량의 중심점을 추정하는 알고리즘 을 제안한다. 제안 알고리즘의 전체적인 흐름은 <Fig. 3>에 나타난 것과 같다.
1. 도로 인프라 센서의 특수성
도로 인프라 센서로 활용되는 카메라 영상분석 환경에서는 일반적인 영상처리 환경과 다른 몇 가지 특수 성을 활용하여 복잡한 문제를 간단하게 해결할 수 있다. 인프라 카메라의 첫 번째 특징은 고정된 화각을 가 지고 있다는 점을 꼽을 수 있다. 고정된 환경에 설치되어 사전에 측정된 기하학적 정보를 영상분석에 활용할 수 있고, 특히 최근 활발하게 구축되는 정밀지도를 활용하는 경우 현장 실측 없이도 상당한 정보를 얻을 수 있다는 장점이 있다. 또한, 인공지능 모델의 학습에 있어 일반적인 모델의 학습은 과적합을 방지하기 위해 상당한 노력을 기울여야 한다. 하지만 공사 기간을 포함한 인프라 센서의 경우, 장기간 수집된 데이터를 활 용하여 해당 센서의 설치 환경에서 지속적인 학습을 통해 모델을 고도화할 수 있어, 상대적으로 간단한 구조 의 신경망을 활용하더라도 충분한 검출 성능을 기대할 수 있다.
2. 객체 검출 모델 구성
제안하는 차량 중심 추정 방법은 다중 객체를 검출할 수 있는 경계 상자 기반의 객체 검출 알고리즘에 모 두 적용 가능한 방법으로, YOLO, SSD, EfficientDet 등의 알고리즘 활용을 고려할 수 있다 (Zou et al., 2023). 본 논문에서는 이미지의 크기에 따라 신경망의 성능과 속도에 따른 Trade-off가 용이한 Scaled-yolo-v4 네트워 크(Wang et al., 2021)를 이용하여 객체 검출 모델을 구성한다. 카메라에 근접한 객체가 존재하지 않는 인프라 센서의 특수성을 고려하여 객체 검출을 위한 Fully connected Layer는 총 2개의 스케일로 구성하였으며, 입력 특징 지도는 (19x19), (38x38)의 크기가 되도록 <Fig. 4>와 같이 구성하였다.
객체 검출을 위한 클래스는 차량과 트럭, 버스, 범퍼 4종으로 구성하였다. 일반적인 차량과 확연하게 다른 외형을 갖는 트럭과 버스는 일반 차량과 구분하고, 차량의 후면부에서 확실하게 구분 가능한 트럭과 버스 또 한 별도의 클래스로 구성하였다. 마지막으로 차량의 중심 추정을 위한 범퍼를 클래스로 추가하였으며, 학습 데이터 구성을 위한 라벨링 기준은 <Table 2>와 같다.
<Table 2>
Annotation Guidance for Data Libeling
| Class | Annotation Guide |
|---|---|
| Car | If it can be identified as a vehicle, designate only the visible parts, excluding the obscured areas, as objects. |
| Truck | If the front end is included in the frontal and side views, designate it as an object. |
| Bus | If the frontal and side views include the front end, designate it as an object. |
| Bumper | Label the upper left and right portions of the headlights and the lower left and right portions of the bumper as the labeling area. |
3. 차량 중심 추정
차량 중심 추정을 위해서는 검출된 차량 경계 상자와 범퍼의 경계 상자의 매칭이 필요하다. 경계 상자의 매칭은 <Fig. 5>와 같이 차량과 범퍼 경계 상자의 IoU(Intersection over Union) 값을 이용하여 수행한다.
검출된 차량의 경계 상자는 이미지의 원점을 기준으로 <Fig. 6>과 같이 나탤 수 있으며, 검출된 범퍼의 좌 하단 점을 Pblb, 우하단 점을 Pbrb, 검출된 차량의 좌하단 점을 Pclb, 우하단 점을 Pcrb, 사전에 설정된 도로 의 기울기를 a라고 할 때, 객체의 후편 바닥 좌표 Pebl와 Pebr 은 수식 (1)과 (2)를, 차량의 3D 중심 Pobjc는 수식 (3)을 이용하여 구할 수 있다.
Ⅳ. 실험 결과
객체 검출 모델을 학습하기 위하여 총 10,000장의 이미지를 라벨링하고, 9,000장을 학습 데이터로, 1,000장 을 검증 데이터로 사용하였다. 준비된 라벨링 이미지를 사용하여 IoU 0.5 이상을 검출 성공 기준으로 두고 AP를 측정한 결과는 아래의 <Table 3>와 같으며, 비교적 간단한 구조의 신경망으로도 충분한 객체 검출 성 능을 확보할 수 있음을 확인하였다.
<Table 3>
Annotation Guidance for Data Libeling
| Class | TP | FP | AP (%) |
|---|---|---|---|
| Car | 2193 | 470 | 90.21 |
| Truck | 373 | 52 | 89.64 |
| Bus | 56 | 20 | 90.13 |
| Bumper | 1781 | 517 | 87.46 |
객체의 중심 추정 정확도를 확인하기 위하여 RTK 단말기를 활용하여 건물 옥상에 <Fig. 7>과 같이 설치 된 카메라의 외부 캘리브레이션을 수행하였다. 이때, 지리 수집된 Bessel 타원체를 사용하여 중부 원점을 중 심으로 지리 좌표계를 투영 좌표계로 변환하였으며, 카메라의 왜곡 보정 및 내부 캘리브레이션은 (Zhang, 2000)의 방법을 이용하였다.
n가지 종류의 차량에 아래의 <Fig. 8>와 같이 RTK 안테나를 부착하여 GPS 신호를 수집하였으며, <Fig. 9> 과 같이 검출된 차량의 중심점을 추정하여 3D 좌표를 산출하였다. 이 때 사용된 RTK 안테나의 상세 사양은 <Table 4>와 같다.
<Table 4>
RTK Specification
| Category | Description | |
|---|---|---|
| Location Accuracy | Horizontal | 1cm + 1ppm CEP |
| Vertical | 1cm + 1ppm R50 | |
| Max Navigation Update rate | Priority Navigation Mode | 30Hz |
| Non Priority navigation mode | 2Hz | |
| Navigation Latency | Priority Navigation Mode | 15ms |
| Velocity Accuracy | 0.05m/s | |
| Dynamic Attitude Accuracy | Heading/Pitch/Roll | 0.2deg/0.3deg/0.5deg |
| Acquisition Time (GPS+GLO+GAL+BDS) | Cold/Hot | 26s/2s |
| Re-convergence Time | RTK | <10s |
약 50m의 영역을 이동하며 수집된 GPS 신호의 오차를 최소화하기 위하여 한 지점에서 10초간 정차하여 수집된 신호의 평균값을 사용하였다. GPS 신호를 동부 원점을 기준으로 변환한 3D 좌표와 추정된 차량 중 심 2D 좌표를 동부 원점 기준으로 변환한 좌표의 유클리드 거리 차이를 측정하였으며 그 결과는 <Table 5> 와 같이 나타났다. 추정된 차량의 중심은 <Fig. 10>에서 확인할 수 있으며, 차량의 길이 및 카메라와의 거리 에 따라 평균 43cm 정도의 오차를 보였고, 이는 단순하게 경계 상자의 중심을 추정한 결과는 위성과 비교한 오차 278cm보다 정밀함을 실험을 통해 확인할 수 있었다.
<Table 5>
Location Estimation Results
| Location | GPS (m) (x,y) | Center (m) (x,y) | BBOX (m) (x,y) | Center Gap (m) (x,y) | BBox Gap (m) (x,y) |
|---|---|---|---|---|---|
| 01 | 6122283, 4555233 | 6122282, 4555233 | 6122284, 4555230 | 0.3493861, 0.1114912 | 1.9599, 2.8107 |
| 02 | 6122270,4555244 | 6122270, 4555244 | 6122271, 4555242 | 0.3247175, 0.0707792 | 1.3162, 2.0663 |
| 03 | 6122257, 4555256 | 6122256, 4555256 | 6122257, 4555253 | 0.4113887, 0.1427691 | 1.2522, 2.3147 |
| 04 | 6122248, 4555263 | 6122249, 4555262 | 6122249, 4555260 | 0.5423755, 0.1964397 | 0.9885, 2.4652 |
| Average Gap | 0.4069669, 0.1303698 | 1.3792, 2.414225 | |||
| 0.4273387 | 2.780409 | ||||
Ⅴ. 결 론
본 연구에서는 도로 인프라 센서를 활용한 차량 중심 추정 방법을 제안하였다. 이 방법은 간단한 구조의 객체 검출 신경망을 기반으로, 도로 인프라의 고정된 화각과 사전에 측정된 기하학적 정보를 활용하여 객체 를 검출하고 차량의 중심점을 추정하는 방안을 제안하였다. 실험을 통해 단순한 구조의 신경망을 사용함에 도 mAP 90에 가까운 충분한 검출 성능을 확보할 수 있음을 확인하였으며, 단순한 좌표의 입력을 통해 낮은 연산량으로 객체의 중심점을 효과적으로 추정할 수 있음을 확인하였다. 또한, 제안된 방법은 차량 및 도로 인프라 간의 협력형 자율주행 기술에 적용 가능하며, 차량의 중심 추정을 통해 국제 표준을 준수하면서 실제 자율주행 차량의 경로계획에 활용할 수 있는 정보를 단안 카메라를 이용하여 생성할 수 있어, 협력형 자율주 행 인프라의 보급 및 확산에 기여할 수 있을 것으로 기대된다. 하지만 제안된 방법은 차량의 중심을 추정하 기 위해 범퍼의 검출이 필수적으로, 도로의 측면에 설치된 카메라 영상이나, 차량의 정체가 일어나 범퍼가 가려지는 환경에 적용하는 데에는 한계가 있다. 또한, 본 연구는 제한된 환경에서 직선 도로를 대상으로 수 행된 연구이므로 향후 곡선 도로 및 다양한 환경을 고려한 후속연구와 카메라의 왜곡이나 3D 좌표의 2D 좌 표 변환 과정에서 발생하는 오차를 줄이기 위한 정밀 카메라 교정 방법 등의 후속 연구가 필요할 것으로 판 단된다.
