Ⅰ. 서 론

도시 활동들은 실외공간에서 주로 이루어지던 생활들이 기술 발달로 인해 점차 실내공간으로 변화하고 있다. 이는 인간 전체 생활의 약80% 이상이 실내에서 이루어지고 있다(U.S. Environmental Protection Agency, 1989). 또한 시간과 공간에 제약을 받지 않는 스마트 기기의 확산으로 인해 실내외 공간의 경계가 허물어지 고 있다(Yoo and Cho, 2014). 최근 지하철역 환경도 철도 이용을 위한 플랫폼만이 아닌 쇼핑·관광·회의·식사 등 다양한 활동을 하는 공간으로 확장되어 인접 건축물과 연계되어 더욱 복잡한 공간구조로 진화하고 있다 (예 : 잠실역과 롯데월드, 삼성역과 COEX, 사당역과 파스텔시티 등). 이러한 환경 변화들은 교통약자와 정보 약자에게 보다 편리한 모빌리티를 지원하기 위한 길 안내 시스템의 필요성을 가속화 시키고 있다.

지하철역 내비게이션 시스템은 위성으로부터의 GPS 신호가 신뢰성 있게 유입되기 어렵기 때문에 기존 실 내측위 알고리즘들은 측위의 정확성 이슈(Yoo and Cho, 2014;Yoon and Hwang, 2015;Michał et al., 2016), 실 내지도 기반 구축에 따른 비용 이슈(Enrique et al., 2011;Yoo and Cho, 2014), 그리고 WiFi AP. 블루투스 장치 들의 전력 등 유지보수 이슈(Kang and Lee, 2015;Sichitiu et al., 2004;Kim et al., 2014) 등이 있다. 따라서 스 마트 폰을 사용하여 지하철 역사와 같은 지하공간에서 정확한 길 안내 서비스는 여전히 어려운 과제이다 (Yoo and Cho, 2014). 따라서 지하철 역사는 첫 번째로, 열차의 진출입으로 발생하는 전파의 간섭 영향으로 인해 기존 측위기술에 측위 오차가 발생한다. 두 번째로, 실내측위를 위해서는 인프라를 구축해야 하는데 지 하철역사와 같은 넓은 공간에 적용하기 위해서는 인프라 설치, 유지‧보수에 관한 비용적인 문제가 발생한다. 세 번째로, 이용객이 많은 철도 역사의 특성으로 인해 유지보수가 잦기 때문에 환경이 변화였을 때 이를 대 응하기 위해서는 실내측위 관련 인프라에 대한 설정을 변경해야 한다.

본 논문에서는 지하철 역사 내부에서 사용자 위치 기반과 실내지도가 없는 조건에서 스마트 폰으로 길 안 내를 제공할 수 있는 AR 정보제공 알고리즘 개발을 목적으로 하고 있다. 또한 사용자 위치 기반의 실내지도 없는 조건의 길 안내 구현은 스마트 폰의 광학적 툴을 활용하는 국제표준 QR마커(ISO/IEC 18004, 2006)를 철도역사 환경과의 조화를 고려한 새로운 마커제안과 해석 툴을 포함한다.

Ⅱ. 관련 연구 및 개발 배경

1. 스마트 폰의 QR 마커 코드를 활용한 실내 내비게이션 연구

1) QR-코드 개요

QR 코드는 밝은 색과 어두운 색 사각형으로 구성된 2차원 코드이다. QR 코드의 표준은 국제표준화기구에 의해 정의되어 있다. 이 표준에서는 40개 QR 코드 버전을 정의하고 있다. 각 버전은 다른 수의 모듈로 구성 되어 있고 데이터 용량이 다양하다. 코드는 숫자, 영숫자, 이진 및 한자 등 다양한 유형의 데이터를 인코딩 할 수 있다. <Fig. 1>은 QR 코드 구조의 사례로, 기능 영역뿐만 아니라 인코딩 영역으로 구성되어 있다.

기능 패턴은 데이터를 인코딩하지 않으며, QR 코드에 대한 특정 정보를 검색하는 데 사용된다. 인코딩 영 역은 데이터 코드 워드 및 에러 정정 코드 워드로 구성된다. 각 코드 워드는 8 비트이며, 데이터는 비트 스트 림으로 QR 코드로 인코딩되며 일련의 코드 워드로 구분된다. QR 코드 내의 데이터 및 에러 정정 코드 워드 는 하나 이상의 블록으로 분할된다. 총 데이터 수 및 오류 수정 코드 워드와 함께 특정 블록 수는 QR 코드 버전 및 오류 수정 수준에 따라 결정된다. 각 블록 내에서, 오류 정정 코드 워드는 데이터 코드 워드 시퀀스 의 끝에 부가되고 인터리빙 된 방식으로 블록 내에서 인코딩된다. 이 목적은 손상으로 인해 코드화 할 수 없 는 코드가 발생할 가능성을 줄일 수 있다.

2) QR-코드를 활용한 실내 내비게이션 연구

최근 건물 등 실내 내비게이션 연구는 QR코드 장점을 활용하여 스마트 폰의 광학적 툴로 실내의 위치 좌 표를 읽는 방법으로, 다른 측위기술의 오차를 보정하는 연구(Michał et al., 2016;Choi et al., 2013;Kim and Kim, 2011;Kang and Lee, 2015)와 QR코드를 활용하여 내비게이션을 구축하는 연구(Enrique et al., 2011;Josymol, 2014;Chirakkal et al., 2015;Heo et al., 2015;Sujith et al., 2015;Lim et al., 2016;Kim and Kwon, 2018)로 구분할 수 있다.

Enrique et al.(2011)은 스마트 폰에서 사용할 수 있는 간단하고 효율적인 도구인 QR-Maps과 Google지도에 표시된 위치를 나타내는 간단한 텍스트가 포함 된 QR 코드를 적용한 무선 기술 기반의 솔루션에 해당한다. 또한 Josymol(2014) 연구는 Android 기반 실내지도 시스템으로 실내 위치의 지도에 사용자 링크를 제공하고 현재 위치 세부 정보를 사용자에게 제공하는 것과 시각 장애인들이 건물 안의 현재 위치를 파악할 수 있게 해주는 음성 응답 모듈도 제공하고 있다.

Lim et al.(2016)은 보행자의 진행방향 탐지가 가능하도록 3D입체 마커를 제안하고 신정네거리역 대상으로 실증사례 분석을 수행하였다. 그 결과, 3D 입체마커의 인식률 90% 이상의 경우 보행자 속도 0.7m/sec이하의 조건과 인식거리 70cm로 매우 제한적인 성과에 해당한다. 즉 보행자 진행방향 탐지는 보행속도 0.7m/sec이하 조건에서 천정 빛의 노이즈가 없는 조건에서만 보행자 방향성을 고려한 길 안내가 가능한 수준이었다. Song and Lee(2016)의 연구는 QR 코드 인식 기반 지하주차장에 적용하는 실내 측위 방법에 해당한다. 여기서 QR 코드의 경우 정보 수용 기능을 활용하여 위도, 경도, 깊이(층) 등의 절대좌표 등의 정보를 구축한 실험으로 지하 주차장에서 운전자에게 길 안내 편의 제공을 목적으로 하고 있다.

2. 증강현실(Augmented Reality)을 적용한 내비게이션 연구

1) 증강현실 개요

실사에 가상의 시각정보를 얹어 사용자에게 의미 있는 정보전달을 목적으로 하는 증강현실은 스마트 폰 카메라를 통해 실사 환경에 실시간으로 추가 정보로 대체하는 것이다(Carmigniani and Furht, 2011). 증강현실 은 <Fig. 2>에서와 같이 실제 세계와 가상 세계의 결합, 실시간 상호 작용, 3차원 적용이라는 특성을 갖는다 (Azuma, 1997). 증강현실 구현은 기본적으로 카메라와 GPS, 나침반이 필요하며, 스마트 폰(Android 또는 IOS) 만으로 구현된다. 증강현실의 성공적 사례는 <Fig. 3>에 제시한 바와 같이 Pokémon GO이다. 이는 세계 많은 사람들을 중독시킨 증강현실 기반의 게임이다(Serino et al., 2016). 사용자는 스마트 폰을 사용하여 실제 세계 에서 가상의 포켓몬 캐릭터를 수집할 수 있다.

2) 증강현실을 이용한 내비게이션의 연구

Park and Seo(2010)와 Park and Kim(2012)은 위치 정보는 마커를 사용하고, 다양한 형태로 제작된 종이지도 의 기술적 요소와 정보가 좀 더 사실적이고 시각적으로 표현되기 위해 증강현실을 적용하였다. Kim et al.(2013)은 지하철역에서 증강현실 적용의 내비게이션 UI 설계를 위해 증강현실 환경에서 사용자 경험을 보 완하기 위한 연구를 수행하였다.

현재 자동차와 보행자 내비게이션은 2차원 지도상에서 사용자 위치 정보를 표출하여 이용자가 위치한 곳 의 지리정보를 실시간으로 이용하고 있다(<Fig. 4>와 <Fig. 5>). 하지만 사용자는 추상화 2차원 지도로 3차원 의 실제 환경으로 길 안내정보를 매칭 해야 한다. 여기서 정보약자의 경우 2차원 지도의 안내 정보로부터 3 차원 현실공간으로 해당 정보를 받아 들이 데 이해력의 한계가 발생하고 있다.

3. 새로운 방법론의 배경

본 연구에서는 2차원 또는 3차원 실내지도가 없이 보행자가 스마트폰 카메라 화면을 통해 보이는 실사에 길 안내 서비스 정보를 증강현실 기반으로 제공하고 자 한다. 실내지도 없는 길 안내 내비게이션은 Pokémon GO게임과 같이 특정 위치에 도달할 경우 현실의 화면상에 가상의 포켓몬 캐릭터들을 제공하고 있는 것과 동일하게 목적지까지의 보행방향과 거리 정보를 서비스하고자 한다.

지하철역사에서 길 안내하기 위한 위치정보 수집은 표준 QR코드를 개량하여 사용한다. 그 이유는 첫째 지하철역 환경의 노이즈(전등 빛 반사와 조도, 오염과 훼손) 개선, 둘째 1.2m/sec 이상 보행속도 사용, 셋째 물청소에 따른 내구성 확보, 이용객 거부감 해소 등이 있다. 이는 Lim et al.(2016) 연구가 제시한 한계를 극 복하고자 한다. 또한, 보행자는 이동의 자유도가 높기 때문에 실시간으로 빠르고 정확하게 보행 안내 정보를 증강현실로 제공하기 위해 반드시 보행자 진행방향 기준으로 길 안내 정보를 제공해야 한다. 이는 Kim et al.(2013)이 지적한 증강현실에서는 어긋남(Visual misalignment) 문제를 개선하는 것으로, 지하철역에서 길 안 내정보를 신속하고 효과적으로 전달하기 위해서 필요하다.

Ⅲ. QR 마커의 위치 기반 보행자 길 안내 방법론

1. 지하철역 길 안내 내비게이션 알고리즘

<Fig. 6>은 지하철역에서 스마트폰을 이용한 보행 내비게이션 사용에 대한 개념도를 제시하고 있다. 지하 철역에는 기본적으로 신규 제안한 마커가 설치되어 있고, 사용자는 스마트폰 카메라로 바닥 또는 기둥에 부 착되어 있는 마커를 인식한 위치정보를 기반으로 목적지까지의 길안내 정보를 증강현실로 제공받는다.

길 안내 알고리즘은 <Fig. 7>에 제시하고 있다. 먼저 사용자가 앱을 실행하고 목적지를 선택한다. 선택한 목적지는 앱이 실행되는 동안 저장된다. 다음 단계는 선택한 앱 화면이 카메라 화면으로 전환되고 사용자가 카메라로 마커에 접근하면 마커 인식 프로그램에 의해 마커를 인식하게 된다. 그리고 나서 인식된 마커 ID 와 목적지 정보를 데이터베이스에 전달한다. 데이터베이스에서는 인식된 마커 ID가 데이터베이스에도 존재 하는지 확인한 후 마커 ID가 존재하지 않을 경우 아무런 정보를 출력하지 않고 다시 마커를 인식할 때까지 기다린다. 만약 데이터베이스에 인식한 마커 ID가 존재할 경우 데이터베이스는 인식한 마커 ID가 가지고 있 는 정보에서 해당 목적지 정보(현재 마커로부터 목적지까지 거리, 방향)를 앱에 전달한다. 앱은 전달받은 목 적지 정보 중에 방향 정보를 재계산한 후 목적지 정보를 화면에 출력하게 된다.

2. 새로운 제안 마커

신규 제안마커는 <Fig. 8>과 같이 정사각형으로 구성되어 있다. 마커의 기본 구조는 QR코드 국제표준과 동일하게 테두리영역, 패턴영역, 파인더패턴을 포함하고 있다. 이 표준과 비교해 테두리 바로 안쪽 셀들은 마커의 방향과 마커의 ID정보를 담고 있는 ‘패턴 영역’으로 인식율을 높이기 위해 8×8로 간소화하였다. 그 외의 마커 내부영역은 보행자들에게 시각적 정보를 제공할 수 있는 ‘표시 영역’으로 구성하고, 마커에 거부 감 개선을 위해 원형의 테두리를 추가하여 현재 지하철역의 안내표시 정보와 동일하게 구성하였다. 제작 마 커는 정보를 포함하고 있는 녹색의 정사각형 마커와 이를 보호하기 위한 파란색 테두리로 구성되었다. 그리 고 누구나 쉽게 설치 가능하도록 스티커형태로 제작되었으며, 조도에 의한 인식의 영향을 줄이기 위해서 무 광코팅으로 제작하였다2).

3. 마커 인식 알고리즘

마커 인식 기술이 탑재된 스마트폰 앱에서는 위의 마커를 스마트폰 카메라를 통해 인식하고 마커를 분석 하여 마커 고유 ID를 추출해 낸 다음 그 정보를 이용하여 사용자의 위치를 추정해야 한다. 마커 인식 기술은 카메라 화면 이미지를 다양하게 변환하고 분석하는 작업이 필수적이기 때문에 이미지 처리 라이브러리를 사 용해야 한다. OpenCV는 가장 대표적인 이미지 처리 라이브러리이며, 안드로이드, iOS 플랫폼에서도 사용이 가능하기 때문에 이 라이브러리를 사용하였다. 스마트폰 앱은 마커를 인식하기 위해 기본적으로 스마트폰 카메라를 구동시킨다. 그리고 스마트폰 카메라 화면을 1초에 대략 1~3 프레임 속도로 캡쳐하고 캡쳐된 이미 지를 가지고 <Fig. 9>와 같은 이미지 처리 및 분석 과정을 통해 사용자의 위치를 추정한다.

마커 인식의 가장 첫 번째 단계는 마커의 이미지를 캡쳐하는 것이다. 캡쳐한 이미지를 HSV색상 모형으로 변환하여 빛에 대한 영향을 줄여 마커의 윤곽선을 추출한다. 여기서 마커의 경계 검출방법은 강도 영상(그레 이 스케일 이미지)은 마커 경계 검출에서 먼저 얻는다. 이 시스템은 잘 알려진 기법(Gonzalez et al., 1992)을 사용하여 캡처 이미지를 RGB 형식의 그레이 스케일 형식으로 변환한다. 수학식은 그레이 스케일 값과 RGB 컬러 성분의 관계를 나타낸다.

테두리 영역 임계값은 M. H. Chowdhury and W. D. Little(1995)을 사용하여 이진 영상에서 잠재적인 마커 를 찾고, 가장자리 검출 방법(Canny, 1986)을 사용하여 마커의 경계를 식별한다. 이때 thresholding 기법은 일 반적으로 이미지 조명 변화를 결정하기 위해 적응형 thresholding 방법을 사용하였다. 이미지 조명 변화 식별 이후, 어떤 물체가 마커 영역 일 가능성이 가장 높은지를 분류 할 수 있다.

두 번째로 추출한 마커의 패턴영역을 이진법으로 변환하여 마커 고유의 ID를 추출한다.

세 번째로 마커 ID와 DB를 비교하여 마커의 위치를 불러와 현 위치를 표출한다.

4. 증강현실 적용을 위한 탐지 알고리즘

길 안내 알고리즘은 사용자가 목적지를 선택하고 카메라 화면에 마커를 갖다 대면 마커 ID를 인식하여 데 이터베이스에 목적지와 마커 ID 정보를 전달한다. 데이터베이스는 이 정보를 바탕으로 마커 정면을 기준으 로 목적지로 가는 방향(각도)를 반환한다. 하지만 Kim et al.(2013)이 지적한 증강현실에서는 어긋남(Visual misalignment) 문제 개선을 위해 카메라 화면에 목적지 방향으로 화살표를 표시하기 위해 카메라 화면과 마 커 정면 사이의 각도(θ ′)를 알아야 한다.

스마트폰 화면에 어떤 각도로 증강현실 기반의 경로 안내 화살표를 회전해서 표시해 주기 위해 마찬가지 로 기준축이 필요하다(<Fig. 10> 참조). 스마트폰에서는 그림을 회전하는 기준축이 항상 카메라 화면 정면(y 축)이다. 이는 녹색 실선으로 표시하였다. 카메라 화면에 보행자가 진행하는 방향에서 진행방향으로 길안내 화살표정보를 증강현실로 표시해 주기 위해서는 계산식 (2)을 풀어야 한다. 즉 파인더패턴을 활용해서 정방 향으로 부터 기울어진 각도를 식(2)와 같이 추출하게 된다. 마커의 기울어진 각도를 추출하여 저장되어있는 DB의 목적지 방향 각도를 보정하여 이용객에게 마커의 인식방향에 관계없이 목적지로의 정확한 방향을 증 강현실 기반으로 제공 해 줄 수 있다.

여기서,

Ⅳ. 실증분석

1. 현장실험 개요

본 알고리즘의 실험계획은 Lim et al.(2016) 연구결과에서 제시한 보행속도 초속 0.7미터 이하와 실내조명 빛 등으로 인식률 이슈 극복을 증명하고자 한다. 알고리즘 개발의 요구조건 기준은 보행자 속도 1.2m/sec, QR마커와 보행자 거리 2m로 설정하고, Lim et al.(2016)의 실험사례와 동일한 서울 2호선 신정네거리역에서 수행하였다. 또한, 피실험자는 개발자와 서울교통공사 직원이 <Fig. 12>에 제시한 2개 플랫폼(계단/E.V 경로) 과 4개 출구와 1개 E/V의 경로에 대해 10회씩 수행하였다. Fig. 11

신정네거리역의 지상에서 지하로 연결하는 계단, 지하1층, 지하2층, 지하3층 등에 총 72개의 마커를 설치 하였으며, 20cm(가로)×20cm(세로)의 정사각형 마커를 포함하는 원형 스티커형태로 제작하였다. 최종목적지 로는 철도의 승하차 및 타 교통수단의 연계를 위해서 승강장과 각 출구번호를 목적지로 설정하였다. 경로 네 트워크 구성은 각 마커로부터 최종목적지까지 안내가 가능하도록 구성하였다. 최종 목적지 선택 시 E/V지상 출구나 E/V승강장을 선택한 교통약자 이용객에 대해서는 계단을 제외한 E/V 경로의 길안내를 제공한다.

2. 길안내 기능평가

1) 노이즈

영상처리 실내 측위기술의 가장 중요한 요소는 인식률이다. 본 내비게이션의 기능은 사용자의 보행속도 1.2m/sec와 마커와의 사용자 거리 2m 조건에서 길안내 정보표출 속도 1초에 대한 인식률은 96.2% 수준이다 (<Table 1> 참조). 인식률은 계단구간에서 90% 수준으로 다른 구간과 차이가 나타났다. 그 이유는 출구번호 1∼4번 구간 중간 계단층에 시간대에 따라 태양광의 영향으로 신규 제안 QR을 인식하는 데 실패하였기 때 문이다. 또한 기타 인식실패 원인은 일관성 있는 현상을 특정하기 어려웠다. 이 결과는 Lim et al.(2016)연구 에서 제시한 보행속도와 빛 반사에 대한 한계를 극복한 결과이다. 기존 연구의 노이즈 한계는 신규 마커와 제작방법, 그리고 천정이 아닌 바닥과 기둥에 부착하는 것으로 해결하였다. 또한 <Fig. 13>의 결과 마커 훼손 과 내구성 이슈가 거의 없다는 것은 2018년 1월 17일 이후 2018년 12월 31일까지 신정네거리 운영을 통해 확인할 수 있었다.

2) 교통약자 길안내

교통약자 길안내는 마커에 다양한 정보를 저장해 놓고 조건에 따라 다른 결과를 표출하는 기능을 활용해 서 일반보행자와 구분된 경로를 제공할 수 있는 특성을 가지고 있다. <Fig. 14>처럼 동일한 마커를 인식하였 을 때, 교통약자에게 일반보행자와 구분된 경로를 제공할 수 있다. 안내하는 경로로 이동하게 되면 교통약자 는 엘리베이터를 통해 이동하지만, 일반보행자는 계단을 통해서 이동하게 된다.

현장실험을 통한 교통약자와 일반보행자의 맞춤형 경로안내에 대해서 <Fig. 14>에서 제시하고 있다. 교통 약자는 계단을 이용하지 않고 승강장에서 지상 출구까지 이동할 수 있는 것으로 실험되었다.

Ⅴ. 결론 및 향후 연구과제

본 논문에서는 스마트폰 카메라와 마커를 활용한 지하철역사의 사용자 위치를 탐색하고, 이를 기반으로 길안내정보를 증강현실 표출하는 맞춤형 보행 내비게이션 연구를 수행하였다. 스마트폰 카메라와 신규 마커 인식은 QR코드 국제표준과 동일하게 테두리영역, 패턴영역, 파인더패턴을 두고, 이외 표시 영역과 원형의 테두리를 추가하여 현재 지하철역의 안내표시 정보와 동일하게 구성할 수 있도록 새로운 마커와 이를 인식 하기 위한 알고리즘 개발하였다. 또한 Kim et al.(2013)이 지적한 증강현실(AR)에서는 어긋남(Visual misalignment) 문제개선을 위해 카메라 화면에 목적지 방향으로 화살표 표시는 카메라 화면과 마커 정면 사 이의 각도(θ ′) 계산 알고리즘을 제안하였다.

본 연구의 제안 알고리즘들과 신규 마커에 대한 평가는 스마트폰 앱으로 구현하여 증강현실(AR) 기반으 로 실내지도 없는 조건에서 길안내 내비게이션 실험을 수행하였다. 실증연구는 Lim et al.(2016)연구와 동일 하게 서울교통공사 2호선 신정네거리역을 대상으로 수행하였다. 그 결과, 내비게이션의 기능은 사용자의 보 행속도 1.2m/sec와 마커와의 거리 2m 조건에서 길안내 정보표출을 증강현실 기법으로 1초 이내에서 96% 수 준에서 제공할 수 있었다. 이는 Lim et al.(2016)연구에서 제시한 보행속도와 빛 반사에 대한 한계를 극복한 성과에 해당한다. 다만 인식률은 계단구간에서 90% 수준으로 다른 구간과 차이가 나타났다. 그 이유는 출구 번호 1∼4번 구간 중간 계단층에 시간대에 따라 태양광의 영향으로 신규 제안 QR을 인식하는 데 있어 실패 한 사례 때문이다. 한편 기타 인식실패에 대한 원인은 일관성 있는 현상으로 특정하기 어려웠다. 또한 신규 제안 마커는 인식 알고리즘 성능에 크게 기여하고 있었다. 단, 마커의 내구성과 오염에 대한 이슈는 지속적 으로 확인할 필요가 있다. 마지막으로 교통약자와 일반인 대상으로 동일한 목적지에 대해 계단을 이용하지 않은 Barrier free 길안내가 가능하였다.

본 연구의 지하철역 보행 내비게이션 구현은 마커만을 사용하는 방법으로 사용자의 경우 반드시 마커가 있는 곳으로 이동해야만 길안내 서비스가 가능하다. 즉 연속성 있는 길안내 서비스에는 한계가 있는 바, 스 마트폰 카메라의 PDR 등 다른 센서 데이터 등과 융합하여 연속적인 길안내 연구가 필요하다. 본 연구는 제 안한 신규 마커와 마커인식과 AR 표출 인식 알고리즘 개선을 위해 다양한 환경조건(조도의 정량화, 보행자 밀집도, 마커의 오염 수준 등)과 보행자 속도 등을 고려하여 정보제공의 한계와 가능성에 대한 가이드라인을 제시할 필요가 있다. 또한 신규 제안 마커는 일정 수준의 내구성과 유지보수성을 확보해야만 다른 방법의 실 내측위 기술과의 경쟁력을 확보할 수 있는 바, 마커의 내구성과 유지보수성, 이용자의 수용성 등에 대해 추 가 연구가 필요하다.