Ⅰ. 서 론

최근 입체영상 기술 및 산업은 미디어 시장에서 높은 부가가치와 고용창출 효과를 기대할 수 있는 신 성 장 동력으로서의 잠재성이 있는 블루오션으로 자리매김하고 있으며, 가상 및 증강 현실 관련 기술의 발전과 함께 입체 영상 분석 및 표현에 대한 관심이 꾸준이 증가하고 있는 추세이다.

입체영상을 표현하는 방식으로는 머리에 디스플레이 장치를 장착하고 눈앞의 화면을 디스플레이하는 HMD 방식, 양안시차를 이용해 왼쪽 눈은 청색 장면을 오른쪽 눈은 적색 장면을 형성해 이를 겹쳐 스크린에 투영하는 방식 안경방식, 두 대의 프로젝터와 편광안경을 통해 표출하는 편광방식 등 다양한 형태의 기술이 개발되어 전 산업분야에 광범위하게 응용되면서 커다란 효과를 파급시키고 있다.

하지만, 기존의 입체영상 표현 방식의 경우 전용안경을 착용해야 하는 불편함과 화면이 눈 가까이에 있는 구조로 인한 피로를 유발할 수 있으며, 안경방식의 경우 필터와 안경의 색이 서로 일치하지 않을 경우 좌우 영상이 겹쳐 보이는 현상으로 입체감을 떨어뜨리고 어지럼증을 유발할 수 있다. 또한, 편광방식은 실버타입 이라 불리는 특수도료로 도장된 스크린이 필수적으로 요구되는 등 입체영상 표현을 위한 여러 기술들에 한 계점을 가지고 있다(Park, 2015).

이에 따라, 본 논문에서는 눈의 피로도나 현기증 유발 등 기존의 입체영상 표현 디스플레이의 한계점을 극복 하고자, 기존의 양안 시차를 이용한 평면적 디스플레이 방식이 아닌 투명한 디스플레이 사이에 공백을 두어 여러겹 겹치도록 구성하여 입체감을 표현하는 새로운 방식의 입체 표현 기법을 제안하고자 한다.

즉, 콘텐츠를 전경 추출 및 배경 분리를 통해 원근에 따른 별도의 디스플레이를 구성하고, 각 디스플레이 에 적합한 전경 및 배경 오브젝트를 배치하여 사용자에게 디스플레이 표현 순서에 따른 콘텐츠의 깊이감을 느끼게 함으로써 입체감을 표현할 수 있도록 소프트웨어 및 이미징 기술을 조합한 표현기법에 대해 제안하 고자 한다.

본 논문에서 제안하는 입체 표현 방식은 사용자 정의에 의해 사물의 3차원 기하정보를 계산하여 사물의 깊이정보를 계산한 후 원근에 따른 다차원 이미지를 추출하는 3D 이미지 생성 방식을 이론적 기반으로 하였 다(Yun et al., 2006). 또한, 기존의 입체영상 표현방식인 원근에 따라 다차원 추출된 영상을 좌안과 우안의 양안 시차를 이용하여 평면에서 입체감을 부여하는 형태에서 벗어나, 추출된 다차원 영상을 원근에 따라 중 첩된 투명 디스플레이에 순차적으로 표출하여 실제적인 입체감을 부여했다는 점에 의의를 두고 있다.

본 논문의 구성은 2장에서 객체 이미지 분리 추출을 위한 알고리즘 비교 분석 및 Grabcut 알고리즘을 활 용한 객체 추출 구조설계에 대해 설명하고, 3장에서 실시간 Stereoscopic 객체 추출 및 표현 실험 결과를 설명 하고, 마지막 4장에서는 본 연구의 결론 및 효과 등에 대해 설명하고자 한다.

Ⅱ. 객체 추출 구조 설계

1 객체 추출 알고리즘 비교 및 선정

1장에서 기술한 입체 영상 표현을 위해서는 전경 객체 추출 영상 프로세싱이 선행되어야 함에 따라, 객체 추출을 위한 대표적인 Ggabcut과 Watershed 알고리즘을 적용하여 적합한 영상 처리 방식을 선정하고자 하며, 각각의 알고리즘에 대해 아래와 같이 분석하였다.

1) Grabcut 알고리즘

GrabCut 알고리즘은 GraphCut에 기반한 영상 분할 방법으로서 사용자가 작업하고자 하는 이미지에 임의로 경계상자를 지정하고 GMM(Gaussian Mixture Model)을 사용하여 색상 분포를 추정한 후, 에너지 최소화 함수 와 최적화를 통하여 객체의 전경과 배경을 분류하는 알고리즘이다(Rother et al., 2004).

즉, 전경 레이블에 모든 화소를 할당하고 현재 분류를 기반으로 하여 유사 색상 값을 가진 화소를 클러스 터링 하여 최적화를 진행하고 분할 결과를 개선하기 위해 개선과정을 반복적으로 되풀이하여 전경과 배경의 분리 결과를 획득 할 수 있다(Kim et al., 2015).

또한, 관련 연구자료는 (http://www.cs.ru.ac.za/research/g02m1682/, 2018)에서 확인할 수 있다.

2) Watershed 알고리즘

Watershed 알고리즘은 영상의 공간적 경사도를 지형도로 보고, 지형도 상의 각 지역적 최소에 구멍을 뚫고 담수하는 과정을 전개하면서 그 과정에서 성장하는 두 개의 담수지역이 Watershed에서 만나는 위치에 경계 점을 세우면 이 경계점들의 연속이 담수지역을 구획하는 경계선이 된다. 따라서, 모든 지역적 최소마다 독립 된 영역을 갖게 되며 영역간의 경계선은 Watershed에 의해 결정된다. <Fig. 1>

입력 영상을 단순화하고 경사 영상을 구한 후 경사 영상에서 영역을 분할하기 위해서는 지역적 최소점을 검색해 레이블(label)을 할당하는 단계와 레이블이 할당된 최소점을 기준으로 영역을 확장하는 단계로 처리 된다. 최소점을 검색해 레이블을 할당하는 단계에서는 경사영상 내에서 최소 지역들을 찾아 레이블을 할당 한다. 레이블 된 중심 최소점과 연결된 화소에는 같은 레이블을 할당하고, 떨어진 최소 지역들에는 각각 다 른 레이블을 할당한다. <Fig. 2>

레이블이 할당된 최소점을 기준으로 영역을 확장해 나가는 단계에서는 레이블 된 점들을 기준으로 레이 블을 확장한다. 확장하면서 다른 레이블을 만나면 확장을 멈추고, 만나는 경계점들이 담수 지역을 구분하는 경계가 된다. 이렇게 담수에 의한 영역 확장이 끝나게 되면 하나의 영역으로 결정하여 판단하는 알고리즘이 다(Kwon, 2010).

3) Grabcut 및 Watershed 알고리즘 적용 결과

각 객체 추출 알고리즘의 성능 비교를 위해 개발 Tool은 Visual Studio 2015 버전을 사용하고, 추출 대상 객체를 안면으로 설정하였으며, 동일한 조건에서 Grabcut과 Watershed 알고리즘을 각각 적용하여 안면 추출 결과를 도출하였다.

각 알고리즘을 적용한 결과 Watershed 알고리즘의 경우 <Fig. 3>과 같이 영역 과분할 현상으로 인해 정상 적으로 추출된 객체 내에 분할된 영역 경계가 잘못 표현되는 경향이 있었으며, 안면 객체 외에도 배경 부분 의 일부를 분할하여 전경으로 인식하는 오류가 Grabcut에 비해 상대적으로 빈번하게 나타남을 확인하였다.

이에 따라, 본 논문에서는 입체 영상 표현을 위한 객체 추출 알고리즘을 Grabcut으로 선정하여 영상 추출 및 입체적 표현 실험을 진행하였다.

2. Grabcut 알고리즘 기반의 객체 추출 구조 설계

Grabcut 알고리즘을 적용하여 입체 영상 표현을 위한 영상 추출 구조를 <Fig. 4>와 같이 설계하였다.

프로세스가 시작되면 콘텐츠 리소스를 초기화 및 이미지 내에서의 마스킹을 진행하고, BG, FG, PR-BGD, PR-FGD에 관한 레이블화를 진행한다. 이후 Grabcut 알고리즘 적용에 따른 계산결과를 도출하고, 값을 저장 한 뒤 결과를 표시한 뒤 마스킹이 추가적으로 필요하면 과정을 반복하고 마스킹이 필요치 않다고 판단되면 최종 결과를 도출하는 형태로 구성하였다.

Ⅲ. 실시간 Stereoscopic 객체 추출 및 표현 실험

1. 실험 개요

Stereoscopic 객체 추출을 위해 2장에서 기술한 Grabcut 알고리즘을 활용하여 이미지 프로세싱을 진행하였 으며, Stereoscopic 객체 표현을 위해 1장에서 제시한 다중 디스플레이를 대체하여 아크릴과 스마트디바이스 를 활용하여 입체감을 부여하기 위한 기초 실험을 진행하였다.

먼저, PC 또는 스마트디바이스 등 카메라가 부착된 디바이스를 활용하여 영상처리를 통해 특정 객체를 추 출하고, 추출된 데이터를 실시간으로 원격에 떨어진 구역에서 사용자가 실제 현장에 존재하는 것과 같은 기 능을 제공할 수 있도록 스트리밍 기술을 적용하여 실험하였다.

영상처리부에서는 영상처리를 위한 PC와 객체 추출을 위한 카메라 모듈을 설치하여 사용자가 원하는 특 정 객체를 추출하고, 데이터 스트리밍을 통해 수신 받는 수신부의 경우, 아크릴 레이어 및 스마트디바이스를 토대로 현장감 있는 객체 영상을 제공하는 형태로 구성하였다. <Table 1, 2>

2. 실시간 객체 추출 및 표현 실험

위 실험 환경을 토대로 객체 추출 테스트 결과는 <Fig. 5>와 같다. 개발 Tool은 Visual Studio 2015 버전을 사용하였으며, 추출 대상 객체를 안면으로 설정하여 영상 이미지 내에 존재하는 안면 전경을 정상적으로 프 로세싱하여 추출하였다.

이어서, <Fig. 7>과 같이 입체감 부여를 위한 기초 실험을 위해 중첩 투명 디스플레이를 대체하여 투명 아 크릴 레이어와 스마트 디바이스를 간격을 두어 겹치도록 배치하였다. 첫 번째 레이어에서는 아크릴을 이용 한 손, 두 번째 레이어에서는 바디를 각각 표현하고, 세 번째 레이어에서는 스마트디바이스에서 추출된 안면 객체 이미지를 실시간으로 표출될 수 있도록 진행하였다. 실시간 영상 스트리밍을 위해 송신부에서는 FFMPEG 3.3.4-x86 라이브러리 및 수신부에서는 VLC player를 사용하였다.

또한, 투명 아크릴과 스마트 디바이스의 간격에 따른 입체감 특징을 분석하고자, 손 이미지의 아크릴, 바 디 이미지의 아크릴, 전경 추출된 얼굴 이미지 스마트 디바이스 등을 각각 5~15mm 간격으로 배치하여 디스 플레이 간격에 따라 표출되는 특징 및 시야 각 변경에 따른 특성을 분석하였다.

<Fig. 8> 은 입체 이미지 각각의 레이어 간격을 5, 10 15mm 로 변경했을 경우 전면과 30도 위의 각도에서 확인한 결과를 나타내고 있다. 먼저 전면에서 확인된 표출 결과를 살펴보면, 레이어 간격 15mm 경우 손․바 디․얼굴 이미지 등 각 레이어간 이미지의 원근감이 뚜렷하게 나타나고 있으며, 레이어 간격 5mm 경우 레 이어별 원근감은 표현되고 있으나, 15mm 간격 대비 상대적으로 첫 번째 레이어인 손 이미지 크기가 현저하 가 작게 표현되는 등 원근감이 다소 떨어지는 것을 확인할 수 있다.

또한, 전면을 기준으로 30° 위에서 확인한 결과, 5mm 레이어 간격의 경우 전면에서 확인한 이미지와 거의 유사하게 표출되고 있으나, 15mm 레이어 간격의 경우 각 레이어별 손․바디․얼굴 이미지의 위치가 흐트러 지는 것을 확인할 수 있다.

본 실험은 제안한 중첩된 투명 디스플레이 입체영상 표현 기법 개발을 위해 아크릴과 스마트기기를 활용 한 기초 단게의 실험이며, 이미지 종류 및 시야각 특성 등을 고려한 레이어간 적합한 간격 조정 등 지속적인 심화 연구가 필요할 것이다.

3. 실험 결과 및 고찰

위 실험을 통해 Grabcut 알고리즘을 활용한 객체 전경추출 기법의 적용가능성을 검증하였으며, 추출된 영 상을 원격 실시간 스트리밍으로 전송함과 동시에 입체감을 부여한 표현이 가능함을 확인하였다.

또한, 실시간 영상 송수신의 안정적인 지원을 위해 객체 이미지 추출 프로세싱에 소요되는 시간의 최소화 및 데이터 송신 지연의 최소화가 요구됨에 따라, 본 연구에서 구현한 시뮬레이터를 활용하여 각 샘플별 객체 추출 시 소요되는 시간을 측정하였다.

영상 추출 시 소요되는 시간 측정을 위해 위 실험을 진행 시 최초 300샘플의 이미지 프로세싱 소요시간 정보를 획득하였으며, 결과는 그림 <Fig. 9>와 같다. 이미지의 형태 및 크기에 따라 실시간 변경됨에 따라 이 미지 프로세싱 시간에 일부 편차(σ=0.011)를 보였으며, 이미지 1샘플 처리 시간은 평균 0.063ms 소요됨을 확 인하였다. 다시 설명하면, 영상처리 속도는 15.9 FPS(Frame Per Sec)로서 일반적인 streaming 영상 송신을 위 한 샘플링이 충분히 가능함을 확인하였으며, 고화질 streaming 영상 구현을 위해서는 이미지 프로세싱 시간 을 보다 단축시킬 수 있도록 보완이 필요할 것이다.

Ⅳ. 결 론

본 논문에서는 눈의 피로도나 현기증 유발 등 기존의 입체영상 표현 디스플레이의 한계점을 극복 하고자, 기존의 양안 시차를 이용한 평면적 디스플레이 방식이 아닌 투명한 디스플레이 사이에 공백을 두어 여러겹 겹치도록 구성하여 입체감을 표현하는 새로운 방식의 입체 표현 기법을 제시하였다.

먼저, 입체감 부여를 위해 영상 이미지 추출 프로세싱이 선행되어야 함에 따라, 대표적인 영상 추출 알고 리즘 특성 비교 실험을 통해 Grabcut 알고리즘을 선정하였으며, Grabcut을 활용한 안면 추출 시뮬레이터를 설 계하여 객체 전경추출 실험을 통한 객체 이미지 추출 기법의 적용가능성을 검증하였다.

또한, 입체감 표현 실험을 위해 투명 디스플레이를 대체하여 투명 아크릴과 스마트 디바이스를 활용하여 입체 표출 실험을 진행하였으며, 각 투명 아크릴과 스마트 디바이스 간 간격 변화 및 시야각 변화에 따른 입 체감 표출 특성을 분석하였다. 이어서, 실시간 스트리밍 적용을 위해 각 이미지 프로세싱에 소요되는 시간 데이터를 분석하였으며, 1샘플 처리 평균 시간은 0.063ms로서 일반적인 스트리밍 영상 전송이 가능함을 확 인하였다.

본 논문에서 제시한 새로운 방식의 입체영상 표현 기법은 기존 기술의 취약점인 눈의 피로나 두통, 혼선, 해상도 저하 등의 문제점을 훌륭하게 해결할 수 있을 것으로 사료되며, 향후 3D영상통화 및 telepresence 등 신 동력 산업 기술 경쟁력 향상에 이바지할 것으로 기대한다.