Journal Search Engine

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.12 No.2 pp.38-44
DOI : https://doi.org/10.12815/kits.2013.12.2.38

Design and Implementation of a Mobile Terminal Device for Video Transmission in Multiple Networks

Jong-Heon Kim*, Dong-Soo Lee**
*Lead author and correspondent author: Professor of Electronic Convergence Engineering, Kwangwoon University
*Co-author: CEO of X-ENG Co., Ltd.

본 연구는 소방방재청 재난안전기술개발기반구축사업 (과제번호:NEMA-기반-2011-81)의 연구결과로 수행되었으며 2013년도 광 운대학교 학술연구비 지원에 의해 일부 수행되었습니다.


20130227 │ 20130326 │ 20130403

Abstract


In this paper, we designed and implemented a mobile video transmission device with 1080i resolution and 30fps frame rate using wireless multi-access technologies. The video acquisition delay time of 16us and jitter of 21ms for this equipment were obtained, respectively. The device is designed to access various communication networks. In order to evaluate the performance of its video transmission capability, a server and monitoring viewer are implemented. In the performance test using LTE network, 211ms delay time was obtained at 3Mbps transmission. Rendering of 1fps frame rate at the 265kbps transmission was confirmed for the transmission test using Inmarsat network.



다중 네트워크에서의 동영상 전송을 위한 이동 단말 장치의 설계 및 구현

김 종 헌*, 이 동 수**
*주저자 및 교신저자 : 광운대학교 전자융합공학과 교수
**공저자 : 엑스엔지 (주) 대표이사

초록


본 논문에서는 무선 다중 접속 기술을 이용하여 1080i 해상도와 최대 30fps 프레임레이트를 갖는 휴대용 동영상 전송 장치를 설계 및 제작하였다. 이 장치의 영상획득 지연시간은 16us이며 지터는 평균 21ms이다. 이 장치는 다양한 통신망 에 선택적으로 접속이 가능하도록 설계하였으며 전송 시험을 위하여 서버와 관제를 위한 뷰어를 구현하였다. LTE망을 이용한 전송실험의 경우, 3Mbps 전송 시 211ms 지연시간을 타나냈으며 인말새트 위성망을 이용한 실험에서는 265kbps 전송 시 1fps 프레임레이트로 렌더링되는 것을 확인하였다.



    Ⅰ. 서 론

    통신 기술의 발전으로 유․무선 IP망을 통해 언 제 어디서나 원하는 현장에 접근하여 오디오 및 비 디오뿐만 아니라 현장의 영상데이터와 유비쿼터스 속성인 위치 정보, 사람의 경우 바이오 정보, 온 도․풍향․기압 등 기상 정보, 차량의 경우 차량 상 태 정보 등 유비쿼터스 센서 망에 의해 얻어 지는 많은 메타데이터를 활용하여, 이를 현장에서 획득 하고 전송하는 장비 및 이를 수신하여 다양한 형태 로 표출하고, 가공하여 중계 또는 재전송하는 응용 플랫폼의 개발에 대한 요구가 급증하고 있다.

    국내의 경우, 모바일 IP 망이 빠르게 상용화됨에 따라 공간과 시간의 제약으로부터 자유롭게 실시간 미디어 전송이 가능해졌으며 이를 활용한 응용 분 야들이 확대되고 있다. 특히, 재난 발생의 경우, 빠 른 시간 내에 현장에 대한 피해 상황을 수집하고 이에 대한 복구를 위해서는 입체적으로 상황 통제 가 가능한 영상정보의 활용이 강화되어 영상정보를 실시간으로 획득하고 처리하여 입체적이고도 종합 적인 재난관리 체계를 마련하는 것이 필요하다 [1].

    따라서, 재난 현장 상황 중계를 위하여 영상전송 방식에 대한 다각적인 검토가 이루어지고 있으며 특 히 기존의 고정 영상 전달 단계에서 벗어나 실시간 동영상 전달 체계로의 전환이 이루어지고 있다 [2].

    이를 위해서는 영상데이터 및 메타데이터를 다 양한 통신망을 통해 신뢰성 있고 안정적으로 전달 하는 인코딩, 전송 및 디코딩 기술이 필요하고, 현 장에서 획득된 위치 정보 등, 부가 정보를 영상데이 터와 정합하여 전달하는 메타프레임 지원 기술도 필요하다.

    특히, 기존의 생중계 장치인 위성 SNG, 마이크로 웨이브 ENG 등은 중계차 위주로 위성 및 마이크로 웨이브 망에 종속되어 있으며 기동성이 매우 떨어 지므로 이러한 문제점들을 보완할 수 있는 휴대형 전송 장치와 모바일 및 디지털 기반의 디바이스와 플랫폼에 대한 기술개발이 필요하다 [2].

    또한, 유선망 또는 무선망 중의 일부가 붕괴되거나 운용이 불가능한 상황이 발생할 경우, 통신망의 생존 성을 보장을 확보하기 위해서는 다양한 통신망의 접 속이 가능한 전송장비의 개발이 필수적이다 [3].

    이를 위해서 본 논문에서는 무선 다중 접속을 이 용하여 동영상 전송 시 여러 개의 채널을 이용하고 유․무선 인프라 및 통신 위성 기반의 네트워크에 접속이 가능한 실시간 동영상 전송 장치를 설계 및 제작하였으며 서버 및 관제 시스템을 구축하여 다 양한 무선망을 이용하여 실시간으로 영상을 전송하 였다.

    Ⅱ. 영상 전송 장치 설계 및 제작

    본 논문에서는 무선 다중 접속 방법을 이용한 동 영상 전송장치를 설계하였다. 기존의 전송장치들은 인코딩된 영상을 그대로 전송하기 때문에 전송 효 율 및 안정성이 떨어지며 무선망의 전송속도가 낮 은 경우에 동영상이 끊기거나 중단되는 문제점들이 발생한다. 그러나 본 전송장치는 입력된 영상을 인 코딩하고 분할부에서 시분할과 병렬방식으로 분할 된 영상들을 패킷화하여 복수개의 프레임으로 생성 하고 분할 순차적으로 전송한다.

    그림 1은 다중 전송 알고리즘의 개념도 및 흐름 도이다. 카메라의 동영상을 인코딩하여 MPEG-TS포 맷으로 패킷타이저에 보내고 이를 패킷타이징하여 복수의 송신기에 멀티캐스팅하면 각각의 송신기에 서는 이를 Module-N 연산으로 할당된 패킷을 모바 일 채널을 통하여 수신기에 송출한다. 수신기는 수 신된 패킷들을 순서대로 조합하여 프레이어에 멀티 캐스팅한다. 송신기 중에서 모바일 채널의 불량 또 는 단절로 송출이 실패한 패킷은 백업 송신기에 보 내고 백업 송신기는 이 패킷을 수신기에 보낸다.

    여기서, H.264 코덱 프레임의 구조는 I-프레임 + B-프레임 + P-프레임 그리고 다시 I-프레임 순으로 전송되며 I-프레임은 유실되어서는 안 되는 프레임 으로 송신기-0에서 전송이 실패한 경우 신속히 백 업 송신기에서 복구할 수 있도록 하였다.

    본 논문에서 설계 및 제작한 영상 전송 장치의 비디오 코텍은 H.264/AVC를 사용하였으며 영상 프 레임 크기는 1920x1080, 프레임레이트는 최대 30fps 를 갖는다 [4]. 오디오 인코딩은 AAC-LC를 사용하 였으며 샘플율은 48,000 Hz이다. 영상 촬영을 위한 카메라는 외부에서 접속하도록 설계하였으며 PTZ 제어가 가능하다. GPS 위치 정보, 온도 센싱 정보 및 습도 센싱 정보 등과 같은 메타 데이터 전송이 가능하도록 설계하였으며 동영상뿐만 아니라 고해 상도 정지 영상의 전송이 가능하다. 또한, 영상과 같이 전송되어 오는 메타 데이터를 가지고 영상을 검색할 수 있는 검색 기능이 있으며 네트워크나 단 말기의 특성 및 성능에 맞게 전송된 영상의 크기, 압축방식, 포맷을 변형할 수 있는 트랜스코딩 기능 을 지원하도록 설계하였다 [5].

    전송 장치는 Ethernet 10/100 Base-T급으로 유선 망 접속이 가능하고 IEEE 802.11b/g/n 기반 WiFi 모 듈을 탑재하여 3G 단말기, WiBro 단말기, 또는 위 성 단말기를 통하여 송신이 가능하며 LTE 모듈에 의한 LTE망을 이용한 전송이 가능하여 유선, 무선 및 위성 망들과의 호환이 가능하다.

    망 상태를 측정하여 실효대역을 설정하고 이에 맞는 코딩 레이트를 설정하여 압축하는 적응형 인 코딩 기능과 망이 끊어 졌을 때 영상을 저장했다가 망상태가 정상이 되면 저장된 영상을 보내주는 Store & Forward 기능을 적용하였다. 전송 장치는 12V/4.8Ah를 사용하는 내장형 리튬 이온 전지로 전 원이 공급된다.

    Ⅲ. 서버 및 관제 시스템 구축

    본 논문에서 구축한 서버는 그림 2와 같이 DDNS 서버, 스트리밍 서버, 녹화/검색 서버 그리고 관리 서버로 이루어져있다.

    본 논문에서 개발한 영상 장비를 네트워크에 접 속하면 IP가 변경될 때 마다 DDNS 서버로 IP 정보 를 전송하고 DDNS 서버에 이 정보를 주기적으로 갱신해서 DB화 한다.

    스트리밍 서버에서는 동영상이나 실제로 찍은 영상을 코덱을 이용하여 스트리밍이 지원되는 포맷 으로 인코딩하여 스트리밍 파일을 서버에 저장시켜 놓고 사용자가 원하는 영상을 object 태그로 연결시 켜주어 사용자의 미디어플레이어가 실행되면 클라 이언트로 받아서 재생시킨다. 본 논문에서는 리눅 스 환경에서 Wowza Media Server를 스트리밍 플랫 폼으로 사용하였다 [6].

    관리 서버는 인터넷을 통해서 현장에서 사용 중 인 영상장비에 대한 장비 ID를 관리하고 이 장비에 대한 모든 기술적인 정보들을 저장하여 관리한다. 또한 영상 장비에 부착되는 모든 주변 장치 (카메 라, 헤드셋, GPS 센서 및 환경 센서 등)들에 대한 정보들을 저장하여 관리한다.

    녹화․검색 서버는 영상 장비를 통하여 영상을 전송할 때 전송망의 환경에 따라서 필요시에 영상 을 녹화하고 이 녹화된 영상들을 저장하고 서버에 있는 영상을 검색하여 표출한다. 녹화된 영상에 대 한 정보 (시간, 위치, 센서 등) 들을 이용하여 저장 된 영상들에 대한 DB를 관리하며 필요에 따라서 녹화된 영상들을 시간, 위치 등 영상 색인에 따라서 영상 DB로부터 이에 맞는 영상을 검색한다.

    본 논문에서 구축한 동영상 서버의 주요 기능으 로는 다수의 전송장치를 연결하여 다중 화면의 구 성을 통하여 현장 별 영상을 수신할 수 있다. 또한, 웹을 통하여 스마트 폰, IPTV 등 수신 단말별 스트 리밍이 가능하고 접속단말의 대역을 감시하여 끊김 이 없이 영상을 전송할 수 있다. 그리고 방송사, YouTube 등과 연동하여 서버 릴레이가 가능하다.

    확장된 기능으로는 네트워크, 단말기 등의 특성 및 성능에 맞게 전송된 영상의 크기, 방식 등의 변 환이 가능하고 현장 채널별 네트워크 영상을 저장 할 수 있으며 접속 권한 제한 등 등급 관리가 가능 한 DRM 보안 기능을 추가하였다.

    그림 3은 본 논문에서 구축한 영상 관제 시스템 에서의 영상 흐름도를 나타낸다. 인터넷을 통해서 수신된 영상은 디코더를 포함한 수신기에서 영상신 호와 GIS 정보를 포함한 메타 데이터 신호를 분리 한다. 분리된 영상 신호는 관리자의 권한 설정에 따 라 관제 모니터에 구분 (Player A, Player B) 되어 재 생된다. 분리된 메타 데이터들은 구문 해석 프로그 램인 메타 데이터 parser에서 위치 정보 및 각종 센 서 정보들을 분리하여 XML로 저장한다. 저장된 위 치 정보는 메타 데이터 presenter를 통해 지도에 표 출한다. 또한, 저장된 메타 데이터들은 SMIL를 이 용해서 영상 신호가 표출되는 관제 모니터에도 표 출된다.

    그림 4는 본 논문에서 개발한 관제 시스템의 Viewer 구성을 보여준다. 관제 모니터의 화면은 그 림 4(a)와 같이 개별 또는 2x2 화면 분할이 가능하 여 최대 4대의 영상 전송 장치에서 보내오는 영상 신호를 실시간으로 표출이 가능하다. 또한, 영상 모 니터링 시 영상 장치의 위치와 센서 정보를 갖는 메타 데이터들을 보기 위해서 원하는 화면을 클릭 하면 팝업 창으로 클릭한 화면에 영상 장치의 위치 정보가 지도상에 표출되고 각종 센서 데이터들이 화면에 표출되어 영상 장치의 카메라의 PTZ 제어 가 가능하도록 카메라 원격 조정부가 표출된다 (그 림 4(b)). 또한, 영상 전송 장비에서 전송한 영상을 앞에서 구축한 서버를 이용하여 웹서버를 통하여 스마트 단말기에서 영상을 표출한다.

    Ⅳ. 전송 장치 운용 시험

    본 논문에서 개발한 이동형 실시간 영상 장치를 사용하여 영상 전송 시험을 위한 영상 전송 시스템 을 그림 5와 같이 구성하였다.

    시스템 구성도는 단말 영역, 네트워크 영역, 서 버 영역, 그리고 관제 영역으로 구분된다. 단말 영 역에는 본 논문에서 개발한 전송 장치를 사용한다. 네트워크 영역에서는 유선, 무선, 위성 망 모두 접 속이 가능하며 영상 장치로부터 송신된 실시간 영 상 신호들은 네트워크를 통해서 인터넷 망에서 서 버로 전달되고 디코더를 통해서 중앙 관제 모니터 로 표출이 되거나 또는 웹서버를 이용하여 각종 스 마트 단말기기에 표출이 가능하다.

    전송장치의 성능을 시험하기 위하여 먼저 대용 량의 데이터 및 최소 전송지연 특성을 갖는 LTE 망 에서 영상 전송 실험을 실시하였다. 카메라로부터 1080i 해상도를 갖는 영상을 획득하여 H.264 MPEC-TS로 영상을 압축하였으며 평균 21ms 지터 와 211ms의 레이턴시를 얻었다. LTE 모뎀을 통해 서 3Mbps로 영상 전송 시 디코더에 전달되는 동안 지연시간은 211ms였으며 VLC 미디어 플레이어에 1080i 해상도와 29fps 갖는 영상을 모니터에 표출하 였다. 그림 6은 LG U+ LTE 망을 사용하여 전송한 동영상의 화상 및 코덱 정보를 보여주며 Full HD의 화상 전송이 가능함을 볼 수 있다.

    위성망을 이용한 영상전송 실험을 위하여 Inmarsat 위성망을 이용하였다. 영상 전송 장치는 해 상도가 1080i인 영상을 평균 21ms의 지터와 211ms 의 레이턴시를 갖고 압축하여 Inmarsat BGAN 단말 기 Explore 700를 통하여 265kbps로 영상을 전송하 였다. 이때 1.2s 지연시간이 발생하였으며 디코더를 통하여 VLC 미디어 플레이어에서 1080i 해상도와 1fps 프레임레이트로 렌더링된 영상을 표출하였다.

    그림 7은 Inmarsat 단말기를 통하여 전송한 영상 이 화면에 표출된 영상으로 GPS정보를 통하여 현재 장치가 있는 현장의 위치를 지도상에 나타내었다.

    Ⅴ. 결 론

    본 논문에서는 다양한 현장에서 실시간으로 상 황 중계를 위한 동영상 전송 장치를 제작하였으며 유·무선망뿐만 아니라 위성망을 통해서도 신뢰있고 안정적으로 영상을 전달 할 수 있도록 동영상 서버 및 관제 Viewer를 구축하여 실시간으로 동영상이 전송되는 것을 확인하였다.

    본 장치는 소형 및 경량이어서 기동성이 우수하 고 장비의 운용이 수월한 장점이 있으며, 특히, 다 중 네트워크 접속이 가능하여 일부 망이 유실되거 나 접속이 불가능할 경우 다른 통신망으로 대체가 가능하다.

    따라서 이 장치는 이동 애드-혹 망 등 에도 적용 이 가능하며 고가용성 및 생존성이 보장되는 동영 상 전송장비로 재난 현장에서의 실시간 영상 중계 에 활용될 수 있을 것으로 기대된다.

    Figure

    KITS-12-2-38_F1.gif

    Conceptual diagram of video transmission using wireless multi access.

    KITS-12-2-38_F2.gif

    Block diagram of video server.

    KITS-12-2-38_F3.gif

    Flow diagram of video and meta data of monitoring system.

    KITS-12-2-38_F4.gif

    Video displayed on the monitor: (a) Monitor main screen, (b) Video and meta data display.

    KITS-12-2-38_F5.gif

    Block diagram of the video transmission system

    KITS-12-2-38_F6.gif

    Video transmitted through LTE network: (a) Picture and (b) CODEC information.

    KITS-12-2-38_F7.gif

    Video transmitted through Inmarsat satellite network: (a) scenery image and (b) monitor image.

    Table

    Reference

    1. K. H. Han, “The Direction of the development of disaster management systems for various types of disaster information coordination.” in Proc. Information & Communication Facilities Engineering Seminar, 2010, pp.101-109, Seoul, Korea, November 2010.
    2. M. Sasanuma, "Satellite communications for disaster recovery following the great east japan earthquake," in Proc. AIAA 29th international communications satellite systems conference (ICSSC-2011), pp.1-4, Nara, Japan, November 2011.
    3. S. H., Kim, ‘Policy proposals for the construction of a wireless communications network disaster safety,“ in Proc. KCC public safety broadband forum, pp.11-33, Seoul, Korea, March 2010.
    4. S. Kadono, H.264 AVC Video Compression Standard, Hongrung Publishing Company, April, 2007.
    5. J. K. Kim, Video Communication System, 1st. Ed., Youngji Publishers, November, 2000.
    6. Wowza Media Developer Forums, Retrieved Jan., 30, 2013, from http://www.wowzamedia.com/forums.

    저자소개

    • 김 종 헌 (Jong-Heon Kim)
    • 1995년 4월~현 재 : 광운대 전파공학과 교수
    • 2002년 1월~2007년 4월 : 캐나다 SFU Research Associate
    • 1994년 8월 : 독일 Dortmund Univ. 전자공학과 공학박사
    • 1990년 6월 : 독일 Ruhr Univ. Bochum 전자공학과 공학석사
    • 1984년 2월 : 광운대학교 전자통신공학과 공학사

    • 이 동 수 (Dong-Soo Lee)
    • 1998년 정보통신 유공자 대통령표창 수여
    • 2007년 2월~ 현 재 : 엑스엔지(주) 대표이사
    • 1997년 2월~2005년 2월 : PSINet 기술이사
    • 1991년 2월~1997년 3월 : 한국경제신문사 KETEL 개발팀장
    • 1984년 3월~1988년 3월 : (주)데이콤 주임연구원
    • 1977년 3월~1983년 2월 : 서울대학교 농업생명과학대학 학사

    Footnote