Journal Search Engine

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.17 No.5 pp.48-54
DOI : https://doi.org/10.12815/kits.2018.17.5.48

A Study on the Straight Path Prediction Technology of White LED Marker-based AGV in Indoor Environment

Deok gun Woo*, Mariappan vinayagam**, Young min Kim***, Jae sang Cha****
*Graduate School of Nano IT Design Fusion, Seoul National University of Science & Technology
**Ire front Co., Ltd.
***Dept. of Electronics & IT Media Eng., Seoul National University of Science and Technology
****Department of Electronic IT Media Engineering, Seoul National University of Science and Technology
Corresponding author : Jae sang Cha, chajs@seoultech.ac.kr
20181001 │ 20181018 │ 20181022

Abstract


With the 4th industry era, smart factories are emerging. In the era of multi-product small scale production, unmanned transportation vehicles are rapidly increasing in utilization of unmanned transportation vehicles that carry and arrange goods in the work space. The conventional unmanned vehicle detected its position by using the guided line method and the position based method for indoor location recognition and movement. This method has disadvantages of initial high cost and maintenance / maintenance. In this paper, to solve the disadvantages, the method of predicting the direct path of the unmanned vehicle through the Kalman filter is verified using the white LED marker of the warehouse and the position data and the image data of the white LED marker recognition image. Through this, the reliability of the linear movement which occupies the most part in the lattice structure is secured. It is also expected that the reliance on additional position sensors will also be reduced.



실내 환경에서 White LED 마커 기반 무인 운반차의 직진경로 예측 기술 연구

우 덕 건*, 마 마리아판비나야감**, 김 영 민***, 차 재 상****
*주저자 : 서울과학기술대학교 나노IT디자인융합대학원 박사과정
**공저자 : 서울과학기술대학교 나노IT디자인융합대학원 박사과정
***공저자 : 이레프런트 대표이사
****교신저자 : 서울과학기술대학교 전자IT미디어공학과

초록


4차 산업시대와 함께 스마트 팩토리가 대두되고 있으며, 다품종 소량생산 시대를 맞이하여 무인 운반차는 작업공간에서 물건을 운반하고 정리하는 무인 운반차의 활용도가 빠르게 증대하고 있다. 기존의 무인 운반차는 실내 위치인식 및 이동을 위해 유도선 방식, 위치기반 방식을 사용하여 자신의 위치를 검출하였고 이러한 방법은 초기 고비용 및 유지/관리 보수의 단점이 있었다. 본 논문에서는 단점을 해결하고자 물류창고의 White LED 마커를 이용하여 위치 데이터와 White LED 마커 인식 이미지 데이터를 활용하여 칼만 필터를 통해 무인 운반차의 직전경로를 예측함에 하는 방안에 대해 검증하였다. 이를 통해 격자구조에서 대부분을 차지하는 직선 이동에 대한 신뢰성을 확보하였다. 또한 추가적인 위치 센서에 대한 의존도 또한 줄일 수 있을 것이라 예상된다.



    Ministry of Science and ICT
    IITP-2018-2016-0-00311

    Ⅰ. 서 론

    세계적인 정보통신망의 발전과 더불어 유통망의 세계화로 인하여 기업들은 국내․외 경쟁에서 우위 확보를 위하여 ICT(Information and Communication Technology)기술과의 융합을 통해 기존의 공장 또는 창고 환경이 단 순 공장 자동화(Factory Automation:FA))가 아닌 스마트팩토리로 발전, 변모하고 있으며, 다품종소량생산, 혼합생 산 등의 생산 방식을 위한 유연 생산시스템(Flexible Manufacturing System:FMS)을 추진하고 있다. 이러한 과제를 실현하기 위해서는 기존의 설비와의 연결성과 추후 확장에 따른 변동요인에 유연한 대처가 필요하며, 이를 해결하기 위한 필수 운송 장치로서 무인운반차의 활용도가 늘어나고 있다(Park, 2015;Koff, 1987).

    물류창고, 생산라인등의 실내 환경에서 무인 운반차의 활용을 위해서는 정확한 위치인식을 통해 정확하고 안정적인 운반이 필수 요소이며, 대표적인 방식으로는 유도선 방식과 위치기반 방식으로 분류할 수 있다.

    유도선 방식은 자기테이프 또는 RFID(Radio Frequency Identification)등의 전자계를 바닥에 설치 또는 매립 하는 방식으로 안정적이면서 반응속도가 빠르지만, 자기테이프의 손상으로 인한 주기적 교체와 더불어 유연 성 및 확장에 어려움이 있고 클린룸 또는 전자기파에 민감한 환경에서는 적용에 어려움이 있다.

    위치기반의 방식은 레이저스캐너와 반사판 또는 위치인식을 위한 센서들을 기반으로 하여 유도선 방식에 유연성 및 확장성이 좋지만, 고가의 유도선 방식에 비해 고가의 프로세서와 소프트웨어 및 센서를 다수 활용 하기 때문에 보급에 어려운 부분이 있다(Byun, 2012;Betke and Gurvits, 1997;Heo et al., 2011;Leonard and Durant-Whyte, 1991).

    본 논문에서는 기존 위치기반 방식들이 가지고 있는 유지보수, 전자파, 제한적 확장성 및 경로 변경의 어 려움과 고비용의 단점을 해결하고자 물류창고 천장에 설치되어있는 LED 조명을 보완하여 White LED 마커 로 활용하는 방안을 제안하고자 한다. 그리고 무인 운반차가 주로 활용되는 격자 구조의 환경에서는 직선 움 직임이 중요하며, 구동부 회전수 오차 및 바닥면과의 마찰정도에 따라 무인 운반차의 직진성 확보가 중요하 기 때문에 White LED 마커를 기반으로 하여 위치를 인식하고 직진경로를 예측하여 바닥의 유도선 없이도 운영 가능한 방안을 제안하고자 한다.

    본 논문의 구성은 2장에서는 제안하는 무인 운반차 예측기법을 위한 알고리즘 설명, 3장에서는 무인 운반 차의 실내 위치확인을 위한 통신 및 하드웨어 구조 분석 및 설명, 4장에서는 무인 운반차의 직진경로 기술에 대한 실험 및 결과에 대해 다루고, 마지막을 5장에서는 결론 및 향후 연구과제에 대하여 기술하였다.

    Ⅱ. 칼만필터 기반의 무인 운반차 직진성 예측기법

    1. 칼만필터를 기반 직진성 예측

    칼만필터는 선형동적시스템에서 상태 추적을 위한 알고리즘으로 적용 되며, 본 논문에서는 CMOS이미지 센서를 통해 수집한 White LED 마커 이미지를 프레임 단위로 이번 프레임의 추적 결과에 따라 현재 프레임 에서 가장 가능성 있는 물체 위치를 예측하고, 구동부 제어를 위한 가중치를 변경하여 이를 통해 무인 운반 차의 구동부를 제어함으로서, 무인운반차의 좌, 우측 구동부의 오차로 발생하는 무인 운반차의 직선 운동 오 차를 효율적으로 관리하여 무인 운반차가 직진성을 유지할 수 있도록 적용하였다.

    x = [ P x , υ x , P y , υ y ]
    (1)

    이를 위하여 이미지 상에서 식 (1)과 같이 x축 위치(P(x)), x축 속도(υ(x)), y축 위치(P(y)), y축 속도(υ(y)) 의 상태 정보를 이용하였다.

    x k + 1 = F x k + w k
    (2)

    y k = H x k + υ k
    (3)

    칼만필터의 상태 방정식은 식 (2)이며, 상태입력 갱신주기를 이용하여 식 (3)과 같이 다음 주기의 위치를 예측한다. 여기서 k는 이미지 프레임 시퀀스이며, F는 시스템 행렬을 나타내고, x 는 프레임 k에서의 상태를 나타내며, y 는 프레임 k에서의 관측 값이다. 여기서 FH 는 시스템 행렬이며, wkυk는 상태 및 측정 벡터에 해당하는 가우시안 분포 잡음이다. 무인 운반차가 일정속도로 움직이는 것을 고려하였을 때 새로운 추정 위치는 이전위치에 속도 및 잡음을 더한 것 된다(Lee, 2015;Jang et al., 2018).시스템 모델 변수는 수식 (4)과 같다.

    F = [ 1 d t 0 0 0 1 0 0 0 0 1 d t 0 0 0 1 ] H = [ 1 0 0 0 0 1 0 0 ]
    (4)

    Ⅲ. 물류창고 환경 White LED 마커 송수신 모듈

    1. White LED 마커 모듈

    본 논문에서 창고환경에서 실내 위치인식을 통한 무인 운반차의 이동경로 구현을 위하여 White LED 마커 를 기반으로 하였으며, 구현한 시스템은 <Fig. 1>과 같다. White LED 마커 송수신 시스템은 마커 데이터송수 신을 위한 송신부와 수신부로 구성되어 있으며, 송신부는 기존 LED조명의 AD-DC 컨버터를 통해 별도의 전 원라인 없이 AC 220V를 이용하여 컨트롤러를 통해 LED조명을 White LED 마커로 활용할 수 있도록 하였으 며, 수신부는 PD(Photo Diode)기반의 수신방식보다는 회로 구성이 간편하고 현장 적용성이 뛰어난 CMOS(Complementary Metal-Oxide Semiconductor)이미지 센서와 임베디드보드를 이용하여 수신부 회로를 구 성하였다.

    1) White LED 마커 송신부

    White LED 마커의 송신부는 <Fig. 2>와 같이 구성하였다. 천장 LED 조명에 내장된 MCU(Micro Controller Unit)에 저장되어진 위치 데이터를 맨체스터 코딩을 적용하였으며, 코딩된 데이터를 PWM을 하고 이를 통해 MOS-FET으로 구성한 스위칭회로에서 White LED 마커의 LED를 제어하는 OOK(On-Off Keying) 변조를 통 해 위치데이터를 White LED 마커를 통해 반복적으로 송신한다.

    2) White LED 마커 수신부

    물류창고 환경의 White LED 마커의 수신부는 PD를 기반으로 한 수신수 회로를 구성할 경우, 천장의 송신 부의 White LED 마커 구분이 어렵고 빛의 확산으로 인하여 오류가 발생하기 쉽다. 따라서 임베디드보드와 CMOS 이미지센서 기반의 카메라로 수신부를 구성하여 Rolling Shutter 기법을 이용하였다.

    Rolling Shutter 기법은 White LED 마커의 점멸 주기에 비해 카메라의 Shutter Speed가 짧을 경우에만 Rolling shutter에 의한 점멸을 통해 White LED 마커의 데이터 판독이 가능하며, Shutter Speed가 과도하게 짧 을 경우는 CMOS 이미지 센서가 획득 할 수 있는 빛의 양이 과도하게 적어 이미지의 전체적인 밝기가 어두 워지고 행 구분 가능 영역이 축소되어 오히려 판독이 어려워지게 된다.

    Rolling shutter기법을 통해 취득한 영상 이미지 데이터를 Grayscale화하고 Edge Detection 혹은 Threshold와 같은 영상 처리 기법을 통해 행 구분을 명확하게 하고 데이터를 복호화하여 White LED 마커의 데이터를 복 호화하게 된다.

    <Fig. 3>과 같은 알고리즘을 통해 복호화한 White LED 마커데이터를 무인 운반차의 제어기로 전달하여 무인 운반차의 위치를 파악하고 이 데이터를 기반으로 하여 별도의 영상처리를 통해 무인 운반차의 정확한 정지 위치 및 직진성을 예측할 수 있도록 한다.

    Ⅳ. 실험 결과

    본 논문에서 제안한 방법의 실험하기 위하여 Microsoft의 LifeCam Studio로 White LED 마커 이미지 데이터 를 수집하였으며 이미지 데이터 처리는 ODROID-XU4보드에 Ubuntu OS 데이터 분석은 Matlab을 활용하였고 무인 운반차는 테스트를 위하여 별도로 제작한 모형 무인 운반차를 활용하였다.

    실험에서는 물류창고 천장의 White LED 마커를 테스트베드로 제작한 <Fig. 4>와 같은 공간에서 진행 하였으 며, White LED 마커 이미지 데이터 수집을 위한 ODROID-XU4와 Microsoft LifeCam Studio를 모형 무인 운반차에 장착하여 실험을 진행 하였다. 또한 무인운반차의 속도는 1m/s의 속도로 직진이동을 기준으로 실험하였다.

    <Fig. 5>는 획득한 White LED 마커 이미지 데이터를 White LED 마커 형상을 검출하고 임의의 기준선에서 벗어난 정도를 측정하여 모형 무인 운반차가 White LED 마커에서 벗어난 정도를 프레임 및 픽셀단위로 계산하여 수치화 하였다. 이 데이터를 칼만필터의 상태 정보로 하여 보정치를 모형 운반차에 진행에 반영하도록 하였다.

    <Fig. 6>은 모형 무인 운반차에 칼만필터의 적용 유무에 따른 직진경로 예측을 통한 움직임을 그래프화 하였다. <Fig. 6>의 (a)에서와 같이 칼만필터를 적용 하였을 경우가 적용하지 않았을 때 보다 기준 직진경로 와 근접하여 진행하는 것을 볼 수 있으며 기준 직진경로에서 벗어나려 할 경우에도 보정치를 통하여 기준 라인에 수렴하는 것을 확인할 수 있다.

    <Fig. 6>의 (b)는 모형 무인 운반차의 진행 거리에 따라 White LED 마커 이미지 데이터상의 픽셀 에러 그 래프로 칼만필터가 적용되었을 경우에는 모형 무인 운반차가 직진경로로 진행을 하여도 픽셀 에러가 발산하 지 않고 기준선에 맞추어 수렴하는 것을 확인할 수 있었다.

    Ⅴ. 결 론

    본 논문은 물류창고 환경에서 천장의 White LED 마커를 기반으로 무인 운반차의 위치를 기반으로 하여 직진경로를 예측하기 위한 연구로 이를 수행하기 위해 CMOS 센서를 통해 수집한 White LED 마커의 이미지 를 데이터를 영상처리를 통해 분석하고, 이를 칼만필터 알고리즘을 적용하여 실내 창고환경에서 무인 운반 차의 직진성능 향상의 가능성을 검증하였다.

    먼저 물류창고 천장의 LED 램프에 제어기를 추가하여 White LED 마커로 적용하였고 CMOS 센서를 활용 하여 Rolling shutter방식을 통해 White LED 마커의 위치 데이터와 이미지 수신을 검증하였다.

    또한, White LED 마커의 이미지 데이터를 칼만필터 알고리즘에 적용하여 궁극적으로 무인 운반차 운용에 중요한 직진성 성능 개선을 위한 보정치를 구할 수 있었다. 본 논문을 통해 검증 된 무인로봇의 직진경로 예 측을 위한 가중치를 무인 운반차 제어 시스템에 적용하여 운용한다면 추가적인 다양한 종류의 센서가 없이 도 물류창고 환경에서 무인 운반차의 원활한 운용이 가능할 것으로 예상된다.

    본 논문은 무인 운반차를 위한 LED 조명을 활용한 White LED 마커를 통한 실내 위치 인식의 기초 연구 로서 격자구조의 물류창고 환경을 고려하여 이동성이 가장 많을 것으로 예상되는 직선구간을 중점으로 실험 하였으며, 향후 본 연구를 기반으로 하여 교차로등 다양한 환경에서 White LED 마커를 활용한 무인 운반차 운영방안의 기초 자료로 활용 될 것으로 예상된다.

    ACKNOWLEDGEMENTS

    “본 연구는 과학기술정보통신부 및 정보통신기술진흥센터의 대학ICT연구센터육성지원사업의 연구결과로 수행되었음” (IITP-2018-2016-0-00311)

    Figure

    KITS-17-48_F1.gif

    White LED Marker system Configuration

    KITS-17-48_F2.gif

    White LED Maker Transmitter circuit

    KITS-17-48_F3.gif

    Rolling Shutter Receiver Algorithm

    KITS-17-48_F4.gif

    Test environment

    KITS-17-48_F5.gif

    White LED Marker Detection and Position error

    KITS-17-48_F6.gif

    Result of Straight Path Prediction

    Table

    Reference

    1. BetkeM. and GurvitsL. (1997), Mobile robot localization using landmark , IEEE Transactions on Robotics and Automation, vol. 13, no. 2, pp.135-142.
    2. ByunS. M. (2012), A Vision Based Guideline Interpretation Technique for AGV Navigation , Journal of Korea Multimedia, vol. 15, no. 11, pp.1319-1329
    3. HeoD. H. , OhA. R. and ParkT. H. (2011), A localization system of mobile robots using artificial landmarks , Proc. of the 7th IEEE Conference on Automation Science and Engineering, pp.139-144.
    4. JangT. H. , KimY. S. and JangT. S. (2018), The Comparison of Attitude Estimation Method Based on Kalman Filter with Considering External Acceleration and Bias Effect , J. Korean Soc. Precis. Eng., vol. 35, no. 8, pp.745-752.
    5. KoffG. A. (1987), Automaic guided Vehicle Systems , Material Flow, 4, pp.3-16.
    6. LeeG.-B. (2015), A Fast Moving Object Tracking Method by the Combination of Covariance Matrix and Kalman Filter Algorithm , J. Korea Inst. Inf. Commun. Eng., vol. 19, no. 6, pp.1477-1484.
    7. LeonardJ. J. and Durant-WhyteH. F. (1991), Mobile robot localization by tracking geometric beacons , IEEE transactions on robotics and automation, vol. 7, no. 3, pp.367-382.
    8. ParkH. W. (2015), Trends in Production and Manufacturing Technologies Related to Smart Factories , The Journal of The Korean Institute of Communication Sciences, vol. 33, no. 1, pp.24-29.

    저자소개

    Footnote