Journal Search Engine

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.12 No.2 pp.45-51
DOI : https://doi.org/10.12815/kits.2013.12.2.45

A pressure sensor system for detecting driver’s drowsiness based on the respiration Paper Template for the KITS Review

Jaewoo Kim*, Jaehee Park**, Jaecheon Lee***
*Main author: Master’s course, Department of Electronic Engineering, Keimyung University
**Lead author and correspondent author: Professor of Electronic Engineering, Keimyung University
***Co-author: Professor of Mechanical and Automotive Engineering, Keimyung University

본 연구는 2012년 지식경제부 지능형자동차 상용화 연구기반 구축사업의 “운전자 생체신호 인지 기반 운전자 상태감지 스마 트핸들 개발”(10043348) 과제 지원으로 수행하였습니다.


20130110 │ 20130327 │ 20130404

Abstract


In this paper, a driver’s drowsy detection sensor system based on the respiration is investigated. The sensor system consists of a piezoelectric pressure sensor attached at the abdominal region of the seat belt and a personal computer. The piezoelectric pressure sensor was utilized for the measurement of pressure variations induced by the movement of the driver abdomen during breathing. The signal processing software for detecting driver’s drowsiness was produced using the Labview. The experiments were performed with 30 years male driver. The amplitude of the respiration at awake state was larger than one at the drowsy state. On the contrary, the respiration rate at awake state was lower than one at the drowsy state. The drowsy detection sensor system developed based on the experimental could successfully detect the driver’s drowsy on real-time.



호흡기반 운전자 졸음 감지를 위한 압력센서 시스템

김 재 우*, 박 재 희**, 이 재 천***
*주저자 : 계명대학교 전자공학과 석사과정
**주저자 및 교신저자 : 계명대학교 전자공학과 교수
***공동저자 : 계명대학교 기계자동차공학과 교수

초록


본 논문에서 호흡 기반의 운전자 졸음 감지 센서 시스템에 대해 언급하였다. 센서 시스템은 운전자의 복부 부분 안 전벨트에 장착된 PZT 압력센서와 개인용 컴퓨터로 구성됐다. PZT 압력센서는 호흡 시 운전자 복부의 움직임에 의해 압력센서에 가해지는 압력의 변화를 측정하기 위해 사용되었고 운전자의 졸음을 감지하기 위한 신호처리는 Labview를 사용하여 개발됐다. 30세 남자 운전자를 상대로 운전자 졸음 감지 관련 실험들이 수행되어 졌다. 운전자가 각성상태일 때 호흡의 크기는 졸음상태일 때보다 컸으며 반대로 호흡 주파수는 낮았다. 이런 실험을 바탕으로 제작된 졸음 감지 센서 시스템은 운전자의 졸음을 성공적으로 실시간 감지할 수 있었다.



    Ⅰ. 서 론

    국내의 주요 수출품목 중 하나인 자동차는 국내 몇 개의 주요 자동차 제조업체에서 많은 양의 자동차 들을 생산 판매하고 있으며 매년 생산량은 증가하 고 있는 추세이다. 자동차 생산량 증가가 현재 국내 한 가구 한 대 이상의 차량을 소유하게 하였으며 도로에 운행하는 차량의 수도 증가시켰다. 도로를 운행하는 차량의 증가로 인하여 교통사고의 발생 횟수도 증가하였고 발생 교통사고 중 운전자 졸음 에 의한 교통사고가 상당 부분 차지하고 있다. 교통 사고 발생을 미리 방지하기 위하여 지능형 자동차 를 개발했으며 특히 졸음운전 방지를 위한 센서 시 스템 개발에 많은 관심을 가져왔다. 현재까지 국내 외적으로 개발된 졸음 방지 시스템들은 운전자의 눈동자 움직임을 관찰하여 졸음 여부를 판단하는 시스템[1], 운전자의 눈꺼풀 및 머리의 움직임과 눈동자의 주시 방향[2]-[3] 등을 모니터하여 졸음 여부를 예측하는 시스템, 운전자의 핸들 잡는 힘을 측정하여 졸음 여부를 예측하는 시스템[4], 운전자 핸들에 ECG 센서와 PPG 센서를 부착한 운전자 졸 음 예측하는 시스템[5], 핸들에 압력 센서와 온도 센서를 부착하여 운전자의 졸음을 예측하는 시스템 [6] 등이 개발되어져 있다. 이런 시스템들은 고가 이고, 운전자의 움직임과 핸들 위의 운전자 손의 위 치에 의한 예측의 불확실성이 많은 단점이 있어 널 리 사용되고 있지 못하다. 그래서 저가의 예측 가능 성이 높은 졸음 방지 시스템 개발에 대해 많은 관 심을 두어 왔다.

    수면이 인간의 건강에 직접적인 영향을 미치기 때문에 아주 오래전부터 수면에 대한 많은 연구가 수행돼왔다. 특히 수면은 인간의 호흡과 밀접한 관계가 있어 수면장애를 인간의 호흡으로부터 진 단하는 호흡장애 진단기술들이[7] 많이 개발돼왔 다. 연구된 결과에 의하면 인간의 수면단계는 꿈을 꾸는 수면단계를 나타내는 렘(Rapid Eye Movement) 수면과 깨어있는 각성상태인 stage W와 stage N1, stage N2, stage N3 세 단계로 나누어져 있는 비렘 수면[8]으로 분류된다. 인간의 수면은 각성상태인 stage W 상태에서 N1, N2, N3, 렘 상태로 이동하 면서 행하여진다. 일반적으로 수면 상태가 이동함 에 따라 생체신호의 변화도 발생한다. 특히 호흡 의 경우, 각성상태일 때 수면상태(N1, N2, N3, 렘)일 때 보다 호흡의 크기가 크고 호흡 주파수가 빨라진다[9]. 이 사실이 호흡기반 운전자 졸음을 예측할 수 있는 복잡하지 않고 저가의 운전자 졸 음감지 기술 개발 가능성을 보여 주었다.

    인간의 건강과 매우 밀접한 관계가 있는 호흡을 측정하는 다양한 기술들이 개발돼왔다. 전기용량 성 압력센서를 의류에 부착하여 호흡을 측정하는 기술[10], 압력이 인가되면 압력 크기에 따라 전기 적인 신호(전압)를 발생시키는 PVDF 압전 폴리머 필름을 의류에 부착하여 호흡을 측정하는 기술 [11], 광섬유 센서를 이용하여 호흡을 측정하는 기 술[12]-[13] 등이 개발되어 졌다. 그러나 전기용량 성 압전센서나 PVDF 압전 필름센서가 부착된 의 류의 경우 생체신호를 얻기 위해 이런 센서들이 장착된 고가의 특수한 의복을 필요로 하는 단점이 있고 광섬유 호흡센서의 경우는 측정 감도는 우수 하나 부서지기 쉬운 단점이 있어 운전자 졸음 예 측에 응용이 매우 어렵다. 본 연구에서는 저가이 고 단순한 구조의 호흡기반의 운전자 졸음 감지 시스템에 관한 연구를 수행하였다. 호흡기반 운전 자 졸음 감지 시스템은 운전자 복부 부분의 안전 벨트에 장착된 압력센서와 신호처리용 개인용 컴 퓨터(PC)로 구성되어있어 저가의 단순한 구조(Fig. 1)로 되어 있다. 측정방법은 예측의 정확도를 높이 기 위하여 측정된 운전자의 호흡신호에서 호흡의 최대크기와 호흡률을 계산하고 이를 기준으로 운 전자의 졸음을 감지한다.

    Ⅱ. 센서 및 신호처리

    호흡기반 운전자 졸음 감지 시스템은 운전자 안 전벨트 복부 부분에 부착되는 압력센서와 압력센서 로부터 운전자의 호흡신호를 받아 호흡의 최대 크 기와 호흡률에 대한 정보를 추출하고 이로부터 데 이터를 PC에 전달하는 신호 전달 장치 및 신호처리 PC로 구성돼있다. 안전벨트에 설치되는 압력센서는 호흡으로 운전자 복부의 크기가 변하게 되고 이를 안전벨트에 장착된 압력센서가 감지하여 전기신호 로 변환한다. 본 연구에서 사용된 압력센서(Interlink Electronics FSR408)는 인가되는 압력이 증가하면 저 항 값이 작아지는 Robust Polymer Thick Film(PTF) 압력센서로 센서의 저항 값(R센서)은 아래의 수식 으로 표시된다.

    R 센서 = e α f
    (1)

    f = β p ( t )
    (2)

    ln​ R 센서 = α β p ( t )
    (3)

    여기서 f는 센서에 인가되는 힘, p(t)는 운전 자 호흡신호이며, β는 운전자의 호흡으로 발생하 는 힘이 센서에 결합하는 결합계수이고, α는 비 례상수로서 f가 20g보다 크거나 같을 때는 약 80 이고 20g보다 적을 때는 약 14000이다. 이 수식 으로부터 센서의 저항 값이 운전자 호흡의 함수임 을 알 수 있고 적절한 회로를 사용하면 운전자의 호흡 신호를 측정할 수 있다.

    압력센서에서 보내오는 운전자의 호흡정보로부 터 운전자 호흡의 최대크기(peak)와 호흡률에 대한 정보를 유추하기 위해 호흡신호에서 peak를 찾는 것이 매우 중요하다. 본 연구에서 신호의 peak를 찾기 위해 noise threshold digital peak detection 기 술[14]을 사용하였다. noise threshold digital peak detection 기술은 threshold보다 큰 신호가 입력될 때 부터 peak를 찾기 시작하다가 입력신호가 threshold 보다 작은 신호가 입력될 때 peak 찾는 것을 멈춘 다. 즉 그림 2에서 보면 threshold보다 t1에서 t2 사 이의 신호가 크기 때문에 이 시간 동안 peak 신호 를 찾는다. peak 신호는 t1 에서 t2 사이의 신호 중 크기가 가장 큰 신호(vp)이고, 호흡률은 peak 신호 시간(tp)에서 직전 peak 신호의 시간(tp')을 뺀 시 간이다. peak 신호의 측정 오차는 아날로그-디지 털 변환기(ADC)의 해상도에 의존하고 호흡률 측 정오차는 ADC Sampling 주파수에 의존한다.

    운전자 졸음 감지 알고리즘은 그림 3에 있다. 알고리즘에 보면 사람마다 호흡이 달라서 제일 먼 저 약 5분 동안 운전자의 호흡신호로부터 호흡률 과 peak에 대한 정보를 추출하여 평균값을 계산한 다. 이 평균값들은 운전자가 운전을 시작하고 5분 동안에 졸음이 오는 경우가 거의 없어서 각성 상 태일 때의 운전자 호흡률과 peak 값으로 인식한다. 그래서 이 평균값들을 사용하여 기준치들을 만든 다. 본 연구에서는 peak의 기준치는 정상인의 졸음 상태일 때의 peak가 각성상태일 때의 약 83% 정도 작아진다는 이전 연구결과[9]를 기준으로 설정하 고, 호흡률의 기준치는 이전 연구결과에 따르면 각성상태일 때의 호흡률이 졸음상태일 때의 호흡 률보다 작다는 언급만 있고 정확한 값을 정의하지 않아서 실험결과를 기반으로 설정한다. 기준치들 이 설정된 후 센서로부터 입력되는 호흡신호로부 터 운전자의 현재 호흡률과 peak를 추출한다. 그런 다음 추출된 peak와 호흡률을 기준치들과 비교하 여 peak가 기준치보다 크고 호흡률이 기준치보다 작으면 졸음 count 값을 감소시킨 뒤 다시 peak 및 호흡률을 추출하는 과정으로 돌아간다. 그런데 감 소시킨 졸음 count 값이 0 이하이면 0으로 설정한 다. peak가 기준치보다 작으면서 호흡률도 기준치 보다 크면 졸음 count를 하나 증가시키고 졸음 count 값을 3과 비교한다. 졸음 count 값이 3보다 작으면 호흡률 및 peak를 운전자 호흡으로 추출하 는 과정으로 되돌아가고 3보다 크거나 같으면 운 전자가 졸음상태에 있는 것으로 판단한다. 졸음상 태로 판단되면 자동으로 안전벨트에 진동을 주거 나 오디오의 볼륨을 갑자기 증가시켜 운전자가 각 성상태로 되돌아오게 한다. 본 연구에서는 peak의 기준치는 초기 5분 동안 측정한 운전자 호흡 최대 크기 평균값의 83%로 설정하였고, 호흡률의 기준 치도 5분 동안 측정한 호흡률 평균값의 107%로 설 정 하여 사용하였다.

    Ⅲ. 실험 및 결과

    운전자 졸음 감지 시스템의 특성을 조사하기 위 해 그림 4의 (주)이노시뮬레이션에서 제작한 차량 시뮬레이터(모델명: iDrive CDS)와 실험데이터의 객관성을 확보하기 위하여 카메라와 시선추적 졸 음 감지 장치를 사용하였다. 이 시뮬레이터는 운 전석(캐빈), 3채널 32인치 영상 LCD 디스플레이, 메인 컴퓨터, 비주얼 컴퓨터와 신호처리컴퓨터가 들어있는 미니랙, 2축 서버 시스템의 모션플렛폼 등으로 구성돼있다. 운전자 호흡신호를 얻기 위한 압력센서는 차량 시뮬레이터에 있는 안전벨트에 장착하였고 미니랙에 있는 신호처리용 컴퓨터를 사용하여 운전자 호흡에 관련된 신호들을 분석하 였다. 운전자의 호흡 신호는 해상도가 16bit인 DAQ(data acquisition)를 사용하여 아날로그 신호를 디지털 신호로 변환하였고 이때 Sampling 주파수 는 100Hz를 사용하였다. 그리고 디지털로 변환된 신호에서 운전자 졸음 감지를 위한 신호처리는 Labview으로 제작되었다.

    운전자의 호흡신호를 전기신호로 변환하기 위해 사용된 압력센서는 약 30cm 길이의 PDF 압력센서 를 사용하였다. 제일 먼저 우수한 호흡신호를 얻 기 위하여 센서의 장착 위치선정을 위한 실험을 수행하였다. 위치선정을 위해 한 개의 압력센서를 가슴 부분에 있는 안전벨트에 설치하였고, 다른 압력센서는 복부 부분의 안전벨트에 설치하였다. 가슴 부분에 설치된 압력센서에서는 아주 미약한 호흡 전기신호가 검출되었으며 복부 부분에 설치 된 압력센서에서 크기가 매우 큰 호흡 전기신호를 검출하였다. 실험결과는 정확한 호흡신호를 수집 하기 위해서 복부 부분의 안전벨트에 압력센서를 설치하는 것이 더욱 효과적이라는 것을 보여주었 고 이를 바탕으로 특성실험들은 호흡신호를 복부 부분의 안전벨트에서 수집하는 것으로 진행하였다.

    각성상태일 때와 졸음상태일 때의 호흡신호 변 화를 보기 위하여 30세 남자 운전자를 대상으로 특성실험을 수행하였다. 특성실험을 위해 1분 동 안 운전자 호흡 신호에서 peak와 호흡률을 추출하 여 분석한 결과, 각성상태일 때의 평균 peak는 2.931V이며 졸음상태일 때의 평균 peak는 각성상 태의 83% 보다 작은 1.698V였다. 호흡률의 신호분 석 결과는 각성상태일 때 평균 4.615 초이었고 졸 음상태일 때는 10% 이상 빨라진 4.138 초이었다. peak의 측정오차는 152uV이고, 호흡률의 측정오차 는 20ms 이었다. 두 오차 값은 측정값들과 비교하 여 매우 작아서 무시하였다. 본 실험이 운전자 졸 음 감지를 위해 사용되는 호흡률 기준치와 peak 기준치가 타당함을 보여 주었다.

    30세 남자 운전자의 호흡 데이터를 사용하여 운 전자 졸음 감지 시스템의 응답시간을 조사(그림 6) 하였다. 실험에서 사용된 peak 기준치는 2.43V이였 고 호흡률의 기준치는 4.29초 이였다. 이 기준치는 그림5에서 얻은 평균값으로부터 계산되어졌다. 그 림 6에 따르면 측정 peak가 기준치보다 연속 세 번 작고, 측정 호흡률이 연속 세 번 클 때에 감지 시스템은 운전자가 졸음상태로 감지하였다. 이 결 과로부터 졸음감지 시스템의 응답시간은 8.88초였 다. 본 연구에서 개발한 졸음감지 시스템은 응답 시간이 조금 느린 편이다. 신뢰성이 높은 압력센 서의 안전벨트 설치방법을 강구하면 더 빠른 응답 시간을 가지는 졸음감지 시스템을 개발 할 수 있 을 것으로 생각된다. 그리고 압력센서의 위치변화, 주변 노이즈 등에 의하여 오동작이 종종 발생하여 감지신뢰도를 나쁜 영향을 주었다. 이런 문제들을 해결하기 위한 기술개발에 대한 연구 및 운전자 거동 정보, 운전자 시선추적 정보로부터 졸음[15] 을 예측하는 기술들 등과 융합한 새로운 기술 개 발연구가 수행되어져야 한다. 더 나아가 운전자 졸음에 의한 자동차 사고를 미연에 방지하기 위해 서는 각성상태에서 렘수면 상태로의 변화를 시작 하는 시점을 감지하는 기술이 개발되어져야한다.

    Ⅳ. 결론 및 고찰

    운전자의 호흡신호로부터 추출된 peak와 호흡률 을 기반으로 한 단순하고 저가인 운전자 졸음감지 시스템에 대한 연구를 수행하였다. 운전자 졸음 감지 시스템은 운전자 안전벨트의 복부 부분에 설 치된 운전자의 호흡을 전기신호로 변환하는 압력 센서와 신호처리용 PC로 구성되어있다. 시스템의 특성들을 조사하기 위하여 30세 남자 운전자와 차 량 시뮬레이터를 사용하였고. 이전 연구결과처럼 30세 운전자의 경우 졸음상태일 때의 peak 값이 각성상태일 때보다 83% 이하 보다 작았으며, 호흡 률은 10% 이상 더 빨랐고 응답시간은 8.88초였다. 운전 중에 특별한 경우(흡연 및 전화통화)를 제외 하고 의식하여 각성상태의 83% 이하로 3회 이상 숨을 쉬는 사람은 없기 때문에 실험을 통해서 운 전자의 졸음을 감지할 수 있었다. 하지만 아직 보 안되어야 하는 점이 많이 있다. 예를 들면 복부 호흡이 아닌 흉부호흡의 peak를 검출할 방법을 연 구해야 할 것이며 8초 이상의 응답시간을 더욱 빠 르게 얻기 위해서는 신뢰성이 높은 압력센서를 안 전벨트에 설치하는 방법이 추가적으로 연구 되어 야한다. 본 연구는 수행 중 압력센서의 위치변화 와 주변 노이즈로 인한 오동작이 종종 발생하여 가끔 감지 신뢰도에 나쁜 영향을 주었다. 그래서 향후에 감지 신뢰도를 높일 수 있는 방법에 대한 연구, 운전자 거동정보, 운전자 시선추적 정보 및 다른 생체신호로부터 졸음을 감지하는 기술 등과 융합한 새로운 기술개발에 대한 연구도 수행되어 져야 할 것이다. 더 나아가 운전자 졸음에 의한 자동차 사고를 미연에 방지하기 위해 각성상태에 서 졸음 상태로 변화하는 순간적 시점을 빠르게 감지하는 기술도 개발되어야 할 것이다.

    Figure

    KITS-12-2-45_F1.gif

    Schematic diagram of thef driver's drowsy detection sensor system based on the respiration.

    KITS-12-2-45_F2.gif

    Peak detection

    KITS-12-2-45_F3.gif

    An algorithm for detecting drowsy

    KITS-12-2-45_F4.gif

    Experimental Setup(Car Simulation(a), a Pressure Sensor(b))

    KITS-12-2-45_F5.gif

    Respiration signals (Awake State(a), Drowsy State(b)

    KITS-12-2-45_F6.gif

    Response Time

    Table

    Reference

    1. M. Bartlett, G. Littlewort, M. Frank, C. Lainscsek, I. Fasel, and J. Movellan, "Automatic recognition of facial actions in spontaneous expressions," J. Multimedia, vol. 1, no 6, pp.22-35, 2006.
    2. Q. Ji, Z. Zhu, and P. Lan, "Real-Time nonintrusive monitoring and prediction of driver fatigue," IEEE Trans. Vehicle Technol., vol. 53, no 4, pp.1052-1068, 2004.
    3. M. Johns, A. Tucker, and R. Chapman, "A new method for monitoring the drowsiness of drivers," Proc. International conference on Fatigue Management in Transportation Operations, pp.2-16, 2005.
    4. J. Park, "Plastic optical fiber sensor for measuring driver-gripping force," Opt. Eng., vol. 52, no 2, pp.020501-3, 2011.
    5. H. Sjn, S. Jung, J. Kim, and W. Chung," Real time car driver's condition monitoring system," Proc. IEEE Sensors 2010 Conference, pp.951-954, 2010.
    6. Y. Lin, H. Leng, G. Yang, H. Cai, "An Intelligent noninvasive sensor for driver pulse wave measurement," IEEE Sensors Journal, vol. 7, no. 5, pp.790-799, 2007.
    7. I. Yoon, Y. Min, D. Jeong,“Sleep Apnea frequency and severity as correlates of sleep stages and sleeping positions,” J Korean Neuropsychiatr Assoc., vol. 34, no. 4, pp.1007-1016, 1995.
    8. S. Lee, “Diagnositic aspects of polysomnography in obstructive,” J. Korean Med. Assoc., vol. 22, no, 2, pp.138-145, 2012.
    9. N. Douglas, D. White, C. Pickett, J. Weil, and C. Zwillich, "Respiration during sleep in normal man," Thorax, vol. 37, no. 11, pp.840-844, 1982.
    10. S. Min, Y. Yun, C. Lee, H. Shin, H. Cho, S. Hwang, M. Lee, “Respiration measurement system using textile capacitive pressure sensor,” Trans. KIEE, vol. 52, no. 1, pp.58-63, 2010.
    11. J. Kim, K. Kim, K. Jung, J. Lee, J. ahn, S. Lee, “The mobile health-care garment system for measurement of cardiorespiratory signal,” J. Korea Information Processing Society A, vol. 17, no. 3, pp.145-152, 2010.
    12. A. Grillet, D. Kinet, J. Witt, M. Schukar, K. Krebber, F. Pirotte, and A. Depre, " Optical fiber sensors embedded into medical textiles for healthcare monitoring," IEEE Sensors Journal, vol. 8, no. 7, pp.1215-2008, 2008.
    13. W. Yoo, K. Jang, J. Seo, J. Heo, J. Moon, J. Jun, J. Park, and B. Lee, "Development of optical fiber-based respiration sensor for noninvasive respiration monitoring," Optical Review, vol. 18, no. 1, pp.132-138, 2011.
    14. V. Jordanov, D. Hall, and M. Kastner, " Digital Peak detection with noise threshold," Nuclear Science Symposium Conference Record, pp.140-142, 2002.
    15. A. Eskandarian and A. Mortazavi, " Evlation of a smart algorithm for commercial vehicle driver drowsiness detection," Proc. IEEE intelligent Vehicles Symposium, pp.553-559, 2007.

    저자소개

    • 김 재 우 (Jaewoo Kim)
    • 2011년 3월~ 현 재 : 계명대학교 전자공학과 석사과정
    • 2011년 2월 : 계명대학교 전자공학과 학사

    • 박 재 희 (Jaehee Park)
    • 1997년 3월~ 현 재 : 계명대학교 전자공학과 교수
    • 2010년 1월~2010년 12월 : University of Texas at Austin 방문교수
    • 1995년 10월~1997년 2월 : 삼성전기주식회사 부장
    • 1995년 8월 : Texas A&M 전기공학과 공학박사
    • 1992년 8월 : Texas A&M 전기공학과 공학석사
    • 1984년 3월~1990년 3월 : 국방과학연구소 연구원
    • 1984년 2월 : 경북대학교 전자공학과 공학사

    • 이 재 천 (Jaecheon Lee)
    • 1998년 3월~ 현 재 : 계명대학교 기계자동차공학과 교수
    • 1997년 1월~1998년 2월 : 삼성전기주식회사 부장
    • 1996년 12월 : 오클라호마주립대학 기계공학 전공 유압공학 박사
    • 1985년 2월 : 한국과학기술원 생산공학과 공학석사
    • 1980년 2월 : 서울대학교 농공학과 공학사

    Footnote