특집논문/SPECIAL EDITION

다중 도플러 레이다와 머신러닝을 이용한 손동작 인식

백경진1, 장병준1,*
Kyung-Jin Baik1, Byung-Jun Jang1,*
Author Information & Copyright
1국민대학교 전자공학과
1Department of Electronic Engineering, Kookmin University
*Corresponding Author: Byung-Jun Jang (e-mail: bjjang@kookmin.ac.kr)

© Copyright 2019 The Korean Institute of Electromagnetic Engineering and Science. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Oct 10, 2016; Revised: Dec 12, 2016; Accepted: Dec 16, 2017

Published Online: Jan 31, 2017

요약

본 논문에서는 사람의 손동작을 이용해 전자기기를 제어할 수 있도록 다중 도플러 레이다와 머신러닝의 일종인 SVM (Support Vector Machine)을 이용한 손동작 인식 기술을 제안하였다. 하나의 도플러 레이다는 간단한 손동작만을 인식할 수 있는데 반해, 다중 도플러 레이다는 레이다 위치에 따라 각각 다른 도플러 효과가 발생되므로, 이를 이용하여 다양한 손동작을 인식할 수 있다. 또한, 머신러닝 기법을 이용하여 손동작을 분류하면 손동작 인식의 성공률을 높일 수 있다. 다중 도플러 레이다와 머신러닝을 이용한 손동작 인식 시스템의 구현 가능성을 확인하기 위하여 두 개의 도플러 레이다, NI DAQ USB-6008, MATLAB을 이용한 실험 장치를 구성하였다. 구현된 실험 장치를 이용하여 Push, Pull, Right Slide 및 Left Slide의 4가지 손동작 인식 실험을 수행하였고, SVM 모델을 적용하여 손동작 인식의 높은 정확도를 확인하였다.

Abstract

This paper suggests a hand gesture recognition technology to control smart devices using multiple Doppler radars and a support vector machine(SVM), which is one of the machine learning algorithms. Whereas single Doppler radar can recognize only simple hand gestures, multiple Doppler radar can recognize various and complex hand gestures by using various Doppler patterns as a function of time and each device. In addition, machine learning technology can enhance recognition accuracy. In order to determine the feasibility of the suggested technology, we implemented a test-bed using two Doppler radars, NI DAQ USB-6008, and MATLAB. Using this test-bed, we can successfully classify four hand gestures, which are Push, Pull, Right Slide, and Left Slide. Applying SVM machine learning algorithm, it was confirmed the high accuracy of the hand gesture recognition.

Keywords: Doppler Radar; Machine Learning; Hand Gesture; Hand Mouse; SVM

Ⅰ. 서 론

최근 사람과 기계와의 상호작용을 위한 HCI(Human Computer Interaction)에 대한 연구가 매우 활발하다. 일반적으로 컴퓨터에는 키보드와 마우스라는 성능이 좋은 입력장치가 있는데 반하여, TV 등 가전기기에는 스위치나 리모콘 등을 이용한 단순 조작만이 가능하다. 하지만 TV 등 가전기기가 스마트화되면서 성능이 좋은 입력수단이 필요하게 되었다. 예를 들어 최근 보급이 확대되고 있는 IPTV(Internet Protocol TV)로 영화를 선택할 때 현재는 리모콘으로 일일이 화면을 넘기거나 영화제목을 자음과 모음 단위로 일일이 입력해야 하는 불편이 따른다. 따라서 컴퓨터 이외의 다양한 스마트기기에 정보를 입력할 수 있는 새로운 HCI 기술에 대한 수요가 증가하고 있다[1].

지금까지 등장한 HCI 기술 중 가장 관심이 높은 기술로 영상기반의 HCI 기술이 있다. 영상기반의 HCI 기술을 적용한 사례로 MicroSoft사의 Kinect처럼 적외선 카메라를 이용한 제품이나, 스마트폰 카메라를 이용하여 손동작을 인식하는 방법들이 발표된 바 있다[2],[3]. 이러한 기존의 영상기반의 HCI 기술은 카메라의 조사각 내에서 LOS (Line Of Sight) 환경이 보장되어야 하기 때문에 인식 거리가 짧고 장애물이 없어야 하는 단점이 있다. 그 밖에 자기장 센서나 관성센서를 이용한 HCI 기술도 있으나, 자기장 센서는 정확도 측면에서, 관성센서는 사용자가 컨트롤러를 들고 사용해야 하는 단점이 있다[4]. 이에 따라 최근 이러한 단점을 보완할 수 있는 새로운 HCI 기술로 전파를 이용한 동작인식에 대한 연구가 시작되고 있다. 예를 들어 Google에서는 ‘Soli’ 프로젝트를 발표하였는데, Soli는 60 GHz의 전파를 송수신하여 획득한 신호로부터 손가락의 작은 움직임을 인식하여 전자기기를 제어할 수 있다[4]. 전파를 이용한 동작인식 시스템의 가장 큰 장점은 주파수에 따라 다양한 인식거리를 가질 수 있으며, LOS가 아닌 환경에서도 인식이 가능하다는 것이다. 예를 들어 파장이 짧은 60 GHz ISM(Industrial, Scientific, and Medical) 대역의 전파로는 손가락의 움직임을, 파장이 큰 2.4 GHz나 5.8 GHz ISM 대역은 팔이나 몸 전체의 움직임을 인식할 수 있다. 무엇보다도 사용자 몸에 어떠한 센서를 부착하지 않아도 모션 인식이 가능하다는 장점이 있다.

현재까지 발표된 전파기반의 모션 인식 시스템은 신호원의 특성에 따라 분류하면 크게 3가지로 분류될 수 있다. 첫째, FMCW(Frequency Modulated Continuous Wave)신호, 펄스 신호, 또는 UWB(Ultra-Wideband) 신호 등 레이다 기반의 변조신호를 이용한 연구가 있다[4],[5]. Google Soli의 경우, 60 GHz ISM 대역에서 FMCW 신호와 DSSS (Direct-Sequency Spread Spectrum) 신호를 사용한다고 발표하였고, 참고문헌 [5]에서는 하나의 송신안테나와 3개의 수신안테나로 구성되고, 5.56 GHz에서 7.25 GHz까지의 1.69 GHz 대역폭의 FMCW 신호를 이용한 Wi-Track 시스템을 제안하여 벽 너머의 사람의 움직임을 인식하였다. 이렇게 변조신호를 이용하는 경우는 레이다 원리를 이용하므로 성능은 우수하지만, 시스템이 복잡하고, 주파수 대역폭을 많이 차지한다는 단점이 있다. 따라서 대역폭의 여유가 많은 60 GHz나 77 GHz 등의 밀리미터파 대역에서 주로 사용될 것으로 예측된다.

둘째, Wi-Fi나 RFID 등 레이다 신호가 아닌 일반 무선통신신호를 이용한 연구가 있다[6],[7]. 참고문헌 [6]에서는 사람의 손가락에 부착한 RFID 태그를 이용하여 사람의 손동작을 정밀하게 인식한 RF-IDraw 시스템을, 참고문헌 [7]에서는 Wi-Fi 신호를 이용하여 사람의 움직임을 인식하는 WiSee 시스템을 제안한 바 있다. 이 경우, 사람의 손에 태그를 부착해야 하거나, 송신신호가 레이다 변조신호가 아니므로 신호처리가 복잡하여 구현이 어렵다는 단점이 있다.

마지막으로 CW(Continuous Wave) 도플러 레이다를 이용한 연구가 있다[8]~[11]. CW 도플러 레이다의 가장 큰 장점은 주파수 자원의 사용이 효율적이며, 시스템의 구성이 간단하면서도 우수한 성능을 낼 수 있다는 것이다. 예를 들어 2.4 GHz, 5.8 GHz, 10 GHz 등 다양한 주파수를 사용할 수 있으며, 파장이 큰 전파를 이용함에도 불구하고, 미세한 움직임까지도 측정할 수 있다. 참고문헌 [8]에서는 송수신 안테나가 분리된 2.4 GHz 도플러 레이다를 이용하여 사람의 움직임을 인식하였고, 참고문헌 [9]에서는 사람의 손동작 인식이 가능함을 발표한 바 있다. 하지만 현재까지 발표된 대부분의 CW 도플러 레이다 연구는 송수신 안테나가 분리된 하나의 레이다 시스템을 이용한 연구가 대부분이며, 여러 개의 도플러 레이다를 사용하더라도 인체의 방향 등 단순한 동작 인식에만 적용하였 다[10].

이에 본 논문에서는 송수신 안테나가 통합되어 소형으로 제작된 CW 도플러 레이다를 여러 개 사용하여 다양한 손동작 인식이 가능한 시스템을 제안하고자 한다. 하나의 도플러 레이다는 간단한 손동작만을 인식할 수 있는데 반해, 다중 도플러 레이다는 레이다 위치에 따라 각각 다른 시간 특성을 갖는 도플러 효과가 발생되므로 다양한 손동작을 인식할 수 있다.

한편, 머신러닝 기법을 이용하게 되면 손동작 인식의 성공률을 높일 수 있다. 참고문헌 [8]에서 사람의 몸의 큰 움직임에 머신러닝의 일종인 SVM(Support Vector Machine)을 적용하여 인식 정확도를 높인 사례가 발표되었다. 본 논문에서는 이를 참조하여 손동작 인식의 정확도를 높이기 위해 SVM을 적용하였다.

본 논문의 구성은 다음과 같다. 먼저 2장에서는 다중 도플러 레이다 시스템의 구성을 HW와 SW로 분리하여 설명하고, 3장에서는 도플러 레이다 시스템의 실험 결과를 설명한다. 마지막으로 4장에서 결론을 맺도록 한다.

Ⅱ. 다중 도플러 레이다 센서

2-1 도플러 레이다 센서 요구사항

스마트 TV에 복수 개의 도플러 레이다를 설치하여 사람의 손동작을 인식하는 HCI 시나리오는 그림 1과 같다. 손으로 TV 화면을 제어하기 위해서 마우스와 유사한 손동작을 하도록 설정한다면 다음과 같은 요구조건이 필요하다.

  1. 사람의 손은 상/하/좌/우로 움직임에 따라 커서가 움직일 수 있도록 2차원 평면에서의 움직임을 인식할 수 있어야 한다.

  2. 커서가 원하는 메뉴에 도착했을 때 손으로 마우스를 클릭하는 것처럼 선택할 수 있어야 한다. 즉, 손으로 앞으로 살짝 push하는 동작을 인식할 수 있어야 한다.

  3. 마우스를 두 번 클릭하듯이 push를 두 번 할 수 있으므로 이를 위해 push와 pull 동작을 분리할 수 있어야 한다.

jkiees-28-1-33-g1
그림 1. | Fig. 1. 다중 도플러 레이다를 이용한 손동작으로 제어하는 TV HCI 시나리오 | TV HCI control scenario by hand using multiple doppler radars.
Download Original Figure

이러한 손동작을 인식할 수 있도록 도플러 센서가 구성되어야 하는데, 직사각형인 TV 화면의 크기를 고려할 때 TV 화면의 위/아래/좌/우의 중심이나, 4개의 모서리에 부착할 수 있다. TV 화면은 대부분 디스플레이가 차지하므로 4개의 도플러 레이다 센서는 가급적 소형으로 제작되어야 한다. 이를 위해 센서의 크기는 매우 작고, 송수신 안테나 일체형이 되어야 한다.

2-2 다중 도플러 레이다 센서 HW

2-1절의 요구조건을 만족할 수 있는 도플러 레이다 센서로 2.45 GHz ISM 대역에서 동작하는 송수신 안테나 일체형 모노스테이틱(monostatic) 도플러 레이다 센서를 설계하였다. 모노스테이틱 도플러 레이다 센서의 기본 원리를 간단히 설명하면 다음과 같다. 그림 2(a)에 간단히 설계한 레이다 블록도를 나타내었다. 먼저 모노스테이틱 도플러 레이다는 2.45 GHz 정현파 신호를 생성하는 VCO (Voltage Controlled Oscillator) 회로와 PLL(Phased Locked Loop) 회로가 내장되어 있으며, PLL 프로그램은 Atmega128 마이컴을 이용하여 각 센서 별로 원하는 주파수로 프로그래밍할 수 있다. 이렇게 생성된 2.45 GHz 정현파 신호는 원형편파(CP: Circular Polarization) 안테나와 90° 하이브리드 결합기를 이용하여 우원형 편파(RHCP: Right-Handed CP)된 전파를 송신하게 된다. 이 신호는 사람의 손에서 반사되어 좌원형 편파(LHCP: Left-Handed CP)로 변환된다. 이 LHCP 신호는 다시 CP 안테나와 90° 하이브리드 결합기를 통해 수신된 후, 송신 주파수와 동일한 주파수와 믹싱되어 I/Q 기저대역 신호가 출력된다. 설계된 도플러 센서의 기본 구성은 참고문헌 [11]과 동일하나, 사람의 손동작에 의해 생기는 도플러 주파수를 인식하기 위하여 아날로그 필터 회로를 수정하였고, 센서 별로 독립적인 동작을 하도록 센서 별로 1 MHz 간격의 CW 신호(예를 들어 2,450 MHz와 2,451 MHz)를 출력하도록 하였다. 각각의 레이다에서 서로 다른 주파수의 CW 신호를 송신하면 손동작에 따라 각각 다른 도플러 천이된 CW 신호가 발생된다. 각각의 레이다 수신기는 기저대역필터에 의해 다른 레이다의 CW 주파수는 수신할 수 없으며, 자기가 보낸 CW 신호의 도플러 천이된 반사파만을 수신한다. 수신된 모든 레이다 신호는 MATLAB과 연동된 NI DAQ USB-6008의 아날로그 입력단자를 통해 디지털화한다.

jkiees-28-1-33-g2
그림 2. | Fig. 2. 다양한 동작에 따른 도플러 레이다 센서 동작 원리 | Principles of Doppler radar with respect to various hand gestures(Push, Pull, Right Slide, and Left Slide).
Download Original Figure

센서의 동작에 따른 도플러 주파수의 차이를 설명하기 위하여 그림 2(a)와 같이 손이 센서 쪽으로 다가오는 경우(push)를 가정한다. 이 때 손의 움직임으로 인해 반사된 신호는 손의 속도에 따라 양의 도플러 천이 현상을 겪는다. 이 도플러 천이는 식 (1)과 같이 주어진다.

f D ( t ) = 2 f c v ( t ) c cos θ ( t )
(1)

여기서, fD(t)는 시간에 따라 변하는 도플러 주파수 [Hz], fc는 송신 CW 주파수 [Hz], v(t)는 시간에 따라 변하는 물체의 속도 [m/s], c는 빛의 속도 [m/s], θ(t)는 시간에 따라 변하는 수신기와 움직이는 물체 사이의 각도를 나타낸다. 따라서 레이다에 다가오는 손동작의 경우(Push), 레이다에 ‘+’ 부호의 도플러 주파수가 발생한다. 반대로 레이다로부터 멀어지는 손동작의 경우(Pull), 레이다로 다 가오는 손동작과 반대인 ‘−’ 부호의 도플러 주파수가 발생한다. 이를 이용하여 Push와 Pull 손동작을 구분할 수 있다.

다음으로 그림 2(b)와 같이 Right Slide 또는 Left Slide하는 경우를 고려하자. 식 (1)의 도플러 주파수는 시간에 따라 변화가 심하기 때문에 본 논문에서는 변화가 적은 새로운 파라미터로 식 (2)와 같이 최대 도플러 주파수와 최소도플러 주파수의 차인 도플러 대역폭 ΔfD(t)를 사용하였다[10].

Δ f D ( t ) = max ( f D ( t ) ) min ( f D ( t ) )
(2)

Right Slide나 Left Slide 동작을 할 경우, 왼쪽 도플러 센서와 오른쪽 도플러 센서에 발생하는 도플러 대역폭은 시간에 따라 변하는 함수가 된다. 즉, Right Slide하는 경우, 그림 2(b)의 왼쪽과 같이 왼쪽의 레이다에서 먼저 ΔfD(t)가 크게 발생하고 이후에 오른쪽 레이다에 ΔfD(t)가 크게 발생한다. 반대로 Left Slide의 경우에는 그림 2(b)의 오른쪽과 같이 Right Slide와 반대의 현상이 발생한다. 즉, 시간에 따른 두 개의 도플러 대역폭의 변화를 관찰함으로써 Right Slide, Left Slide 동작을 구분할 수 있다.

2-3 다중 도플러 레이다 센서 SW

각각의 도플러 레이다 센서에서 출력되는 I/Q 신호로부터 손동작을 분류하기 위해서는 I/Q 신호를 디지털신호로 변환하여 PC에서 신호처리를 통해 손동작에 따른 특징을 추출한 후 손동작을 분류해야 한다.

손동작을 분류하기 위한 전체적인 과정을 간단히 설명하면 그림 3과 같다. 레이다에서 송신한 신호가 물체에 움직임에 의해 반사된다. 그리고 레이다가 이 신호를 수신하여, ADC 과정을 거쳐 PC로 전송된다. 이 신호는 MATLAB을 이용하여 STFT(Short Time Fourier Transform) 변환된 후, 각각의 손동작에 대한 특징을 추출한다. 추출한 특징을 가지고 간단한 조건부 알고리즘으로 손동작을 분류할 수 있지만, 본 논문에서는 손동작 인식의 높은 정확도를 위해 분류 알고리즘인 SVM을 사용하여 손동작을 분류하였다. 마지막으로, 분류된 결과를 통해 손동작을 제대로 인식하였는지 판단한다.

jkiees-28-1-33-g3
그림 3. | Fig. 3. 제안한 시스템 전체 구성도 | Configuration of suggested system.
Download Original Figure

손동작을 구분하기 위해 사용한 SVM에 대해 간단히 설명하면, SVM은 분류 알고리즘으로 머신 러닝의 일종이며, 기본적으로는 2진 분류기이다. SVM은 새로운 데이터에 대해 모든 데이터 포인트를 나누는 최적의 경계(hyperplane), 즉 가장 큰 Margin을 가지는 hyperplane으로 데이터를 분류한다. Hyperplane에 가장 가까이에 있는 데이터인 support vector가 hyperplane을 결정하는 요인이다. 새로운 데이터가 추가되면 이에 따라 hyperplane이 최적화된 경계조건을 생성하고, 이 경계조건을 이용하여 데이터를 분류할 수 있다. 즉, 전체 데이터와의 내적거리를 보지 않고 support vector와의 내적거리만 구하여 계산을 상당히 줄일 수 있는 장점이 있다. 이러한 SVM 모델을 이용하여 STFT로부터 추출된 특징을 가지고 분류한 구체적인 알고리즘은 그림 4와 같다. 먼저 분류 모델을 생성하기 위해 추출된 데이터를 이용하여 분류 모델을 학습하는 단계와 학습 결과로 도출된 분류 모델을 검증하기 위한 단계로 나뉜다. 분류 모델을 생성하기 위한 학습 단계에서는 먼저 학습에 사용할 데이터에서 특징을 추출한다. 추출한 특징은 학습을 위한 트레이닝 데이터가 되고, 학습을 통해 분류 모델을 생성한다. 그리고 검증 단계에서는 생성된 분류 모델을 검증할 새로운 테스트 데이터를 입력하여 검증한다.

jkiees-28-1-33-g4
그림 4. | Fig. 4. 손동작 인식 분류 알고리즘 블록도 | The classification algorithm block-diagram of hand gesture recognition.
Download Original Figure

본 논문에서 제안한 시스템은 4가지 손동작을 분류하기 때문에 2진 분류기인 SVM 한 개의 모델로는 4가지 동작을 분류하기 어렵다. 따라서 그림 5와 같이 총 3가지의 SVM이 필요하고, decision tree 구조에 의해 손동작 분류가 진행된다. Push/Pull과 Right Slide/Left Slide를 분류하는 SVM1, SVM1을 통해 분류된 데이터를 이용하여 Pull과 Push를 분류하는 SVM2, 그리고 Right Slide와 Left Slide를 분류하는 SVM3까지 총 3가지의 SVM을 이용하였다. 먼저 SVM1의 경우, Push/Pull, Right Slide/Left Slide를 구분해야 하는데, Push/Pull은 2개의 레이다에서 동시에 같은 부호의 도플러 주파수가 발생한다. 반면에, Right Slide/Left Slide는 2개의 레이다에서 동시에 부호가 다른 주파수가 발생한다. 이를 이용하여 동시에 발생하는 도플러 주파수의 곱으로 Push/Pull, Right Slide/Left Slide를 분류하였다. SVM2의 경우, Push와 Pull은 손동작이 서로 반대방향이기 때문에 2개의 레이다에서 추출한 도플러 주파수의 부호를 이용하여 분류한다. SVM3의 경우, 2개의 Slide를 분류하기 위해 각 레이다에 발생하는 도플러 대역폭의 차이의 변화를 이용하였다. 앞서 2-2절에서 언급하였듯이, 손동작에 따라 각 레이다에 대역폭의 크기가 달라지기 때문에 대역폭의 차이의 변화를 이용하면 2개의 Slide를 분류할 수 있다. 본 논문에서는 MATLAB에서 제공하는 SVM 함수를 사용하였다. SVM으로 분류한 결과를 통해 테스트 데이터가 어떤 손동작으로 분류되었는지 확인이 가능하다. 분류된 결과를 가지고 각 손동작을 특정 이벤트를 맵핑하여 이를 활용한 어플리케이션을 제공할 수 있다.

jkiees-28-1-33-g5
그림 5. | Fig. 5. SVM을 이용한 손동작 분류 | Suggested decision tree using SVM.
Download Original Figure

Ⅲ. 실험 및 결과고찰

3-1 실험구성

본 절에서는 손동작 분류기를 검증하기 위한 실험 구성을 설명한다. 실험구성은 그림 6과 같다. ISM 대역의 2.45 GHz Monostatic Doppler Radar 2개, NI DAQ USB-6008, 전원 공급 장치, MATLAB 연산용 PC로 구성하였다. 전원 공급 장치는 레이다에 필요한 3 V의 전압을 인가하여 레이다를 구동시킨다. 레이다로부터 송신된 CW 신호는 사람의 움직임에 의해 도플러 천이되고, 역 산란되어 동일한 레이다로만 수신된다. 수신된 신호는 NI DAQ USB-6008에서 1024 Sample/sec로 ADC하여 PC로 전송된다. PC에서는 디지털로 변환된 I/Q 신호를 이용하여 복소신호로 변환하고, 이 신호는 STFT를 거친다. 이때 FFT 개수는 1,024개이고, 도플러천이 주파수의 해상도와 시간 인덱스를 고려하여 실험적으로 window의 길이는 256개로 설정하였다. 마지막으로 2-3절에서 설명한 SVM 을 이용한 손동작 분류 알고리즘을 통해 4가지 손동작을 분류하였다.

jkiees-28-1-33-g6
그림 6. | Fig. 6. 실험 구성 | Experimental configuration.
Download Original Figure

실험 장비를 구성하여 데이터를 수집하고, 특징 데이터를 추출한 뒤, 그림 7과 같은 SVM 검증 블록도의 과정을 거친다. 3가지 SVM 모델은 모두 동일한 방식으로 설계되었으므로 그림 7의 첫 번째 그림에 해당하는 SVM1의 경우를 예로 들어 설명한다. SVM1은 4가지 손동작을 크게 2가지로, 즉 Push/Pull과 Right Slide/Left Slide로 분류하는 SVM이다. 4가지 손동작에 대해 각 100번씩 측정하여, 총 400개의 데이터를 전체 데이터 집합으로 구성한다. 그리고 전체 데이터의 90 %를 랜덤으로 정하여 트레이닝 데이터 집합으로, 나머지에 해당하는 10 %의 데이터를 테스트 데이터 집합으로 나눈다. 트레이닝 데이터 집합을 이용하여 학습이 진행되고, 학습된 모델이 만들어지면 테스트 데이터로 SVM1의 정확도를 확인한다. 이러한 과정을 거쳐 SVM2, SVM3의 정확도를 확인한다. SVM에 대한 검증이 끝나면, 마지막으로 4가지 손동작에 대한 데이터를 무작위로 구성한 테스트 데이터 집합을 준비하여 전체 SVM 알고리즘을 실행한다.

jkiees-28-1-33-g7
그림 7. | Fig. 7. 생성한 SVM 모델 검증 블록도 | The verification block-diagram of SVM.
Download Original Figure
3-2 실험결과

손동작을 구분하기 위해 생성한 각 SVM 모델의 트레이닝 데이터 집합을 구성하기 위해 추출한 특징으로는, SVM1은 각 레이다의 도플러 주파수 곱과 신호의 에너지 크기를 이용하였고, SVM2는 각 레이다의 도플러 주파수 합과 신호의 에너지 크기, 마지막으로 SVM3는 각 레이다의 대역폭 차이와 시간 인덱스를 이용하였다. 추출한 특징들은 레이다에서 수신된 신호를 STFT하여 결과로 나온 배열에서 도플러 주파수의 배열 인덱스와 에너지 값을 사용하였다. 그림 8은 pull 동작에 대한 예시이다. 그림 8(a)는 레이다에서 수신한 신호의 스펙트로그램이고, 그림 8(b)는 전원 잡음과 나머지 잡음을 제거한 신호의 스펙트로그램이다. 그림 8(c)는 양과 음의 주파수 영역 중 가장 큰 에너지를 갖는 도플러 주파수가 존재하는 영역만 표시한 그림이다. SVM1과 SVM2에서 사용한 도플러 주파수는 주파수 인덱스의 해상도가 6.13 이므로 6.13 Hz의 배수로 추출된다. 그리고 그림 7과 같이 트레이닝 데이터와 테스트 데이터를 이용하여 각각의 SVM 모델을 생성하였다. 그리고 검증된 3가지 SVM을 이용하여 최종적으로 4가지 손동작에 대해 각 50개씩 총 200개의 데이터를 새롭게 측정하고 데이터를 무작위로 배치하여 실험한 결과는 그림 9와 같다. 4가지 손동작에 대한 각 50개의 데이터는 손 크기, 동작이 이루어지는 속도와 각도 등을 고려하여 5명의 실험자가 각 10번씩 측정하였다. 그림 9(a)에서 SVM1에 의해 100개의 Push/Pull(■)과 100개의

jkiees-28-1-33-g8
그림 8. | Fig. 8. 도플러 주파수 추출 과정 스펙트로그램 | The extraction process spectrogram of Doppler frequency; (a) raw data of pull hand gesture, (b) removed data from the noise signal of (a), (c) extracted Doppler frequency.
Download Original Figure
jkiees-28-1-33-g9
그림 9. | Fig. 9. 4가지 손동작을 분류하는 SVM 모델. (a) SVM1 분류 결과, (b) SVM2 분류 결과, (c) SVM3 분류 결과 | SVM model for hand gesture classification. (a) Classification by SVM1, (b) Classification by SVM2, (c) Classification by SVM3.
Download Original Figure

Right Slide/Left Slide(▲)로 분류되었음을 확인하였다. 그리고 그림 9(b)에서 SVM1에 의해 Push/Pull(▲)로 분류된 100개의 데이터는 SVM2의 새로운 테스트 데이터가 되어 50개의 Push(▲)와 50개의 Pull(■)로 정확하게 분류되었다. 또한, 그림 9(c)에서 SVM1에서 Right Slide/Left Slide(■)로 분류된 100개의 데이터는 SVM3의 새로운 테스트 데이터가 되어 50개의 Left Slide(▲)와 50개의 Right Slide(■)로 분류됨을 확인하였다. 그리고 그림 10과 같이 각 손동작 인식 정확도를 살펴본 결과, 각각의 손동작에 대한 50개 테스트 데이터가 오류 없이 정확하게 분류되었다. SVM을 사용할 때와 그렇지 않을 때의 손동작을 인식하는 정확도를 비교하기 위해 조건부 알고리즘으로 분류한 결과, 약 80 %의 정확도를 보여 SVM 알고리즘을 적용했을 때 더 정확한 결과를 보였다. 조건부 알고리즘을 이용한 분류 시스템에서는 Pull과 Push를 구분하기 위한 조건으로 도플러 주파수가 양수인지 음수인지를 이용하였고, Left Slide와 Right Slide를 구분하는 조건으로는 두 레이다의 대역폭 차이가 양수인지 음수인지를 이용하였다[12]. 즉, 조건부 알고리즘에 의한 분류는 정해진 기준에 따라 분류하기 때문에 추출한 특징이 해당 손동작에 속하여도 조건의 경계에 있거나 조건과 부합하지 않는다면 오류가 발생한다. 반면에, SVM 알고리즘을 사용하면 트레이닝 데이터를 기반으로 훈련을 통해 상황에 따라 유연하게 분류 기준을 수립할 수 있다. 본 논문에서 제안한 4가지 손동작은 서로 상반된 특징을 갖는 경우가 많기 때문에, 손동작을 인식하는데 한 개의 오류도 발생하지 않았다. 하지만 동작이 다양해지고 복잡해지면 동작에 따른 특징을 추출하는 과정이 단순하지 않고 특징의 종류가 많아 진다. 따라서 조건부 알고리즘으로 분류를 하는데 한계가있기 때문에 SVM 알고리즘을 사용하여 분류 정확도를 높일 수 있다.

jkiees-28-1-33-g10
그림 10. | Fig. 10. 손동작 인식 정확도 매트릭스 | Confusion matrix for hand gestures.
Download Original Figure

Ⅳ. 결 론

본 논문에서는 손동작으로 스마트기기를 제어할 수 있도록 다중 도플러 레이다와 머신러닝을 이용하여 손동작 인식방법을 제안하고, 그 가능성을 실험적으로 확인하였다. 2개의 도플러 레이다와 SVM 기법을 이용하여 4가지 손동작(Push, Pull, Left Slide 및 Right Slide)을 100 % 인식할 수 있었다. 따라서 제안한 알고리즘을 기반으로 4개의 레이다를 상하좌우로 설치한다면, 상하좌우 이동과 채널선택 등의 HCI 기능을 보다 효율적으로 수행할 수 있을 것이다. 본 연구결과를 바탕으로 앞으로 손동작 이외의 다양한 모션 인식에 대한 연구를 진행할 예정이다.

Acknowledgements

이 연구는 2016년도 정부(미래창조과학부)의 재원으로 정보통신기술진흥센터의 지원을 받아 수행된 연구임(B0717-16-0065, 400~1,600nm 가시광선/근적외선 융합 실리콘(Si)-게르마늄(Ge) 기반 성분 분석 센서 및 응용시스템 개발).

References

[1].

김정인, “손동작 인식을 이용한 마우스제어기법”, 멀티미디어학회논문지, 15(11), pp. 1377-1383, 2012년 11월.

[2].

Zhengyou Zhang, “Microsoft kinect sensor and its effect”, IEEE Multimedia, vol. 19, no. 2, pp. 4-10. 2012년

[3].

Zhihan Lv, et al. “Finger in air: touch-less interaction on smartphone”, Proceedings of the 12th International Conference on Mobile and Ubiquitous Multimedia, ACM, 2013.

[4].

Jaime Lien, et al. “Soli: ubiquitous gesture sensing with millimeter wave radar”, ACM Transactions on Graphics (TOG), vol. 35, no. 4, pp. 142, 2016.

[5].

Fadel Adib et. al., “3D tracking via body radio reflections”, 11th USENIX Symposium on Networked Systems Design and Implementation(NSDI 14), 2014.

[6].

Jue Wang, Deepak Vasisht, and Dina Katabi. “RF-IDraw: virtual touch screen in the air using RF signals”, ACM SIGCOMM Computer Communication Review 44.4, pp. 235-246, 2015.

[7].

Qifan Pu, et al. “Whole-home gesture recognition using wireless signals”, Proceedings of the 19th Annual International Conference on Mobile Computing & Networking, ACM, 2013.

[8].

Youngwook Kim, Hao Ling, “Human activity classification based on micro-Doppler signatures using a support vector machine”, Geoscience and Remote Sensing, IEEE Transactions on 47.5, pp. 1328-1337, May. 2009.

[9].

Qian Wan, et al. “Gesture recognition for smart home applications using portable radar sensors”, 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 6414-6417, 2014.
,

[10].

Yiran Li et al. “Non-contact multi-radar smart probing of body orientation based on micro-Doppler signatures”, 20014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 598-601, 2014.
,

[11].

장병준 외, “하나의 원형 편파 안테나와 PLL을 이용하여 소형이면서도 개선된 잡음 성능을 갖는 2.4 GHz 바이오 레이다 시스템”, 한국전자파학회논문지, 20(12), pp. 1325-1332, 2009년 12월.

[12].

윤지수 외, “전파를 이용한 모션 인식 시스템 구현”, WISET 주니어과학기술연구논문발표집, vol. 1 pp. 412-417, 2015년.

Author Information

백 경 진

jkiees-28-1-33-i1

  • 2017년 2월: 국민대학교 전자공학부 (공학사)

  • 2017년 3월~현재: 국민대학교 전자공학과 석사과정

  • [주 관심분야] 센서 시스템 설계, 레이다 신호처리, 무선통신시스템

장 병 준

jkiees-28-1-33-i2

  • 1990년 2월: 연세대학교 전자공학과 (공학사)

  • 1992년 2월: 연세대학교 전자공학과 (공학석사)

  • 1997년 2월: 연세대학교 전자공학과 (공학박사)

  • 1995년 3월~1999년 1월: LG전자(주)

  • 1999년 1월~2003년 9월: 한국전자통신연구원 무선방송연구소

  • 2003년 10월~2005년 8월: 정보통신연구진흥원

  • 2013년 9월~2015년 8월: 미래창조과학부 민간전문가(CP)

  • 2005년 9월~현재: 국민대학교 전자정보통신공학부 교수

  • [주 관심분야] RF회로 및 시스템, 무선통신시스템, 전파응용