The Journal of Korean Institute of Electromagnetic Engineering and Science
The Korean Institute of Electromagnetic Engineering and Science
논문/REGULAR PAPERS

사람 걸음 탐지 및 배경잡음 분류 처리를 위한 도플러 레이다용 딥뉴럴네트워크

권지훈1, 하성재*, 곽노준**,
Jihoon Kwon1, Seoung-Jae Ha*, Nojun Kwak**,
1한화시스템 레이다연구소
*한국폴리텍대학 정보통신시스템
**서울대학교 융합과학기술대학원
1Radar R&D Center, Hanwha Systems
*Department of Information and Communication Systems, Korea Polytechnics
**Graduate School of Convergence Science and Technology, Seoul National University
Corresponding Author: Nojun Kwak (e-mail: Nojunkwak@snu.ac.kr)

© Copyright 2019 The Korean Institute of Electromagnetic Engineering and Science. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Apr 11, 2018; Revised: May 15, 2018; Accepted: Jul 07, 2018

Published Online: Jul 31, 2018

요약

본 논문은 딥뉴럴네트워크(deep neural network: DNN)를 이용해 사람 걸음 및 배경잡음원에 의해 발생한 마이크로 도플러 신호를 탐지 및 분류 처리하는 연구를 제안한다. 기존 분류처리 연구는 경험 및 통계적인 방법을 통해 분류기 성능에 직접적으로 영향을 미치는 의미있는 특징을 추출하기 위한 복잡한 과정을 포함한다. 그러나 딥뉴럴네트워크는 다수의 레이어 층을 단계적으로 통과하는 과정을 통해 점진적으로 특징을 재구성 및 생성하므로, 별도의 특징 추출과정을 생략할 수 있으며, 자연스럽게 네트워크상에서 특징을 생성할 수 있는 이점이 있다. 따라서 본 논문에서는 마이크로 도플러 신호 인식을 위한 딥뉴럴네트워크 효과성 입증을 위해, 이진분류기와 다층클래스 분류기를 다층퍼셉트론과 딥뉴럴네트워크를 통해 설계하고 비교분석한다. 실험 결과, 다층퍼셉트론은 이진분류기의 경우 테스트세트에 대한 분류 정확도가 90.3 %로 측정되었고, 다층클래스 분류기의 경우 테스트세트에 대한 분류정확도가 86.1 %로 측정되었다. 딥뉴럴네트워크는 이진분류기의 경우 테스트세트에 대한 분류 정확도가 97.3 %로 측정되었고, 다층클래스 분류기의 경우 테스트세트에 대한 분류정확도가 96.1 %로 측정되었다.

Abstract

The effectiveness of deep neural networks (DNNs) for detection and classification of micro-Doppler signals generated by human walking and background noise sources is investigated. Previous research included a complex process for extracting meaningful features that directly affect classifier performance, and this feature extraction is based on experiences and statistical analysis. However, because a DNN gradually reconstructs and generates features through a process of passing layers in a network, the preprocess for feature extraction is not required. Therefore, binary classifiers and multiclass classifiers were designed and analyzed in which multilayer perceptrons (MLPs) and DNNs were applied, and the effectiveness of DNNs for recognizing micro-Doppler signals was demonstrated. Experimental results showed that, in the case of MLPs, the classification accuracies of the binary classifier and the multiclass classifier were 90.3% and 86.1%, respectively, for the test dataset. In the case of DNNs, the classification accuracies of the binary classifier and the multiclass classifier were 97.3% and 96.1%, respectively, for the test dataset.

Keywords: Doppler Radar; Deep Neural Network; Micro-Doppler; Radar Pattern Recognition; Radar Machine Learning

Ⅰ. 서 론

상업용 레이다 센서는 스마트 홈 및 스마트 시티를 위한 LED 제어 및 경보 모니터링 목적의 센서로 실내외 환경에서 폭넓게 사용될 수 있다. 레이다 센서는 움직이는 표적에 의한 도플러 신호를 감지하는 센서로써, 음향, 적외선, 진동 및 카메라 센서 사용에 제한이 있는 분야에서 유용하게 활용할 수 있다. 예를 들어, 음향 및 진동 센서는 잡음에 매우 취약하며, 적외선 센서는 실외 환경에서 빈번한 거짓 경보를 생성한다. 카메라 센서는 상대적으로 비싸고, 영상 신호 처리에 대한 상대적으로 높은 연산 처리를 요구하며, 야간에 성능이 저하되고 렌즈가 오염되는 등의 한계점이 있다. 반면, 레이다 센서는 기상 환경에 상대적으로 강인하고, 야간에도 센서 성능이 감소하지 않는다. 또한, 표적 검출을 위한 신호처리가 상대적으로 쉽고 효과적이기 때문에, 다양한 실내외 분야에서 사물 감지목적으로 활용할 수 있다.

레이다 센서의 기존 물체 검출 방법은 수신된 신호 전력을 고정형 또는 적응형 임계 레벨과 비교하는 방식을 사용한다. 이 방법은 구현이 매우 단순하기에 현재 실내 상업용 제품에 널리 적용되고 있다. 그러나 복잡한 배경잡음이 수신신호와 혼재될 경우, 단순히 신호의 전력 크기 또는 위상 변화를 단순하게 비교하는 방식으로 탐지 여부를 결정하는 것은 빈번한 오경보를 야기한다. 또한, 타겟의 RCS(Radar Cross Section)의 변동은 탐지 성능에 부정적인 영향을 미친다. 한편, 배경잡음 강도에 따라 적응적으로 임계값을 변동시키는 적응형 임계 비교 방식의 경우, 강한 배경잡음에 의해 임계값 레벨 상대적으로 높아져, 수신 신호가 임계 레벨 아래에 존재하여 탐지가 안되는 경우가 빈번하게 발생할 수 있다. 이러한 결점으로 인해 기존 레이다 상용 센서는 배경잡음이 많이 유입되는 실외 상황에서 적용에 제한을 받는다.

제기된 문제점을 극복하기 위해 일차적으로 수신 신호의 도플러 정보를 유용하게 활용하는 방안을 고민할 수 있다. 실제로 타겟과 다양한 배경잡음을 효과적으로 분류하기 위해 도플러 신호는 레이다가 수신하는 매우 중요한 데이터 정보 중에 하나로 간주한다. 항공 감시 레이다의 경우, 표적의 속도가 빠르므로 도플러 필터링을 통해 불필요한 잡음 클러터를 효과적으로 제거한다. 그러나 인

간의 움직임을 감지하는 레이다의 경우, 사람의 걸음 속도(대략 1.4 m/s)[1]가 매우 느리므로 사람 걸음에 의한 도플러 신호와 다양한 잡음 신호를 분리하는 것은 상당히 까다로운 문제로 여겨진다. 이는 사람 걸음에 의해 발생한 도플러 신호의 주파수 범위가 배경잡음에 의해 발생한 도플러 신호의 주파수 범위가 일정부분 겹쳐지기 때문이다. 따라서 특정한 주파수 대역을 필터링하는 등의 방식으로 사람 걸음을 분리하여 탐지하는 것은 한계가 있다. 특히 느린 사람 걸음으로 발생한 도플러 신호를 분해하기 위해서는 상대적으로 긴 윈도우 시간(Window time)이 요구되며, DC 근방의 낮은 도플러 신호를 처리하기 위해서는 우수한 성능의 고성능 오실레이터(Oscillator)가 요구될 수 있다. 따라서 기존 도플러 필터링 방식은 처리 시간 및 하드웨어 비용을 증가시킬 수 있기에 기능적으로나 상업적으로 매력적이지 않다.

한편, 수신 신호 패턴을 인식하는 기계학습(또는 패턴 인식) 기술은 앞서 언급한 한계를 극복하기 위한 좋은 대안이 될 수 있다. 실제로, 패턴 인식을 이용한 레이다용 마이크로 도플러(Micro-Doppler) 신호 탐지에 관한 다양한 연구가 보고되었다[2][7]. 관련 연구에 따르면 많은 연구자가 분류기(classifier)의 추정 정확도에 영향을 미치는 의미 있는 특징 벡터를 찾기 위해 복잡한 수학 방정식이나 접근법을 설명하거나 제안했다[2][4],[7][10]. 그러나 이러한 방식은 경험적 방법에 기반을 둔 통계적 분석을 필요로 하므로, 상대적으로 매우 큰 노력과 시간을 요구한다. 또한 선택된 특징은 레이다 센서의 응답 및 업데이트 속도에 직접적인 영향을 미치기도 하는데, 분류기의 분류 성능에 중요한 영향을 미치는 특징을 얻기 위해 상대적으로 긴 전처리 시간을 요구하기 때문이다.

그러나 스마트 홈용 LED 조명 제어 센서가 긴 처리 시간을 요구할 경우, 이는 센서 응답 속도를 느리게 하므로, 결국 실제 제품으로 적용하기 어려운 문제점을 야기한다. 한편, 이 문제를 극복하기 위해 최근에 다층퍼셉트론(multilayer perceptron) 신경 회로망을 이용한 사람 걸음 분류처리 기법이 제안되었다[5]. 제안된 알고리즘은 저비용 임베디드 프로세스 탑재를 위해 단순화된 형태의 분류기 구조를 갖고 있지만, 처리 속도를 0.5초로 개선한 것으로 보고하였다[5]. 특히 기존의 방식과 달리 특징을 별도로 추출하지 않고, 원시데이터로부터 샘플을 추출해 위상 또는 주파수 변환된 신호를 특징으로 사용하였다. 그러나 참고문헌 [5]에서 제안한 다층 퍼셉트론은 연산량을 제한하기 위해 입력과 출력 레이어 사이의 히든 레이어 수를 두 층으로 제한했다. 따라서 레이어 수가 많지 않은 한계로 인하여, 하위 레이어로 이어지는 구조가 단순하므로 적절한 특징이 구조적으로 자연스럽게 형성되기에 한계가 있다. 이는 단순한 이진 분류기 형태로의 적용이 가능하며, 다중 클래스 분류기로의 확장에 한계를 가질 수 있다.

따라서 이전 대부분의 연구는 특정 처리 시간 동안 수신한 신호를 마이크로 도플러 스펙트럼으로 변환한 후, 마이크로 도플러 스펙트럼 상에서 유의미한 특징을 찾아내기 위해, 경험에 기반을 둔 통계적인 방법론들을 사용했다. 특히 특징을 얻기 위한 전처리 처리 시간을 상당히 길게 요구하는 한계를 갖고 있었다. 예를 들어 그림 1은 기존 연구에서 제시한 걷는 사람의 마이크로 도플러 스펙트럼과 사용된 특징의 예를 보여준다[2],[3]. 한편, 최신 연구에서 이러한 한계를 극복하는 새로운 방법을 제시하였으나, 단순화된 형태의 이진 분류기 형태로 다중 분류기로써의 확장에는 한계를 보였다[5].

jkiees-29-7-550-g1
그림 1. | Fig. 1. 마이크로 도플러 신호를 인지하기 위한 기존 연구의 처리 흐름 | The processing flow suggested by previous researches to recognize the micro Doppler signals.
Download Original Figure

따라서 본 논문에서는 딥뉴럴네트워크를 이용해 사람 걸음 및 배경잡음에 의해 발생한 마이크로 도플러 신호를 분류하는 연구를 제안한다. 불필요한 전처리를 제외한 참고문헌 [5]의 방법론을 따름으로써 윈도우시간(Window time)을 개선하고, 딥뉴럴네트워크를 적용함으로써 참고문헌 [5]의 한계를 극복한다.

딥뉴럴네트워크는 입력과 출력 레이어 사이에 다수의 히든 레이어를 사용함으로써, 학습을 통해 네트워크 구조상 자연스럽게 하위레이어로 특징을 전달 및 형성하는 구조를 갖는다. 특히 우리는 다음의 두 가지 형태의 딥뉴럴네트워크를 설계하고 분석한다. 첫 번째는 배경잡음으로부터 사람의 마이크로 도플러 신호를 검출하는 이진 분류기 형태로 설계된 딥뉴럴네트워크이다. 이는 레이다의 CFAR(Constant False Alarm Rate)의 목적과 유사하게 적용할 수 있다. 두 번째는 사람의 마이크로 도플러 신호뿐만 아니라, 배경잡음에 의해서 발생한 마이크로 도플러 신호 역시 동시에 인식하는 다층 클래스 분류기 형태의 딥뉴럴네트워크이다. 이는 주변 환경을 인식하기 위한 목적으로 레이다 센서의 활용을 고려하기 위함이다.

Ⅱ. 딥뉴럴네트워크

딥뉴럴네트워크(deep neural network: DNN)은 인공 신경망(artificial neural networks: ANN)의 일종으로 입력 레이어와 출력 레이어 사이에 다수의 은닉 레이어(hidden layer)를 사용한다. 이전 레이다용 기계학습 관련 연구에서는 특징을 추출하고, 추출된 특징을 뉴럴네트워크의 입력값으로 사용했다. 그러나 본 연구에서 제안하는 DNN에서는 주어진 신호로부터 샘플링된 원시 데이터(raw data)를 입력 특징 벡터로 사용한다. 수신 신호는 필터링이나 특징 추출 과정 없이, 푸리에 변환 처리되어 입력 노드로 전달된다. 특징을 추출과 관련된 추가적인 노력이나 전처리 과정을 사용하는 것을 배제한다. 딥뉴럴네트워크의 하위 레이어는 상위 레이어로부터 정보를 수신하고, 여러 레이어를 통과하는 과정에서 점진적으로 특징을 재구성하고 생성하는데, 이는 딥뉴럴네트워크의 핵심 이점으로 이해될 수 있다. 따라서 경험에 의존한 특징 추출 방식과는 달리, 다수의 레이어와 노드를 가진 딥뉴럴네트워크를 사용함으로써, 복잡한 신호의 최적 특징 추출 모델을 자연스럽게 설계할 수 있는 장점을 갖는다.

딥뉴럴네트워크에는 CNN(Convolution Neural Network), RNN(Recurrent Neural Networks) 등과 같은 다양한 유형의 네트워크 형태가 개발되었다. CNN은 컴퓨터 비전 분야에 성공적으로 적용되었으며, 레이다 응용의 경우, 도플러 스펙트럼 및 SAR 영상과 관련된 분류 처리에 적용할 수 있다[11]. CNN은 주로 이미지 데이터를 사용하는 분류 모델에 사용한다. 도플러 스펙트럼 영상을 인식하는 목적으로 CNN을 적용할 수 있으나, 사람 걸음 도플러 스펙트럼 영상을 생성하기 위해서는 상대적으로 긴 시간이 필요하므로, 레이다 센서 응답 및 업데이트 속도가 느려지는 단점이 발생한다. 결과적으로 CNN은 본 연구에서 적용하고자 하는 목적에 적합하지 않은 구조이다. RNN은 음성 또는 언어 분류에 탁월한 성능을 보이는 것으로 알려져 있다[12]. 레이다에 의한 마이크로 도플러 신호는 시계열 형태이기 때문에 RNN은 레이다 신호 분류에 유용한 도구로 활용할 수 있다. 그러나 초기 시점에서 레이다 센서가 첫 번째 결과를 얻기 위해 여러 시간 단계 동안의 입력 데이터를 요구하므로, CNN과 마찬가지로 센서 응답 속도가 느려지는 문제를 갖고 있다. 따라서 제기된 제한사항을 고려하여 본 논문에서는 입력에 따라 출력이 바로 생성되는 피드포워드(feedforward) 딥뉴럴네트워크(이하 딥뉴럴네트워크)를 선택하고 설계한다.

2-1 ReLu and Softmax

과거 깊은 레이어를 적층하는 네트워크 구조는 그라디언트가 사라지는 문제(gradient vanishing)가 발생했고, 이는 시그모이드(Sigmoid) 등의 특정 활성화 함수(activation function)를 사용하는 것과 관련한다. 시그 모이드 또는 하이퍼볼릭 탄젠트(hyperbolic tangent) 함수와 같은 신경망의 전통적인 활성화 함수는 (0, 1)의 범위를 갖는다. 모델을 훈련하기 위한 역전파 알고리즘은 체인 규칙에 따라 그라디언트를 계산하므로 레이어 증가에 따라 그라디언트가 거의 0에 근사하고, 이로 인하여 학습이 제대로 이뤄지지 않는 현상이 발생한다. 한편, 활성화 함수의 일종인 ReLU(Rectified Linear Unit)는 그라디언트가 사라지는 문제를 방지하고, 효율적인 그라디언트를 네트워크에 전파한다. 따라서 본 연구에서도 DNN의 활성화 함수로 ReLU를 사용한다. ReLU는 입력 값이 0보다 작으면 0을 출력하고, 입력 값이 0보다 크면 출력은 입력과 같다. 설계한 딥뉴럴네트워크 이진분류기의 경우, 출력단의 활성화 함수로 시그모이드를 사용하였고, 다중 클래스 분류기의 경우, 출력 레이어의 활성화 함수로 Softmax를 사용한다. Softmax 함수는 클래스에 대한 정규화 된 확률을 각각 반환한다. 식 (1)은 Softmax 함수를 보인다.

S o f t m a x ( X ) j = e X T W j k = 1 K e X T W j , j = 1 , 2 , ..... , K
(1)

X: Sample vector, W: Weight vector, K: possible outcomes.

2-2 Loss Function, Optimizer and Dropout

손실함수와 관련하여 교차 엔트로피(cross entropy는 평균 제곱 오차(mean squred error)보다 학습 속도가 빠르기 때문에 손실함수로 널리 사용한다. 최적화는 손실 함수를 최소화하는 방법을 학습함으로써 네트워크의 최적 변수를 찾는 과정이며, 본 연구에서는 최근 개발되어 널리 사용되고 있는 Adam 알고리즘을 최적화 도구로 사용한다. 오버피팅(overfitting)은 모델이 훈련 데이터세트(training dataset)에 과도하게 피팅(fitting)되어 시험 데이터세트(test dataset)에 대한 분류 정확도가 떨어지는 현상이다. 완전히 연결된 신경망(fully connected neural network)에서 무작위 추출을 통해 네트워크 연결을 제거하는 방법인 드롭아웃(dropout)을 적용하면, 오버피팅을 효과적으로 극복할 수 있다[13].

Ⅲ. The Micro-Doppler Signals

선택된 테스트 사이트에 도플러 레이다를 설치하고, 원시 데이터를 그림 2와 같이 수집했다. 사람 걸음으로 발생한 도플러 신호를 수집하기 위해 실험자는 레이다 감지 영역 내에서 자유로운 걸음으로 움직였다. 본 실험은 LED 등을 제어하는 것을 목적으로 하기 때문에 사람 움직임은 주로 걷기 및 빠른 걷기를 포함한다. 기어가기나 불규칙한 움직임과 같은 일상생활에서 보기 힘든 특이한 움직임은 제외하였다.

jkiees-29-7-550-g2
그림 2. | Fig. 2. 도플러 레이다를 통한 신호수집 | Data gathering by Doppler radar.
Download Original Figure

아울러 배경 잡음으로 인해 발생하는 도플러 신호를 수집하기 위해 잡음원들이 서로 섞이지 않도록 상호 환경 요소를 최대한 통제하며 신호를 수집하였다. 수집한 마이크로 도플러 신호는 다음의 8가지인 (a) ‘야외환경 (LOS)’, (b) ‘팬’, (c) ‘눈’, (d) ‘비’, (e) ‘사람의 걸음’, (f) ‘사람의 걸음과 팬’, (g) ‘사람의 걸음과 눈’, (h) ‘사람의 걸음과 비’를 포함한다. 그림 3은 수집한 신호의 원시데이터 파형을 보여준다. 그림 4는 수집한 신호를 STFT(Short Time Fourier Transform)로 처리한 결과를 보여준다. 본 논문에서는 512개의 주파수 도메인 데이터가 네트워크의 입력으로 사용된다.

jkiees-29-7-550-g3
그림 3. | Fig. 3. 수집한 8가지 신호의 파형 | The collected signals 8 cases.
Download Original Figure
jkiees-29-7-550-g4
그림 4. | Fig. 4. 수집한 8가지 신호의 주파수 스펙트럼 | The collected signals (8 cases).
Download Original Figure

원시 데이터 중 이상치를 제외한 후, 선택한 원시 데이터로부터 320,000개의 데이터 세트를 생성하였다. 특징 선택 및 생성 과정을 위해 필터링을 포함한 어떠한 전처리 과정을 사용하지 않았다. 생성된 데이터 세트는 160,000개의 배경 잡음 클래스 데이터와 160,000개의 사람 걸음 클래스 데이터가 있다. 배경잡음 클래스 데이터에는 (a) 40,000개의 ‘야외 환경’ 잡음 데이터, (b) 40,000개의 ‘팬’ 잡음 데이터, (c) 40,000개의 ‘눈’ 잡음 데이터 및 (d) 40,000개의 ‘비’ 잡음 데이터가 있다.

한편, 사람 걸음 클래스 데이터에는 (e) 40,000개의 사람 걸음 데이터, (f) 40,000개의 ‘사람걸음과 팬’ 데이터, (g) 40,000개의 ‘사람 걸음과 눈’ 데이터, (h) 40,000개의 ‘사람 걸음과 비’ 데이터가 있다. 이 중 훈련 데이터(training dataset)를 위해 무작위로 240,000개의 데이터가 선택하였으며, 8가지 경우의 데이터가 균등하게 포함되었다. 그리고 또한 40,000개의 데이터와 40,000개의 데이터를 무작위로 선택하여 테스트 세트(test dataset)와 교차 검증 세트(cross validation dataset)로 설정하였다. 마찬가지로 테스트 세트와 교차 검증 세트 역시 8가지 경우의 데이터가 균등하게 포함되었다.

Ⅳ. Design And Experiment

4-1 Binary Classifier (이진분류기)

본 논문에서 설계하는 딥뉴럴네트워크의 첫 번째 유형은 사람의 마이크로 도플러 신호 [e, f, g, h]와 배경 잡음의 마이크로 도플러 신호 [a, b, c, d]를 분류하는 이진 분류기이다. 그림 5는 성능 비교를 위한 목적으로 설계된 다층퍼셉트론을 이용한 이진분류기의 구조를 보여주며, 그림 6은 딥뉴럴네트워크를 이용한 이진분류기의 구조를 보여준다.

jkiees-29-7-550-g5
그림 5. | Fig. 5. 다층퍼셉트론(MLP)을 이용한 이진분류기 | Binary classifier using multi-layer perceptron.
Download Original Figure
jkiees-29-7-550-g6
그림 6. | Fig. 6. 딥뉴럴네트워크를 이용한 다중클래스 분류기 | Multi-class classifier using deep neural network.
Download Original Figure

설계한 다층계층퍼셉트론(MLP) 이진분류기는 5개의 레이어로 구성하였다. 첫 번째 입력층(input layer)은 512개의 노드를 가지며, 세 개의 은닉층(hidden layer)은 각각 64개의 노드를 갖고, 마지막 출력층(output layer)은 1개의 노드를 갖는다. 은닉층 및 출력층의 활성화 함수는 시그모이드(Sigmoid) 함수를 사용하였다.

한편, 설계한 딥뉴럴네트워크 이진분류기는 8개의 레이어를 갖는다. 입력층은 512개의 입력 노드를 갖는다. 은닉층은 총 6개의 층으로 구성하며, 각 층은 64개의 노드와 ReLU로 구성한다. 출력층은 하나의 노드와 Sigmoid 활성화 함수를 갖는다.

jkiees-29-7-550-g7
그림 7. | Fig. 7. 다층퍼셉트론의 이진분류기 ROC, precision & recall | ROC, precision & recall of MLP binary classifier.
Download Original Figure

레이어 수 및 노드 수가 과도하게 증가하면 오히려 분류기의 성능이 저하되는 경향이 있다. 우리는 반복적인 실험을 통해 상기 제안된 네트워크 구조를 최적으로 선택했다. 지나치게 학습 데이터에 과적합되는 것을 방지하기 위해 학습은 조기 종료(early stopping)를 적용했다. 아울러 성급한 조기 종료에 따르는 언더피팅을 막기 위해 조기 종료의 patience 기능을 사용했으며, patience는 검증세트에 대한 정확도가 개선이 없을 경우 바로 학습을 종료하는 것이 아니라, 일정 에포크(epoch) 시간 동안에 기다리는 방법이다.

다층퍼셉트론(MLP)으로 분류 처리한 결과, 훈련세트에 대한 분류 정확도는 91.6 %, 검증세트에 대한 분류 정확도는 90.7 %, 테스트 세트에 대한 분류 정확도는 90.3 %로 측정되었다. Receiver Operating Characteristic(ROC)에서의 AUC(Area Under and ROC curve)는 0.979, Precision-Recall Graph에서 AP(Average Precision)는 0.960으로 측정되었다.

jkiees-29-7-550-g8
그림 8. | Fig. 8. DNN 이진분류기 ROC, precision & recall | ROC, precision & recall of DNN binary classifier.
Download Original Figure

한편, 딥뉴럴네트워크(DNN)으로 분류 처리한 결과, 훈련세트에 대한 분류 정확도는 97.7 %, 검증세트에 대한 분류 정확도는 97.5 %, 테스트 세트에 대한 분류 정확도는 97.3 %로 측정되었다. ROC에서의 AUC은 0.996, Precision-Recall Graph에서 AP는 0.995로 측정되었다.

4-2 Multi-Class Classifier(다중 분류기)

설계한 분류기의 두 번째 유형은 사람의 걸음을 인식할 뿐만 아니라, 배경 잡음원의 상황을 인식하기 위한 다중 클래스 분류기이다. 4개의 히든 레이어를 갖는 Sigmoid 기반 MLP의 경우, 테스트 세트에 대한 분류 정확도 성능이 약 84.2 %이었다. 히든 레이어 수를 5개로 늘릴 경우, 분류정확도가 약 86.1 % 수준으로 향상된다. 한편, 히든 레이어 수를 6개 이상으로 늘려 설계하면 오히려 성능이 감소하는 경향이 있다. 본 논문에서는 5개의 히든 레이어를 갖는 MPL 구조를 최적으로 선택하며, 이를 DNN (Sigmoid)로 지칭한다. 이를 그림 9에 보인다. 한편, 본 논문에서 제안하는 ReLU 기반의 DNN(ReLU)의 최적화된 구조를 그림 10에 보인다.

jkiees-29-7-550-g9
그림 9. | Fig. 9. DNN(Sigmoid) 기반의 다중클래스 분류기 구조 | Multi-class classifier using DNN(Sigmoid).
Download Original Figure
jkiees-29-7-550-g10
그림 10. | Fig. 10. DNN(ReLU) 기반의 다중클래스 분류기 구조 | Multi-class classifier using DNN(ReLU).
Download Original Figure

DNN(Sigmoid) 다중클래스의 성능은 훈련세트에 대한 분류정확도가 87.2 %, 검증세트에 대한 분류정확도는 86.4 %, 테스트세트에 대한 분류정확도는 86.1 %로 측정되었다. 한편, ReLU 기반 DNN 다중클래스 분류기의 경우, 훈련세트에 대한 분류정확도가 96.5 %, 검증세트에 대한 분류정확도는 96.3 %, 테스트세트에 대한 분류정확도는 96.1 %로 측정되었다.

표 1은 DNN(Sigmoid) 다중클래스 분류기의 Confusion Matrix를 보이며, 표 2는 DNN(ReLU) 다중 클래스 분류기의 Confusion Matrix를 보인다. 이 표의 대각선 값은 테스트세트에 대한 개별 클래스의 분류 정확도를 나타내며, 표의 값은 소수점 둘째 자리에서 반올림되었다.

표 1. | Table 1. Sigmoid 기반 DNN 다중 클래스 분류기의 confusion matrix | Normalized confusion matrix of multi-class classifier using deep neural network with Sigmoid activation function.
Estimated class (Unit : %)
Actual class (a) (b) (c) (d) (e) (f) (g) (h)
(a) 89.2 0.1 4.8 0.2 3.5 0.1 2.2 0.0
(b) 0.0 91.9 0.0 0.0 0.1 8.0 0.0 0.0
(c) 0.7 0.0 93.7 2.5 0.2 0.0 2.8 0.1
(d) 0.1 0.0 1.8 79.6 0.7 0.0 1.5 16.4
(e) 2.5 0.1 5.7 2.0 79.0 0.5 9.6 0.6
(f) 0.0 5.7 0.1 0.1 0.7 92.5 0.1 0.8
(g) 0.8 0.0 5.9 3.5 6.7 0.2 82.9 0.1
(h) 0.0 0.0 0.6 17.1 1.3 0.1 0.2 80.6
Download Excel Table
표 2. | Table 2. ReLU 기반 DNN 다중 클래스 분류기의 confusion matrix | Normalized confusion matrix of multi-class classifier using deep neural network with ReLU activation function.
Estimated class (Unit : %)
Actual class (a) (b) (c) (d) (e) (f) (g) (h)
(a) 96.2 0.2 1.6 0.2 1.1 0.2 0.5 0.0
(b) 0.1 98.0 0.0 0.0 0.0 1.9 0.0 0.0
(c) 1.8 0.0 97.7 0.1 0.2 0.0 0.2 0.0
(d) 1.1 0.0 1.2 93.3 0.7 0.1 0.2 3.5
(e) 0.7 0.0 0.3 0.0 93.5 0.3 4.8 0.3
(f) 0.0 1.3 0.0 0.0 0.2 98.0 0.3 0.0
(g) 0.2 0.0 0.1 0.0 1.8 0.1 97.6 0.1
(h) 0.0 0.0 0.2 1.0 2.5 0.1 1.6 94.6
Download Excel Table

표 1의 결과에 따르면, DNN(Sigmoid) 다중분류기의 경우, 대부분의 클래스를 비교적 양호한 수준으로 분류 처리했다. 그러나 (a) 야외환경(LOS)의 경우 약 3.5 %를 (e) 사람, 2.2 %를 (g)로 분류했고, (b) 팬의 경우 약 8.0 %를 (f) 사람+팬으로 분류했다. 또한, (c) 눈의 경우 약 2.8 %를 (g) 사람+눈으로 분류했고, (d)의 경우 약 16.4 %를 (h) 사람+비로 분류했다. 이 값은 표 1에 붉은 글씨로 표시되었으며, 사람이 없음에도 불구하고 사람이 있다고 추정한 것으로, 시스템에 신뢰성에 악 영향을 미치는 값이다. 한편, (e) 사람의 경우 약 2.5 %를 (a) 야외환경(LOS), 약 5.7 %를 (c) 눈으로 분류했고, (f) 사람+팬의 경우 약 5.7 %를 (b) 팬으로 분류했고, (g) 사람+눈의 경우 약 5.9 %를 (c) 눈, 약 3.5 %를 (d) 비로 분류했으며, (h) 사람+비의 경우 약 17.2 %를 (d) 비로 분류했다. 이 값은 표 1에 파란 글씨로 표시되었으며, 사람이 존재함에도 불구하고, 없다고 추정한 것이지만, 일반적으로 시스템의 신뢰성에 상대적으로 적은 영향을 미치는 요소로 여겨질 수 있다.

표 2의 결과에 따르면, DNN(ReLU)의 경우 대부분의 클래스를 상당히 우수한 수준으로 분류처리를 수행했다. 이는 앞서 이진분류기처럼 다중클래스 분류처리 문제에 있어서도 ReLU 기반 딥뉴럴네트워크가 우수한 성능을 발휘하는 것을 보여준다. 에러가 발생된 부분 중 시스템에 악 영향을 미치는 값들을 살펴보면 다음과 같다. (a) 야외 환경(LOS)의 경우 약 1.1 %를 (e) 사람으로 분류했고, (b)의 경우 약 1.9 %를 (f) 사람+팬으로 분류했으며, (d)의 경우 약 3.5 %를 (h) 사람 + 비의 경우로 분류처리했다.

Ⅴ. 결 론

본 논문에서는 딥뉴럴네트워크를 이용해 사람 걸음 및 배경잡음에 의해 발생한 마이크로 도플러 신호를 분류하는 연구를 제안했다. 기존의 도플러 신호의 분류처리 연구는 경험 및 통계적인 방법을 통해 분류기 분류 성능에 직접적으로 영향을 미치는 의미있는 특징을 찾는 과정이 필수적이었다. 이 과정은 개발자에게 시간 및 비용적인 부담을 주는 복잡하고 까다로운 과정이었으며, 때로는 전처리 과정으로 인해 연산량이나 프로세싱 시간이 증가되는 단점이 있다.

그러나 딥뉴럴네트워크의 경우, 네트워크상의 하위 레이어는 상위 계층으로부터 정보를 수신하며, 단계적으로 계층을 통과하는 과정에서 점진적으로 특징을 재구성하고 생성한다. 따라서 경험에 의존한 특징 추출 방식과는 달리, 다수의 레이어 층과 노드를 가진 딥뉴럴네트워크는 별도의 특징추출 과정 없이, 복잡한 신호의 최적 특징 추출 모델을 네트워크 내에서 자연스럽게 생성하는 이점을 갖는다.

이런 딥뉴럴네트워크의 효과성을 입증하기 위해, 본 논문에서는 이진분류기와 다층클래스 분류기를 설계하여 비교 분석하였다. 이진분류기의 경우, 3개의 히든 레이어를 사용하는 Sigmoid 기반 MLP와 6개의 히든 레이어를 사용하는 ReLU 기반의 DNN을 설계하고 비교 분석하였다. 분석결과, MLP의 테스트 세트에 대한 분류 정확도는 90.3 %, DNN의 테스트 세트에 대한 분류 정확도는 97.3 %로 측정되었다. 한편, 다층분류기의 경우, 5개의 히든 레이어를 갖는 DNN(Sigmoid)와 7개의 히든 레이어를 갖는 DNN(ReLU)를 설계하고 비교 분석하였다. 분석결과, DNN(Sigmoid)의 테스트 세트에 대한 분류 정확도는 86.1 %, DNN(ReLU)의 테스트 세트에 대한 분류 정확도는 96.1 %로 측정되었다. 이는 이진분류기나 다층분류기 문제에 있어서 ReLU 기반의 DNN이 더 우수한 성능을 가짐을 보여준다.

물론 결과는 제한된 환경 조건에서 얻어진 데이터 세트를 기반으로 하기에, 더 일반화된 결과를 얻기 위해서는 다양한 장소 및 상황에 대한 추가 실험을 요구한다. 그럼에도 불구하고, 본 결과는 레이다의 마이크로 도플러 신호 인식과 관련된 문제에 있어 설계된 딥뉴럴네트워트가 기존 방식과 달리, 특징 추출을 요구하지 않으면서도 높은 수준의 분류 정확도를 보여주는 효과적인 방법임을 증명한다. 추가 실험을 통해 확보한 데이터를 실험에 추가한다고 하더라도, 딥뉴럴네트워크의 효과성은 유지될 것으로 확신한다.

향후 연구와 관련하여 언급하면, 레이다 도플러 신호 인식과 관련된 연구의 가장 큰 어려움은 데이터세트를 확보하는 부분에 있다. 따라서 향후 연구는 실제 확보한 데이터로부터 가상의 데이터를 생성하는 연구 등에 초점을 맞출 필요가 있다.

Acknowledgements

본 연구는 과학기술정보통신부 및 정보통신기술진흥센터의 정보통신․방송 연구개발 사업의 일환으로 수행하였음. (2017-0-00306)

References

[1].

R. C. Browning, E. A., Baker, J. A. Herron, and R. Kram, “Effects of obesity and sex on the energetic cost and preferred speed of walking,” Journal of Applied Physiology, vol. 100, no. 2, pp. 390-398, 2006.
,

[2].

Y. Kim, S. Ha, and J. Kwon, “Human detection using Doppler radar based on physical characteristics of targets,” IEEE Geoscience and Remote Sensing Letters, vol. 12, no. 2, pp. 289-293, Feb. 2015.

[3].

Y. Kim, H. Ling, “Human activity classification based on micro-Doppler signatures using an artificial neural network,” in 2008 IEEE Antennas and Propagation Society International Symposium, 2008.

[4].

P. Van Dorp, F. C. A. Groen, “Feature-based human motion parameter estimation with radar,” IET Radar, Sonar & Navigation, vol. 2 no. 2, pp. 135-145, 2008.

[5].

J. Kwon, N. Kwak, “Human detection by neural networks using a low-cost short-range Doppler radar sensor,” in 2017 IEEE Radar Conference, Seattle, WA, May 2017, pp. 755-760.

[6].

Y. Kim, T. Moon, “Human detection and activity classification based on micro-Doppler signatures using deep convolutional neural networks,” IEEE Geoscience and Remote Sensing Letters, vol. 13, no. 1, pp. 8-12, Jan. 2016.

[7].

J. Li, S. L. Phung, F. H. C. Tivive, and A. Bouzerdoum, “Automatic classification of human motions using Doppler radar,” in the 2012 International Joint Conference on Neural Networks, 2012.

[8].

P. Van Dorp, F. C. A. Groen, “Feature-based human motion parameter estimation with radar,” IET Radar, Sonar and Navigation, vol. 2, no. 2, pp. 135-145, 2008.

[9].

V. C. Chen, “Doppler signatures of radar backscattering from objects with micro-motions,” IET Signal Processing, vol. 2, no. 3 pp. 291-300, 2008.

[10].

T. Thayaparan, S. Abrol, E. Riseborough, L. J. Stankovic, D. Lamothe, and G. Duff, “Analysis of radar micro-Doppler signatures from experimental helicopter and human data,” IET Radar, Sonar & Navigation, vol. 1, no. 4, pp. 289-299, 2007.

[11].

J. Ding, B. Chen, H. Liu, and M. Huang, “Convolutional neural network with data augmentation for SAR target recognition,” IEEE Geoscience and Remote Sensing Letters, vol. 13, no. 3, pp. 364-368, 2016.

[12].

H. Sak, A. Senior, and F. Beaufays, “Long short-term memory recurrent neural network architectures for large scale acoustic modeling,” in Fifteenth Annual Conference of the International Speech Communication Association, 2014.

[13].

Y. Gal, Z. Ghahramani, “Dropout as a Bayesian approximation: Representing model uncertainty in deep learning,” in International Conference on Machine Learning, 2016, pp. 1050-1059.

Author Information

권 지 훈

jkiees-29-7-550-i1

  • 2005년 3월: 광주과학기술원 기전공학과 (공학석사)

  • 2007년 1월~현재: 한화시스템 레이다연구소 전문연구원

  • 2015년 3월~현재: 서울대학교 융합과학기술대학원 박사과정 (한화시스템 학술연수 과정)

  • [주 관심분야] 레이다시스템, 레이다신호처리, 레이다머신러닝, 인지형레이다, 레이다 추적필터, 초고주파공학 응용

하 성 재

jkiees-29-7-550-i2

  • 2001년: 광운대학교 전파공학과 (공학석사)

  • 2006년: 광운대학교 전파공학과 (공학박사)

  • 2006년~2009년: 삼성탈레스 전문연구원

  • 2010년~2011년: VMASC(미국) 초빙연구원

  • 2011년~2014년: ㈜엘아이씨티 기술이사

  • 2014년~현재: 한국폴리텍대학 정보통신시스템 조교수

  • [주 관심분야] 레이다 시스템, M/W 고출력

곽 노 준

jkiees-29-7-550-i3

  • 1997년: 서울대학교 전기컴퓨터공학부 (공학사)

  • 1999년: 서울대학교 전기컴퓨터공학부 (공학석사)

  • 2003년: 서울대학교 전기컴퓨터공학부 (공학박사)

  • 2006년 9월~2007년 2월: 서울대학교 정보기술사업단 BK조교수

  • 2007년 3월~2013년 8월: 아주대학교 전자공학부 조/부교수

  • 2013년 9월~현재: 서울대학교 융합과학기술대학원 부교수

  • [주 관심분야] 패턴인식, 머신러닝, 컴퓨터비전