The Journal of Korean Institute of Electromagnetic Engineering and Science
The Korean Institute of Electromagnetic Engineering and Science
논문/REGULAR PAPERS

LDA 기반 분산 레이다 시스템을 활용한 손동작 분류 알고리즘 개발 및 성능 분석

홍용기1,https://orcid.org/0000-0003-3557-6088, 변성철1https://orcid.org/0000-0002-1655-9103, 노재현1https://orcid.org/0000-0001-5810-5364, 강현진1https://orcid.org/0000-0003-1770-2634, 김재윤1https://orcid.org/0000-0002-4692-8467
Yong-Gi Hong1,https://orcid.org/0000-0003-3557-6088, Sungchul Byun1https://orcid.org/0000-0002-1655-9103, Jaehyun Ro1https://orcid.org/0000-0001-5810-5364, Hyun-jin Kang1https://orcid.org/0000-0003-1770-2634, Jae-Yoon Kim1https://orcid.org/0000-0002-4692-8467
1LIG넥스원(주)
1Lig Nex1 Co., Ltd.
Corresponding Author: Yong-Gi Hong (e-mail: yonggi.hong@lignex1.com)

© Copyright 2022 The Korean Institute of Electromagnetic Engineering and Science. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Sep 30, 2022; Revised: Nov 01, 2022; Accepted: Dec 05, 2022

Published Online: Dec 31, 2022

요약

본 논문은 무선 채널을 통해 중앙 데이터 집합센터에서 데이터를 공유하는 분산 레이다 시스템을 위한 선형 판별 분석(linear discriminant analysis, LDA) 기반 분류 알고리즘을 제안한다. 분산 배치된 레이다는 자원이 한정된 무선 백홀 링크를 통해 높은 차원의 마이크로 도플러 특징(micro-Doppler signature, MDS) 데이터를 공유하는 대신 LDA를 적용하여 차원을 감소시킨다. 차원 축소된 MDS 데이터는 복소수값을 갖는 벡터이므로, 양자화 오류를 감소시키기 위해 softmax 처리 과정을 통해 실수값인 확률로 표현한다. 합이 1인 확률 벡터는 피라미드 양자화(pyramid vector quantization, PVQ)를 거쳐 효율적으로 중앙 데이터 집합센터로 전송된다. 중앙 데이터 집합센터에서는 분류 성능을 향상시키기 위해 분산 레이다의 분리도(separability, Sep.)에 따라 비트 자원을 적응적으로 할당한다. 제안하는 알고리즘은 MNIST(modified national institute of standards and technology database) 데이터 및 USRP(universal software radio peripheral) 기반 테스트 베드로부터 수집한 손동작 데이터를 활용하여 성능을 평가하였다.

Abstract

In this study, we propose a linear discriminant analysis (LDA)-based classification algorithm for distributed radars that share their data at a data fusion center over wireless channels. Instead of sharing high-dimensional micro-Doppler signature (MDS) data over the resource-limited backhaul, each radar applies the LDA algorithm to reduce the dimension of the data. Because the dimension-reduced MDS data is a vector with complex values, it is expressed as a real-valued probability vector using the softmax processing method to reduce the quantization error. A probability vector with a sum of 1 is transmitted to the fusion center via a pyramid vector quantization (PVQ) scheme. To improve the classification performance at the fusion center, bit resources were adaptively allocated based on the separability of the distributed radars. The proposed algorithm was assessed using MNIST(modified national institute of standards and technology database) data as well as hand gesture data measured using a USRP(universal software radio peripheral)-based test bed.

Keywords: Linear Discriminant Analysis; Micro-Doppler Signature; Pyramid Vector Quantization; Softmax; Separability

I. 서 론

최근 사람의 움직임을 인식하는 분야는 높은 잠재성으로 많은 관심을 받고 있다[1],[2]. 특히 마이크로 도플러(micro-Doppler: MD) 레이다는 저비용으로 미세한 손동작을 감지할 수 있어 여러 응용 분야에 활용되고 있다[3]. 손동작 같은 사람의 움직임은 레이다의 수신 신호에 미세한 주파수 변화를 일으키며, 마이크로 도플러 특징(micro-Doppler signature: MDS)으로 알려진 이러한 변화는 동작에 따라 다르게 나타나기 때문에 인식에 활용 가능하다. MDS는 목표물의 불안정한 산란지점으로부터 발생하며, 레이다가 목표물을 바라보는 각도에 의해 결정되는데, 이는 레이다의 LoS(line-of-sight)에 깊게 의존하는 것을 의미한다. 이를 극복하기 위해 참고문헌 [4]에서는 다수의 레이다를 활용하여 다양한 각도에서 MDS 데이터를 수집하여 동작 인식에 활용하고자 하였다. 그러나 capacity가 무한한 이상적인 유선 채널을 통해 데이터를 공유하는 환경을 가정하였으며, 이는 분산 레이다 시스템 배치의 유연성을 저해한다.

본 논문에서 다양한 방향에서 손동작 MDS 데이터를 수집하기 위해 무선 백홀 링크로 연결된 분산 레이다 시스템을 고려한다. 분산 배치된 레이다는 capacity가 유한한 무선 백홀 링크로 높은 차원의 MDS 데이터를 공유하는 대신 선형 판별 분석(linear discriminant analysis: LDA) 알고리즘을 활용하여 차원을 감소시킨다. 반면, 차원 축소된 MDS 데이터는 복소수값을 갖는 벡터이며, 이를 전처리 과정 없이 양자화하여 중앙 데이터 집합센터로 전송하는 경우 상당한 왜곡을 야기한다. 본 논문은 해당 문제를 극복하기 위해 각 레이다에서 모든 손동작 클래스 대표값과의 거리값을 softmax 처리 과정을 통해 표현한 확률 벡터를 전송하는 방식을 제안한다. 또한, 해당 데이터를 유한개의 비트를 수용하는 무선 채널을 통해 전송하기 위해 합이 1인 전송 벡터에 대해 정규화한 피라미드 양자화(pyramid vector quantization: PVQ)를 적용한다.

본 논문에서는 중앙 데이터 집합센터에서 분류 성능을 향상시키기 위하여 무선 백홀 링크의 자원을 각 레이다의 분리도(separability: Sep.)에 따라 적응적으로 할당하였다. 특히 분리도가 높은 레이다에 더 많은 비트를 할당하여 동작 인식 성능을 개선하였다.

본 논문에서는 MNIST 손글씨 데이터 셋을 활용한 모의실험을 통해 제안하는 분류 방식의 성능을 평가하였다. 또한, USRP 기반 테스트 베드[5]를 구축하여 서로 다른 세 가지 손동작에 대한 데이터 파일을 수집하였으며, 실측 데이터를 기반으로 분류 성능을 확인하였다.

이 논문의 Ⅱ장에서는 제안하는 분산 레이다 시스템 모델을 소개한다. Ⅲ장에서는 분산 배치된 레이다에서 GSVD (generalised singular value decomposition) 기반의 LDA 알고리즘을 활용하여 차원이 감소된 MDS를 얻는 기법을 설명한다. Ⅳ장에서는 중앙 데이터 집합센터에서 분산 레이다의 정보를 효율적으로 공유하여 동작을 인식하는 방법을 소개한다. Ⅴ장에서는 MNIST 데이터를 활용한 모의실험 결과를 확인하고 Ⅵ장에서는 실제 손동작 데이터를 활용한 실험 결과를 나타낸다. 마지막으로 Ⅶ장에서는 결론을 맺는다.

II. 시스템 모델

본 논문에서는 그림 1과 같이 수집한 데이터를 무선 백홀을 통해 전송하는 분산 레이다 시스템을 고려한다. L개의 레이다는 서로 다른 중심 주파수 fc(l)의 CW 파형 (l=1, …, L)을 송신한다. 각각의 레이다는 공간적으로 분리되어 있으므로 같은 목표물의 동작에 대해 서로 다른 MDS를 갖는 반사 신호를 수신한다. 목표물이 취하는 D개의 서로 다른 동작을 구분하는 상황을 고려한다면, i번째 동작(i=1, …, D)에 대하여 l번째 레이다에서 수신한 이산신호는 다음과 같이 나타낼 수 있다.

jkiees-33-12-948-g1
그림 1. | Fig. 1. L개의 레이다로 구성된 분산 레이다 시스템 | Model of distributed radar system.
Download Original Figure
y i ( l ) [ n ] = h i ( l ) e ( j 2 π ( f c ( l ) + Δ f i ( l ) ( n T s ) ) ( n T s τ i ( l ) ) ) + v ( l ) [ n ] .
(1)

여기서 hi(l)는 채널이득이며, Tsn=0, …, N-1에 대하여 샘플링 주기를 나타낸다. τi(l)l번째 레이다와 목표물 간의 거리에 의한 시간 지연이며, Δfi(l)i번째 동작에 의해 발생하는 도플러 효과이다. 참고로 v(l) [n]은 평균이 0이고, 분산이 σn2인 AWGN(additive white Gaussian noise)을 나타낸다.

일반적으로 MDS는 시간에 대한 함수이므로 STFT (short-time Fourier transform)를 활용하면 시간-주파수 영역에서 명확하게 관측할 수 있다[6]. 길이가 N인 임의의 이산 신호 s[n]에 대한 STFT는 식 (2)로 표현된다.

S [ n , k ] = S T F T ( s [ n ] , n = 0 , , N M ) = m = 0 M 1 s ( m + O n ) w ( m ) e j 2 π k M m .
(2)

여기서 w(m)은 길이가 M인 윈도우 함수를 나타내며, O는 윈도우 길이에서 오버랩 사이즈를 뺀 값이다. 식 (1)의 레이다가 수신한 이산신호 yi(l)[n]에 STFT를 적용한 결과는 식 (3)과 같다.

Y i ( l ) [ n , k ] = S T F T ( y i ( l ) [ n ] , n = 0 , , N M ) = h i ( l ) S T F T ( f i ( l ) [ n ] , n = 0 , , N M ) + S T F T ( v ( l ) [ n ] , n = 0 , , N M ) = h i ( l ) F i ( l ) [ n , k ] + N ( l ) [ n , k ] .
(3)

여기서 fi(l)[n]식 (1)e(j2π(fc(j)+Δfi(i)(nTs))(nTsτi(j)))이다. 식 (3)Fi(l)[n,k]l번째 레이다에서 i번째 동작을 관측하였을 때 채널이득을 제외한 MDS이며, N(l) [n,k]는 AWGN을 STFT한 결과이다. nk에 대한 MDS를 분석하기 위해 Yi(l)[n,k]을 벡터화시키면 식 (4)와 같이 주어진다.

Y ¯ i ( l ) = [ Y i ( l ) [ 0 , 0 ] Y ¯ i ( l ) [ 0 , 1 ] Y i ( l ) [ 0 , M 1 ] Y i ( l ) [ O , 0 ] Y i ( l ) [ N M , M 2 ] Y i ( l ) [ N M , M 1 ] ] C ( N M ) O M × 1 .
(4)

식 (3)Fi(l)[n,k]N(l) [n,k] 또한 유사한 방법으로 F¯ij(l)N¯ij(l)로 벡터화시킬 수 있으므로 식 (5)와 같이 표현할 수 있다.

Y ¯ i ( l ) = h i ( l ) F ¯ i j ( l ) + N ¯ i j ( l ) .
(5)

본 논문에서는 분산 배치된 레이다에서 신호 처리한 데이터를 최대 Nt 비트 용량을 전송할 수 있는 무선 백홀 링크를 통해 중앙 데이터 집합센터로 전달하는 환경을 고려한다. 이는 즉 l번째 레이다가 오류 없이 정보를 전송하기 위해 사용할 수 있는 비트 수가 Nl일 때, 항상 아래 조건을 만족해야 하는 것을 의미한다.

l = 1 , , L N l N t
(6)

III. GSVD 기반 LDA를 활용한 데이터 차원 축소 기법

식 (4)와 같이 높은 차원의 MDS 데이터는 무선 백홀 링크를 통해 중앙 데이터 집합센터로 전송하기에 적합하지 않다. 이번 장에서는 선형 판별 분석(linear discriminant analysis: LDA) 알고리즘을 활용하여 MDS 데이터의 차원을 낮추는 방법을 소개한다. LDA는 높은 차원의 데이터를 효과적으로 분류하기 위해 사용하는 방법으로, 주어진 데이터셋을 활용하여 선형 변환 행렬 G를 계산한다.

여기서 GC(NM)OM×MD 를 활용하면 데이터를 낮은 차원(MD)으로 축소시킴과 동시에 구분하고자 하는 클래스 간의 분리도를 최대화할 수 있다.

우선 G를 계산하기 위해 l번째 레이다에서 각 손동작에 대한 MDS 데이터셋을 수집한다. 식 (4)로부터 Y¯ij(l)i번째 손동작의 MDS를 나타내는 데이터셋 중 j번째 데이터라고 하면 수집한 전체 데이터셋은 식 (7)과 같다.

A ( 1 ) = [ A 1 ( 1 ) , A 2 ( 1 ) , , A D ( 1 ) ] R ( N M ) O M × D N s .
(7)

여기서 Ai(1)=[Y¯i1(1),Y¯i2(1),,Y¯iN(1)]이며, Ns는 손동작마다 데이터 개수를 의미한다. 수집한 데이터셋을 활용하면 3가지 산란행렬을 계산할 수 있다[7].

S w ( 1 ) = i = 1 D j = 1 N s ( Y ¯ ij ( 1 ) m ¯ i ( 1 ) ) ( Y ¯ ij ( 1 ) m ¯ i ( l ) ) H ,
(8)
S b ( 1 ) = i = 1 D N s ( m ¯ i ( 1 ) m ¯ t ( 1 ) ) ( m ¯ i ( 1 ) m ¯ t ( 1 ) ) H ,
(9)
S t ( 1 ) = i = 1 D j = 1 N s ( Y ¯ ij ( 1 ) m ¯ t ( 1 ) ) ( Y ¯ ij ( 1 ) m ¯ t ( 1 ) ) H .
(10)

식 (8)식 (10)은 각각 클래스 내 산란행렬, 클래스 간 산란행렬 그리고 전체 데이터 산란행렬이라고 하며, m¯i(l)i번째 클래스 데이터들의 평균을 의미한다.

m ¯ i ( l ) = 1 N s j = 1 N s Y ¯ i j ( l )
(11)

또한 수집한 전체 데이터셋의 평균 m¯t(l)식 (12)와 같이 표현된다.

m ¯ t ( l ) = 1 D N s i = 1 D j = 1 N s Y ¯ i j ( l ) = 1 D i = 1 D m ¯ i ( l )
(12)

여기서 클래스 내 산란행렬 Sw(l)의 trace(대각 행렬의 합)는 동일한 손동작 클래스 내의 데이터 간 분산을 의미한다. 반면, 클래스 간 산란행렬 Sb(l)의 trace는 클래스 평균 벡터 m¯i(l)들과 전체 데이터의 평균 벡터 m¯t(l)의 분산이며, 이는 데이터 클래스 간의 거리를 나타낸다.

일반적으로 l번째 레이다에서 수신한 임의의 손동작 신호를 STFT한 결과, Y¯test (l)는 각 클래스를 대표하는 평균 벡터 m¯i(l)들과 비교하여 가장 차이가 작은 클래스로 쉽게 분류할 수 있다.

i ^ = argmin i Y ¯ test  ( l ) m ¯ i ( l ) 2 2
(13)

반면, Y¯test (l)와 같이 높은 차원의 벡터는 높은 계산 복잡도를 요구하므로 다루기 어렵다.

만약 G가 존재한다면 낮춰진 차원의 손동작 데이터인 Y˜ij(l)=GHY¯ij(l)CMD×1에 대해 3가지 산란행렬을 식 (14)식 (16)과 같이 표현할 수 있다.

S ˜ w ( 1 ) = i = 1 D j = 1 N s ( G H Y ¯ i j ( l ) G H m ¯ i ( l ) ) ( G H Y ¯ i j ( l ) G H m ¯ i ( l ) ) H = G H S w ( 1 ) G ,
(14)
S ˜ b ( 1 ) = i = 1 D N s ( G H m ¯ i ( l ) G H m ¯ t ( l ) ) ( G H m ¯ i ( l ) G H m ¯ t ( l ) ) H = G H S b ( 1 ) G ,
(15)
S ˜ t ( 1 ) = i = 1 D j = 1 N s ( G H Y ¯ i j ( l ) G H m ¯ t ( l ) ) ( G H Y ¯ i j ( l ) G H m ¯ t ( l ) ) H = G H S t ( 1 ) G .
(16)

낮춰진 차원에서 손동작 분류 성능을 유지하기 위해서는 Sw(1)의 trace를 최소화하며 Sb(1)의 trace를 최대화하는 선형 변환 행렬 G를 찾는 것이 바람직하다. 따라서 l번째 레이다에서 최적의 선형 변환 행렬 G는 다음 비용함수를 통해 얻어진다.

G ^ ( l ) = arg max G J ( l ) ( G ) , J ( l ) ( G ) = t r a c e ( G H S b ( 1 ) G ) t r a c e ( G H S w ( 1 ) G ) .
(17)

식 (5)로부터 식 (8)의 클래스 내 산란행렬은 대칭행렬의 특성을 활용하여 식 (18)과 같이 표현할 수 있다.

S w ( 1 ) = i=1 D j = 1 N s ( α i ( 1 ) F ¯ ij ( 1 ) + N ¯ ij ( 1 ) m ¯ i ( 1 ) ) ( α i ( 1 ) F ¯ ij ( 1 ) + N ¯ ij ( 1 ) m ¯ i ( 1 ) ) H = | α i ( l ) | 2 S w ( 1 ) + σ n 2 I M N .
(18)

여기서 Sw(1)는 AWGN과 채널 이득을 제외한 손동작 데이터에 대한 클래스 내 산란행렬이다. 마찬가지로 클래스 간 산란행렬 또한 식 (19)과 같이 얻어진다.

S b ( 1 ) = | α i ( 1 ) | 2   S b ( 1 )
(19)

따라서 식 (17)에서 최적의 선형 변환 행렬을 식 (20)과 같이 나타낼 수 있다.

G ^ ( l ) = argmax G t r a c e ( G H S b ( 1 ) G ) t r a c e ( G H ( S w ( 1 ) + σ n 2 / | α i ( 1 ) | 2 I M N ) G ) .
(20)

즉, G^(l)는 행렬 쌍(Sb(1),Sw(1)+σn2/|αi(1)|2IMN)의 고유값 MD개에 대한 고유벡터들로 얻어진다. 여기서 비용함수 J(l)(G^(l))는 분리도를 나타내며, 이 값이 클수록 l번째 레이다에서 차원 축소된 손동작 클래스 간 구분이 더 잘 이루어지는 것을 의미한다. 또한 분리도 값이 σn2/|αi(l)|2에 영향을 받으므로, 각 레이다의 SNR이 손동작 분류 성능을 결정하는 것을 알 수 있다.

아래의 알고리즘은 최적의 선형 변환 행렬을 효과적으로 구하기 위한 GSVD 알고리즘[8]을 손동작 인식 레이다에 적용한 것이다.

GSVD-based LDA algorithm for hand gesture recognition
1

From (7) ∼ (9) set Hb and Hw as follows.

H b = N s [ m ¯ 1 ( 1 ) m ¯ t ( l ) , , m ¯ D ( l ) m ¯ t ( l ) ] ,
(21)
H w = [ A 1 ( 1 ) m ¯ 1 ( 1 ) 1 ¯ N s T , , A D ( 1 ) m ¯ D ( 1 ) 1 ¯ N s T ] .
(22)

Here, 1¯Ns is the 1-vector of size Ns. Note that Sb(l) =HbHbH and Sw(l)=HwHwH are satisfied.

2

Compute the SVD(singular value decomposition) of matrix Z which is composed of (Hb,Hw).

Z = [ H b H H b H ] C D ( N s + 1 ) × M ( N M ) ,
(23)
Z = P [ Λ 0 0 0 ] U H .
(24)

Here, Λ is a diagonal matrix with effective rank s, PCD(Ns+1)×D(Ns+1) and UCM(NM)×M(NM) are orthogonal matrices.

3

Partition the matrix P as

P = [ P 11 P 12 P 21 P 22 ] ,
(25)

where P11C(D×s), P12CD×(D(Ns+1)s), P21CDNs×s, and P22CDNs×(D(Ns+1)s) are submatrices.

Compute the orthogonal matrix V from the SVD of P11.

P 11 = W V H .
(26)
4

Compute X as

X = U [ Λ 1   V 0 0   V ] .
(27)

Then set transformation matrix G¯(l) as

G ¯ ( l ) = [ [ X ] 1 , [ X ] 2 , , [ X ] M D ] C M ( N M ) × M D ,
(28)

where [X]i is ith column of matrix X.

Download Excel Table

G¯(l)식 (28)로부터 얻어지고 나면 식 (13)의 MDS 데이터 Y¯test (l)를 낮은 차원으로 변환시킬 수 있다. 이후 낮춰진 차원에서 i번째 손동작 클래스를 대표하는 벡터 m¯i(l)=G¯(l)Hm¯i(1)와의 거리를 구하면 식 (29)와 같다.

z i ( l ) = G ¯ ( l ) H Y test  ( l ) m i ( l ) 2 2 .
(29)

각각의 분산 배치된 레이다는 수식 (29)zi(l) 중 가장 작은 값을 선택함으로써 손동작을 구분할 수 있다.

i ^ = a r g m i n i z i ( l ) .
(30)

IV. 중앙 데이터 집합센터에서의 손동작 인식

각 레이다에서 얻어지는 MDS 데이터는 목표물과 레이다 사이의 LoS에 영향을 받는다. 이는 획득한 MDS 데이터들을 공유하여 손동작 분류에 활용할 수 있음을 의미한다. 그러나 데이터의 차원이 커질수록 백홀 링크의 부담이 증가하기 때문에 차원을 축소시킨 데이터를 공유하는 방식은 유효하다. 본 논문에서는 각 레이다에서 중앙 데이터 집합센터로 데이터를 효율적으로 전달하는 방식 및 분류 성능을 향상시킬 수 있는 방법을 제안한다.

Ⅲ절에서는 단일 레이다에서 GSVD 기반 LDA 알고리즘을 활용하여 분리도를 최대한으로 유지하며 차원을 축소시킨 MDS 데이터를 얻는 방법을 제안하였다. 이로부터 l번째 레이다에서는 식 (4)의 데이터 Yi¯(l)를 중앙 데이터 집합센터로 보내는 대신 차원을 축소시킨 G¯(l)HY¯i(l)를 전송할 수 있다. 그러나 해당 데이터는 연속적인 복소수값을 가지기 때문에 제한된 용량의 무선 백홀을 통해 전송하기 위해서는 적절히 양자화되어야 한다. 복소수값을 갖는 데이터를 양자화하여 전송하는 것은 상당한 왜곡을 발생시키므로 식 (29)의 각 손동작 클래스의 중심값으로부터 거리값 zi(l)를 활용한다.

4-1 Softmax

Softmax는 다중 회귀 분석, 다중 클래스 LDA와 같은 다중 클래스 분류 문제에서 주로 사용되는 방식이다[9].

p i ( l ) = exp ( z i ( l ) ) exp ( z 1 ( l ) ) + + exp ( z D ( l ) ) .
(31)

식 (31)l번째 레이다가 전송하는 softmax 처리과정을 거친 데이터를 나타낸 것으로 거리값 zi(l)이 작을수록 해당 클래스일 확률이 높은 것을 의미하므로 음의 부호가 삽입되어 있다.

4-2 Modified Softmax

지수함수는 계수가 커질수록 그 기울기가 가팔라지는 특성이 있다. 따라서 식 (32)의 softmax를 활용하면 거리가 가까운 동작일수록 더 높은 출력을 가지므로 인식률을 향상시킬 수 있다. 단, A의 값을 크게 설정하면 거리가 조금 떨어진 동작들에 대해 출력값이 크게 감소하여 분별력이 떨어진다. 따라서 적절한 크기의 A를 설정해야 한다.

P i ( l ) = exp ( A z i ( l ) ) exp ( A z 1 ( l ) ) + + exp ( A z D ( l ) ) .
(32)

중앙 데이터 집합센터는 l개의 레이다로부터 식 (32)의 확률 값을 수신하며, 식 (33)과 같이 간단하게 손동작을 분류할 수 있다.

i ^ = argmax i l = 1 L P i ( l ) .
(33)

앞 절의 분리도를 나타내는 비용함수를 식 (34)와 같이 가중치로 활용하면 분류 성능을 더 개선시킬 수 있다.

i ^ = argmax i l = 1 L w l P i ( l ) , w ( l ) = J ( l ) ( G ^ ( l ) ) l = 1 L J ( l ) ( G ^ ( l ) ) .
(34)
4-3 Pyramid Vector Quantization (PVQ)

각 레이다는 식 (6)과 같이 Nl개의 비트를 전송할 수 있는 백홀 링크를 통해 중앙 데이터 집합센터로 정보를 전송한다.

P ¯ ( l ) = [ P 1 ( l ) , , P D ( l ) ] T .
(35)

식 (35)D개의 손동작 클래스에 대한 확률값들을 나타낸 벡터로 합이 1로 고정되어 있다. 따라서 이를 중앙 데이터 집합센터로 전송하기 위해 피라미드 벡터 양자화 기법을 적용할 수 있다.

피라미드 양자화 기법은 벡터의 합이 상수로 고정되어 있을 때 사용할 수 있는 효과적인 양자화 기법으로, 코드북이 L차원 피라미드의 입방격자점으로 구성된다[10]. 이는 L차원 피라미드의 벡터요소들은 정수이며, 요소들의 합이 고정된 상수 K임을 의미한다. 따라서 코드북의 코드워드들은 식 (36)과 같이 주어진다.

N ( L , K ) = { c p ( x 1 p , , x L p ) i = 1 L x i p = K } .
(36)

본 논문에서 식 (35)의 softmax 함수의 출력을 고려하므로 xi가 음수가 아닌 정수임을 가정할 수 있다. 따라서 N(L,K)의 코드워드 개수 P(L,K)는 이항 계수로서 식 (37)과 같이 간단하게 계산할 수 있다[11].

P ( L , K ) = ( L + K 1 K ) = ( L + K 1 ) ! K ! ( L + K 1 K ) ! .
(37)

여기서 코드워드를 전송하기 위해 요구되는 비트 수는 밑이 2인 로그를 취하여 구할 수 있다. 단, 비트 수는 모든 코드워드를 전송할 수 있을 만큼의 자연수가 필요하므로 올림 연산 ⌈•⌉을 적용하여 식 (38)과 같이 나타낸다.

N = log 2 P ( L , K )
(38)

예를 들어 3차원 데이터를 전송하기 위하여 4개의 비트를 활용할 수 있다고 가정하면, P(3,K)≤24이므로 식 (37)로부터 K가 4가 됨을 알 수 있다. 그림 2는 코드북 N(3,4)의 코드워드들을 나타낸 것이다.

jkiees-33-12-948-g2
그림 2. | Fig. 2. L=3, K=4인 피라미드 양자화 코드북 | Codebook of PVQ (L=3, K=4).
Download Original Figure

l번째 레이다의 출력 벡터인 P¯(l)는 합이 1이므로 피라미드 양자화 기법을 활용하기 위해서는 정규화 과정이 필요하다. 식 (39)D개의 확률값을 갖는 벡터 P¯(l)를 전송하기 위해 정규화한 PVQ 코드북의 코드워드들을 나타낸 것이다.

N ¯ ( D , K l ) = { c p ( x 1 p K l , , x D p K l ) i = 1 D x D p K l = 1 } .
(39)

l번째 레이다가 백홀 링크를 통해 전송할 수 있는 비트 수가 Nl이라면 Kl은 아래의 조건을 만족하는 최대 Kl로 설정하여 코드북을 설계할 수 있다.

P ( D , K l ) 2 N l .
(40)

그림 3은 설계된 정규화된 코드북 N¯(3,4)를 나타낸 것이며, 이러한 코드북으로부터 식 (41)과 같이 P¯(l)를 양자화하여 중앙 데이터 집합센터로 전송할 수 있다.

jkiees-33-12-948-g3
그림 3. | Fig. 3. L=3, K=4인 정규화된 피라미드 양자화 코드북 | Codebook of normalized PVQ (L=3, K=4).
Download Original Figure
c ¯ ^ ( l ) = arg min c ¯ p N ¯ ( D , K ) P ¯ ( l ) c ¯ p 2 .
(41)

중앙 데이터 집합센터에서는 식 (34)와 같이 분리도를 가중치로 활용하여 수신한 양자화 벡터로부터 손동작을 분류한다.

i ^ = argmax i l = 1 L w l [ c ^ ( l ) ] i .
(42)

식 (39)식 (40)으로부터 전송할 수 있는 비트 수가 증가할수록 Kl 또한 증가하게 되는데, 이는 코드워드 사이의 거리가 감소하므로 양자화 오류가 줄어듦을 의미한다. 따라서 분리도가 높은 레이다에 더 많은 비트를 할당하면 중앙 데이터 집합센터에서의 성능이 향상될 것이며, 이로부터 식 (6)l번째 레이다가 사용하는 비트는 식 (43)과 같이 계산할 수 있다.

N l = w l N t .
(43)

여기서 wll번째 레이다의 분리도이며, 「」는 반올림 연산이다.

V. MNIST 데이터를 활용한 모의실험

분산 레이다 시스템을 활용하여 손동작 분류 성능을 확인하기에 앞서, MNIST 데이터셋을 활용한 이미지 데이터 분류에 제안하는 LDA 알고리즘을 적용하였다. MNIST는 0부터 9까지의 손글씨로 적힌 숫자 데이터로 이루어져 있으며 이는 실측 데이터 기반 성능 시험 전 pilot 데이터로 주로 활용된다[12]. 손글씨 데이터는 784픽셀 크기로 모의실험에서는 10개의 숫자 데이터 중 1, 2, 3에 해당하는 데이터를 추출하여 사용하였다. 레이다의 역할을 대신할 노드의 개수 L은 3이며, 각 노드에서는 1,000개의 MNIST 훈련 데이터를 활용하여 G를 계산하였다.

그림 4에서는 채널 이득에 따른 단일 노드의 평균 인식률과 softmax 처리된 데이터를 수신한 중앙 데이터 집합센터에서의 인식률을 나타내었다. 그림 4(a)에서 확인할 수 있듯이 노드 간의 정보를 공유하지 않았을 때 평균 인식률보다 중앙 데이터 집합센터에서의 인식률이 훨씬 높다. 또한, 분리도를 가중치로 활용했을 때 그렇지 않은 경우보다 인식률이 높은 것을 확인할 수 있다. 반면, 그림 4(b)에서는 각 노드의 채널 이득 [h(1), h(2), h(3)]이 [1, 1, 1]로 동일하므로 가중치에 따른 인식률 차이가 없는 것을 확인할 수 있다.

jkiees-33-12-948-g4
그림 4. | Fig. 4. 채널 이득에 따른 평균 인식률 | Average classification rates for (a) [h(1),h(2), h(3)] =[0.14, 1, 1.4] and (b) [h(1), h(2), h(3)]=[1, 1, 1].
Download Original Figure

그림 5그림 6에서는 각 노드가 겪는 채널이득이 차이나는 상황에서 제안하는 PVQ 기반 비트 할당 방식의 성능을 확인하였다. Nt=∞는 중앙 데이터 집합센터와 노드가 유선으로 연결되어 데이터를 왜곡 없이 전송할 수 있는 경우를 나타내며 백홀 링크를 통해 전송할 수 있는 최대 비트가 각각 9와 12인 환경과 비교하였다. 여기서 전송할 수 있는 최대 비트가 증가할수록 전체적인 인식 성능이 개선됨을 확인할 수 있다.

jkiees-33-12-948-g5
그림 5. | Fig. 5. PVQ를 적용하였을 때 평균 인식률(Nt =9) | Average classification rates when PVQ is applied and [h(1), h(2), h(3)] =[0.14, 1, 1.4].
Download Original Figure
jkiees-33-12-948-g6
그림 6. | Fig. 6. PVQ를 적용하였을 때 평균 인식률(Nt =12) | Average classification rates when PVQ is applied and [h(1), h(2), h(3)]=[0.14, 1, 1.4].
Download Original Figure

그림 5(b)그림 6(b)식 (42)와 같이 노드별로 분리도에 비례하여 비트를 할당한 것으로 동일하게 할당한 5(a) 및 그림 6(a)보다 성능이 향상되었다. 높은 SNR에서는 A값을 키울수록 인식률이 향상된다. 반면, 낮은 SNR에서는 4-2절에서 살펴보았듯 A값이 커질수록 급격하게 감소하는 출력값으로 인하여 modified softmax의 인식 성능이 감소하는 것을 알 수 있다. 따라서 A값을 2 이하로 설정한 modified softmax를 적용하면 SNR에 관계없이 기존의 softmax 방식보다 인식률이 향상되는 것을 확인할 수 있다.

VI. 실측 데이터 기반 손동작 분류 실험 결과

제안하는 LDA 기반 분류 알고리즘이 적용된 분산 레이다 시스템의 성능을 검증하기 위해 CBX 보드가 장착된 USRP N210[13]을 활용하여 그림 7과 같이 실측 데이터 수집을 위한 테스트 베드를 구성하였다.

jkiees-33-12-948-g7
그림 7. | Fig. 7. 실험 환경 | Experimental environment.
Download Original Figure

각 레이다의 반송파 주파수는 [fc(1),fc(2),fc(3)]=[41,4.3,4.5] GHz, 샘플링 속도는 200 kHz로 설정하였다. 단, 손동작으로 발생하는 도플러 주파수는 높지 않기 때문에 2 kHz가 되도록 리샘플링하였다. 수집한 시간 샘플 N=1,200개에 대해 손동작의 MDS 데이터를 얻기 위해 M=64인 윈도우 함수를 사용하여 STFT를 적용하였다. 오버랩사이즈는 M의 75 %가 되도록 설정하여 O는 64-48=16이 된다. 따라서 식 (4)의 MDS 데이터의 차원은 4,544이다.

본 논문에서는 3개의 서로 다른 손동작인 앞뒤로 뒤집기(HG1), 박수치기(HG2), 주먹 쥐었다 펴기(HG3)를 구분하기 위해 MDS 데이터를 수집하였다. 그림 8에서는 동일한 동작임에도 불구하고, 분산된 레이다가 관측하는 각도가 다르기 때문에 서로 다른 MDS를 갖는 것을 확인할 수 있다.

jkiees-33-12-948-g8
그림 8. | Fig. 8. 분산된 레이다에서 수집한 손동작별 MDS | Collected MDS of different hand gestures at distributed radars.
Download Original Figure

각 레이다에서는 손동작별로 180개의 MDS 데이터를 수집하여 120개는 G¯(l)를 구하기 위해 사용하였고, 나머지 60개를 분류 실험에 활용하였다. 표 1은 PVQ 기반 비트 할당 방식을 적용하였을 때의 인식 성능을 나타낸 것이며 단일 레이다에 비해 중앙 데이터 집합센터에서 데이터를 공유하였을 때 성능이 뛰어나다. 무선 링크가 활용할 수 있는 자원인 비트 Nt가 늘어날수록 성능이 개선되며, 모든 레이다에 동일하게 비트를 할당하는 것보다 높은 분리도를 갖는 레이다에 비트를 많이 할당하는 것이 성능을 향상시키는 것을 확인할 수 있었다.

표 1. | Table 1. 실측 데이터 기반 인식 성능 | Classification rates of measured hand gesture data.
HG1 HG2 HG3 Avg.
Average of distributed single radars 0.722 0.928 0.894 0.848
Allocate bit Equally (A=1 Nt =9) 1.000 0.933 0.750 0.894
Allocate bit with Sep. (A=1 Nt=9) 1.000 0.916 0.883 0.933
Allocate bit Equally (A=1.5 Nt=9) 1.000 0.933 0.783 0.905
Allocate bit with Sep. (A=1.5 Nt =9) 1.000 0.967 0.900 0.956
Allocate bit Equally (A=1 Nt =12) 1.000 0.917 0.783 0.900
Allocate bit with Sep. (A=1 Nt=12) 1.000 0.933 0.933 0.955
Allocate bit Equally (A=1.5 Nt =12) 1.000 0.950 0.883 0.944
Allocate bit with Sep. (A=1.5 Nt =12) 1.000 0.967 0.933 0.967
Download Excel Table

또한, MNIST 기반 모의실험 결과와 동일하게 A값이 증가할수록 성능이 향상된다. 단, 표 2와 같이 A값이 일정 수준 이상에서는 성능이 크게 변화하지 않는 것을 확인할 수 있었다.

표 2. | Table 2. A값에 따른 인식 성능 포화 | Saturation of classification rate according to A value.
HG1 HG2 HG3 Avg.
Allocate bit with Sep. (A=2 Nt =12) 1.000 0.967 0.933 0.967
Allocate bit Equally (A=4 Nt =12) 1.000 0.950 0.950 0.967
Allocate bit with Sep. (A=5 Nt =12) 1.000 0.950 0.967 0.972
Download Excel Table

VII. 결 론

본 논문에서는 무선 백홀 링크를 통해 데이터를 공유하는 분산 레이다 시스템을 위한 LDA 기반 동작 분류 알고리즘을 제안하였다. 분산 배치된 레이다는 획득한 고차원의 MDS 데이터를 LDA를 통해 차원을 감소시키며, 해당 데이터를 중앙 데이터 집합센터로 효율적으로 전달하기 위해서 softmax 처리과정을 거친 확률 값을 PVQ를 적용하여 양자화한 후 전송한다. 분류 성능을 향상시키기 위하여 중앙 데이터 집합센터는 각 레이다의 분리도를 고려하여 채널 자원을 할당한다. 모의실험 및 실측데이터를 기반으로 제안하는 알고리즘이 유선으로 연결된 백홀 시스템과 비교할만한 성능임을 검증하였다. 본 연구를 바탕으로 분류 가능한 동작의 개수를 늘리면 더 효용성이 높은 시스템이 될 것으로 예상된다.

References

[1].

J. Zhu, H. Chen, and W. Ye, “A hybrid CNN-LSTM network for the classification of human activities based on micro-Doppler radar,” IEEE Access, vol. 8, pp. 24713-24720, Feb. 2020.

[2].

M. Whang, Y. D. Zhang, and G. Cui “Human motion recognition exploiting radar with stacked recurrent neural nework,” Digital Signal Processing, vol. 87, pp. 125-131, Apr. 2019.

[3].

T. Sakamoto, X. Gao, E. Yavari, A. Rahman, O. Boric-Lubecke, and V. M. Lubecke, “Hand gesture recognition using a radar echo I-Q ploy and a convolutional neural network,” IEEE Sensors Letters, vol. 2, no. 3, p. 7000904, Sep. 2018.

[4].

M. B. Özcan, S. Z. Gürbüz, A. R. Persico, C. Clemente, and J. Soraghan, “Performance analysis of co-located and distributed MIMO radar for micro-Doppler classification,” in 2016 European Radar Conference(EuRAD), London, Oct. 2016, pp. 85-88.

[5].

B. Liu, R. Chen, “Software-defined radar and waveforms for studying micro-Doppler signatures,” Radar Sensor Technology XVIII, vol. 9077, p. 907718.

[6].

J. Huang, B. Chen, B. Yao, and W. He, “ECG arrhythmia classification using STFT-based spectrogram and convolutional neural network,"IEEE Access, vol. 7, pp. 92871-92880, Jul. 2019.

[7].

W. S. Zheng, J. H. Lai, and P. C. Yuen, “Ga-fisher: A new LDA-based face recognition algorithm with selection of principal components,” IEEE Transactions on Systems, Man, and Cybernetics, Part B(Cybernetics), vol. 35, no. 5, pp. 1065-1078, Oct. 2005.
,

[8].

J. Park, J. Chun, and H. Park, “Generalised singular value decomposition-based algorithm for multi-user multiple-input multiple-output linear precoding and antenna selection,” IET Communications, vol. 4, no. 16, pp. 1899-1907, Nov. 2010.

[9].

N. Siripibal, S. Supratid, and C. Sudprasert, “A comparative study of object recognition techniques: Softmax, linear and quadratic discriminant analysis based on convolutional neural network feature extraction,” in Proceedings of the 2019 International Conference on Management Science and Industrial Engineering(MSIE), Phuket, May 2014, pp. 209-214.

[10].

V. Liguori, “Pyramid vector quantization for deep learning,” 2017. Available: https://arxiv.org/abs/1704.02681

[11].

D. Cadel, G. Parladori, “Pyramid vector coding for high quality audio compression,” in 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing, Munich, Apr. 1997, pp. 343-346.

[12].

R. K. Srivastava, K. Greff, and J. Schmidhuber, “Training very deep networks,” 2015. Available: https://arxiv.o rg/abs/1507.06228

[13].

NI, “USRP N210.” Available: https://www.ettus.com/all-products/un210-kit/

Author Information

홍 용 기 [LIG넥스원/연구원]

jkiees-33-12-948-i1

  • https://orcid.org/0000-0003-3557-6088

  • 2020년 2월: 부경대학교 전자공학과 (공학사)

  • 2022년 2월: 부경대학교 전자정보통신공학과 (공학석사)

  • 2022년 1월∼현재: LIG넥스원 연구원

  • [주 관심분야] 통신 및 레이다 신호처리

변 성 철 [LIG넥스원/연구원]

jkiees-33-12-948-i2

  • https://orcid.org/0000-0002-1655-9103

  • 2018년 2월: 울산대학교 전기전자공학과 (공학사)

  • 2020년 2월: 연세대학교 전기전자공학과 (공학석사)

  • 2021년 11월∼현재: LIG넥스원 연구원

  • [주 관심분야] 통신신호처리, 오류정정부호

노 재 현 [LIG넥스원/선임연구원]

jkiees-33-12-948-i3

  • https://orcid.org/0000-0001-5810-5364

  • 2015년 2월: 세종대학교 정보통신공학과 (공학사)

  • 2017년 2월: 세종대학교 정보통신공학과 (공학석사)

  • 2021년 2월: 세종대학교 정보통신공학과 (공학박사)

  • 2022년 5월∼현재: LIG넥스원 선임연구원

  • [주 관심분야] 전자전통신, 무선통신 신호처리

강 현 진 [LIG넥스원/수석연구원]

jkiees-33-12-948-i4

  • https://orcid.org/0000-0003-1770-2634

  • 2006년 2월: 중앙대학교 전자공학과 (공학사)

  • 2008년 2월: 중앙대학교 전자공학과 (공학석사)

  • 2011년 12월∼현재: LIG넥스원 수석연구원

  • [주 관심분야] 전자전 신호처리, 디지털통신

김 재 윤 [LIG넥스원/수석연구원]

jkiees-33-12-948-i5

  • https://orcid.org/0000-0002-4692-8467

  • 2002년 2월: 한양대학교 전자공학과 (공학사)

  • 2004년 2월: 한양대학교 전자전기제어 계측공학과 (공학석사)

  • 2004년∼현재: LIG넥스원 수석연구원

  • [주 관심분야] 디지털 신호처리, 신호 분석 알고리즘