다중 영역 기반 딥러닝 SAR 표적 식별 연구

공간 영역의 SAR 영상은 SAR 플랫폼이 이동하면서 수집한 원시 데이터를 SAR 영상 생성 기법으로 처리하여 획득한다^[12]. 이를 수식으로 표현하면 식 (1)과 같다.

식 (1)에서 x,y는 SAR 영상의 공간 좌표이다. g(x,y)는 표적으로부터 수집된 레이다 원시 신호를 의미하며, h(x,y)는 SAR 영상 생성 필터를 표현한다. s(x,y)는 SAR 영상 생성 알고리즘으로 획득한 공간 영역의 SAR 영상이다. ⨂는 합성곱(convolution) 연산자이다. 레이다 원시 신호 g(x,y)와 SAR 영상 생성 필터 h(x,y)의 합성곱 연산을 통해 SAR 영상 s(x,y)을 획득한다.

주파수 영역의 SAR 영상은 공간 영역의 SAR 영상에서 2차원 이산 푸리에 변환을 통해 획득한다. 2차원 이산 푸리에 변환은 선형변환이므로, 공간 영역의 SAR 영상의 표적 정보는 주파수 영역의 SAR 영상에서 유일한 표현으로 일대일로 대응된다. 2차원 이산 푸리에 변환은 식 (2)와 같다.

식 (2)에서 M 및 N은 영상의 행(row) 및 열(column)의 개수를 각각 의미한다. x,y는 SAR 영상의 공간 좌표이다. u,v는 주파수 영역의 좌표이며 u=0,1,…,M−1 및 v=0,1,…,N−1의 범위를 갖는다. s(x,y)는 SAR 영상의 세기 값(magnitude), F(u,v)는 SAR 영상의 주파수 성분 값을 각각 나타낸다. 주파수 영역 영상은 크기와 위상 성분으로 구성되며, 크기 성분은 다음의 식 (3)으로 나타낸다.

Re(F(u,v))는 2차원 이산 푸리에 변환을 수행한 영상의 실수(real) 성분이며 Im(F(u,v))는 허수(imaginary) 성분이다. |F(u,v)|는 주파수 영역에서의 세기를 나타낸다. 식 (3)을 통해, 일반적인 SAR 영상 s(x,y)로부터 주파수 영역의 영상 |F(u,v)|를 획득한다. 그림 1(a)^[14]는 일반적인 SAR 영상의 예시이며, 그림 1(b)는 그림 1(a)로부터 주파수 영역으로 변환한 결과를 도시한다.

그림 1. | Fig. 1. 공간 영역, 주파수 영역 및 고유공간 영역 SAR 영상 | Spatial-domain, frequency-domain, and eigenspacedomain SAR images.

Download Original Figure

고유공간 영역의 SAR 영상은 공간 영역 SAR 영상을 고윳값 분해에 기반한 과정을 통해 획득한다. 고윳값 분해 역시 푸리에 변환과 마찬가지로 선형변환으로 해석되며, 공간 영역과 고유공간 영역 간에 일대일 대응 관계를 유지한다.

고유공간 영역의 SAR 영상은 다음의 과정을 통해 획득이 가능하다. 일반적인 SAR 영상은 M×N 차원의 비정방행렬 S로 표현할 수 있으며, 식 (4)를 통해 고유공간 영상을 획득한다.

비정방행렬 S는 특이값 분해(singular value decomposition)를 통해U∑V^T로 표현할 수 있다^[16]. U는 좌측 특이벡터들로 이루어진 M×M 행렬이고, V는 우측 특이벡터들로 이루어진 N×N 행렬이며, { · }^T는 행과 열의 위치를 바꾸는 전치 연산자이다. ∑는 S의 특이값으로 이루어진 M×N 대각행렬이다. SS^T는 M×M 정방행렬이며 고유공간 영상을 얻기 위한 행렬로써 고윳값 분해 적용이 가능하다. Λ는 SS^T의 고윳값 λ_i (i=1,…,M)으로 구성된 M×M 대각행렬로, 대각 성분에는 고윳값이 가장 큰 값부터 내림차순으로 위치한다. U는 SS^T의 고유벡터들로 이루어진 행렬이며, 각 열벡터 u_i (i=1,…M)는 Λ의 대각 성분에 대응하는 고유벡터를 나타낸다. 본 연구에서는 이 U 행렬을 고유공간 영상으로 정의하며, 식 (4)를 통해 일반적인 SAR 영상 S로부터 고유공간 영상 U를 획득할 수 있다. 그림 1(c)는 그림 1(a)에 제시된 일반적인 SAR 영상을 식 (4)를 통해 획득한 고유공간 영상이다.

한편, 고유공간 영역의 영상에서 표적의 주요 정보는 큰 고윳값에 대응하는 상위 고유벡터에 집중된다. 상위 고유벡터는 고유공간 영상 행렬의 좌측 열에 배열되며, 본 논문에서는 전체 고유벡터의 상위 5 %만을 추출하여 고유공간 영상을 재구성한 뒤 이를 표적 식별에 활용하였다.

CNN은 합성곱(convolutional)과 풀링(pooling) 연산을 반복하여 영상의 특징을 효과적으로 추출하는 대표적인 신경망 모델이다. CNN은 계층적 구조를 통해 저수준 시각 특징에서 고수준 정보까지 단계적인 특징을 학습한다. 이러한 구조 덕분에 영상 분류나 인식 등에서 탁월한 성능을 보이며, SAR 표적 식별에서도 광범위하게 활용된다. 본 연구에서는 CNN 구조에 공간, 주파수 및 고유공간의 세 영역을 서로 다른 조합으로 결합한 2채널 및 3채널 다중 입력 방식을 제시한다. 2-2절 및 2-3절로부터 획득한 주파수 및 고유공간 영역의 영상과 공간 영역의 영상을 동일한 크기로 조정(resize)하고 채널 차원으로 결합하여 영상을 구성한다. 실험에는 대표적인 CNN 구조로 ResNet^[17], EfficientNetV2^[18] 계열의 모델을 적용하여 제안 기법을 검증하였다. 본 연구에서 제안한 다중 영역 SAR 영상은 표적의 공간 영역 정보 뿐만 아니라 주파수 및 고유공간 영역에서 제공하는 표적의 정보를 통합함으로써, CNN이 다양한 특징을 동시에 학습할 수 있도록 한다.

MSTAR 데이터셋은 SAR 기반 표적 식별을 평가하기 위한 대표적인 데이터셋으로 군사적 목적으로 수집되었다. 해당 데이터셋에는 10가지 표적 영상이 포함되어 있으며, 각 표적은 서로 다른 경사각(depression angle) 조건을 제공한다. 표 1은 MSTAR 데이터셋에 포함된 데이터 중, 본 논문에서 표적 식별의 학습과 평가에 활용한 데이터를 정리한 것이다. 실험에서 17° 경사각의 SAR 영상을 2,747장, 15° 경사각의 SAR 영상 2,425장을 활용하였다.

그림 2는 MSTAR 데이터셋 중 T-72 및 BTR-70 표적에 대한 표본 영상을 세 가지 영역으로 시각화한 것이다. 그림 2(a) 및 그림 2(d)는 MSTAR 데이터셋에서 제공하는 공간 영역 SAR 영상이며, 그림 2(b) 및 그림 2(e)는 각각 그림 2(a) 및 그림 2(d)로부터 획득한 주파수 영역의 영상이다. 주파수 영역에서는 주요 정보가 저주파 대역에 밀집되어 나타나는 것을 확인할 수 있다. 마찬가지로 그림 2(c) 및 그림 2(f)는 동일한 공간 영역의 표본인 그림 2(a) 및 그림 2(d)로부터 각각 획득한 고유공간 영역의 영상이다. 고유공간의 영상은 각 고유벡터를 열 방향으로 배열한 행렬 형태로 표현된다. 이러한 고유벡터들은 대응 고윳값의 크기를 기준으로 내림차순으로 정렬되며, 최대 고윳값에 대응하는 고유벡터가 행렬의 첫 번째 좌측 열에 배치된다. 좌측의 고유벡터들에는 표적의 주요 정보를 담고 있다.

그림 2. | Fig. 2. MSTAR 표적 영상의 영역별 시각화 | Domain-specific visualization of MSTAR target images.

Download Original Figure

본 실험에서는 학습 데이터 수를 변경하여 단일 영역 입력 모델과 2채널 및 3채널의 다중 영역 입력 모델에 대한 분류 성능을 평가하였다. 해당 실험의 분류기는 PyTorch에서 제공하는 ResNet-34와 EfficientNetV2-S 모델을 사용하였으며, 사전학습 가중치 없이 초기화하여 학습을 진행하였다. 공간 영역 및 주파수 영역 SAR 영상은 최소-최대 정규화를 적용하여 화소값을 0~1 범위로 변경하였다. 고유공간 영역의 SAR 영상은 주요 정보가 포함된 상위 고유벡터 5 %만을 추출한 영상으로 재구성하고, 화소값을 전처리 없이 입력하였다. 고유공간 영상의 크기가 128×128인 경우 상위 고유벡터로 구성한 고유공간 영상은 5 %인 128×6의 영상으로 재구성한다. CNN 기반 모델에 입력되는 모든 영상의 크기는 보간(interpolation)을 통해 128×128로 통일하였다. 학습 데이터는 17° 경사각 SAR 영상을 활용하였으며, 학습 및 검증 데이터 비율을 8:2의 비율로 분할하였다. 학습의 배치 크기는 32, Epoch 수는 100으로 설정하고, 최적화 알고리즘은 Adam(adaptive moment estimation)을 적용하였다. 학습률은 10⁻³, 손실 함수는 교차 엔트로피(cross entropy)를 사용하였다. 모델 가중치는 31번째 Epoch부터 검증 손실 값(validation loss)를 확인하여 최저 검증 손실 값을 기준으로 저장하였다. 평가 데이터는 15° 경사각 SAR 영상을 활용하여 분류 정확도를 측정하여 모델 성능을 산출하였다.

표 2 및 표 3은 각각 CNN 기반 ResNet-34 모델과 EfficientNetV2-S 모델을 활용하여, 학습 데이터수의 변화에 따른 단일 영역 및 다중 영역 입력 모델의 표적 식별 정확도를 나타낸 것이다. 100 %의 학습데이터를 사용한 실험에서 다중 영역 입력 모델의 표적 식별 정확도 약 97 %로 단일 영역 입력 모델과 동등하거나 근소하게 우수한 정확도를 나타내었다. 반면 학습 데이터가 30 % 수준으로 축소한 경우 ResNet-34에서 3채널 다중 영역 입력 모델의 표적 식별 정확도는 91.59 %로 단일 공간 영역 입력 모델의 표적 식별 정확도인 90.60 %보다 성능이 뛰어났다. 또한, EfficientNetV2-S를 사용한 경우의 학습 데이터를 30 %로 사용한 경우에는 다중 영역 입력 모델 표적 식별 정확도가 약 88 %로 단일 영역 입력 모델보다 뛰어난 성능을 나타냈다. 한편, 2채널 및 3채널 다중 영역 입력 모델의 표적 식별 정확도는 근소한 차이를 보였다. 본 실험 결과, 학습 데이터를 30 %만 사용한 실험 환경에서 다중 영역 입력 모델의 표적 식별 정확도는 단일 영역 입력 모델을 사용하는 경우에 비하여 모든 시나리오에서 우수한 성능을 보였다.

본 실험에서는 다양한 SNR 실험 환경에서 CNN 기반 ResNet-34 모델을 통해 단일 공간 영역 입력 모델과 3채널 다중 영역 입력 모델에 대한 표적 식별 성능을 검증하였다. 구체적으로, SNR이 −10 dB, 0 dB, 10 dB인 가우시안 잡음을 공간 영역 SAR 영상에 각각 삽입하였으며, 3채널 다중 영역 영상에 입력되는 주파수 및 고유공간 영역의 영상은 잡음이 포함된 영상을 변환하여 생성하였다. 실험 환경 구축 및 딥러닝의 하이퍼파리미터는 3-2 절과 동일하며, 식별 성능 결과는 표 4에 정리하였다. 표 4를 통해 각 SNR 조건에서 다중 영역 입력 모델의 분류 성능이 단일 공간 영역 입력 모델보다 일관되게 우수한 성능을 보임을 확인하였다. 또한, 학습 데이터 수가 감소할수록 3채널 다중 영역 입력 모델과 단일 공간 영역 입력 모델의 표적 식별 성능 정확도 격차는 더욱 확연하게 증가하였다. 특히, SNR이 −10dB의 고잡음 환경에서 학습데이터 수를 30 %까지 축소한 경우, 3채널 다중 영역 입력 모델과 단일 공간 영역 입력 모델의 표적 식별 정확도는 17 % 이상 차이가 관측되었다. 이를 통해 3채널 다중 영역 입력 모델의 SAR 표적 식별기는 잡음에 강인함을 확인하였다.