I. 서 론
무인 항공기와 드론의 활용이 다양한 분야에서 급증함에 따라, 이들을 정확하게 감지하고 식별할 수 있는 기술의 중요성이 점차 부각되고 있다. 특히 군사적 용도와 공공 안전 분야에서 소형 항공체를 신속하고 정확하게 탐지하고 식별하는 능력은 필수적이다. 그러나 드론과 같은 소형 표적은 크기와 구조적 특성으로 인해 고해상도 이미지를 확보하기가 어렵다는 문제가 있다. 기존의 비전 센서 기반 표적 식별 방법은 가시성이 낮은 환경, 악천후 등의 기상 상황에서 성능이 크게 저하되는 한계가 있다.
이에 반해, ISAR(inverse synthetic aperture radar) 시스템은 빛이나 기상 조건에 구애받지 않고 장거리에서도 표적의 특성을 상세히 파악할 수 있어 소형 항공체를 포함한 다양한 표적을 효과적으로 식별할 수 있는 강력한 도구로 주목받고 있다[1]~[3]. 운용 중인 Yak-42 항공기의 ISAR 데이터를 통해 명확한 형상 식별이 가능한 고품질 ISAR 이미지가 획득된 바 있으며[4], 약 290 m 거리에서 30 cm급 이하의 초소형 드론에 대해 ISAR 이미지를 형성한 연구가 수행된 바 있다[5]. 이러한 연구들은 ISAR 시스템이 원거리에서 소형 표적을 탐지하는 데 유효함을 보여준다. 고해상도 ISAR 이미지를 획득하여 표적 식별의 정확도를 향상시키기 위해서는 넓은 주파수 대역의 활용이 요구된다. 그러나 이는 시스템 자원 소모를 증가시키고 운영 효율성을 저하시키는 문제를 동반한다. 이러한 문제를 해결하기 위해 제한된 주파수 대역을 사용하면서도 고해상도 ISAR 이미지를 생성할 수 있는 기술에 대한 연구가 활발히 진행되고 있다[6],[7]. 최근에는 GAN(generative adversarial network)을 활용하여 ISAR 이미지의 해상도를 향상시키려는 연구가 주목받고 있다[8]~[10]. 특히, 참고문헌 [10]에서는 GAN 기반 프레임워크를 활용하여 저해상도 ISAR 이미지에서 약한 산란점을 복원하고 이를 고해상도 이미지로 재구성한다. 이 연구는 해상도를 향상시켜 퍼져있는 산란점을 더 명확한 하나의 점으로 변환하는 데 중점을 둔다.
본 연구는 좁은 주파수 대역폭에서 획득한 저해상도 ISAR 이미지를 입력으로 받아, 마치 넓은 대역폭에서 수집된 데이터를 활용한 것처럼 고해상도 이미지를 복원하는 GAN 기반 프레임워크를 제안한다. 이는 단순히 퍼져 있는 점을 명확히 하는 것이 아니라, 좁은 대역폭에 의해 하나로 나타나는 점들을 분리된 형태로 복원하는 데 초점을 둔다. 제안된 방법은 저해상도에서는 드러나지 않던 세부 구조와 특징을 효과적으로 복원하여, 고품질 ISAR 이미지를 생성한다. 이를 통해 레이다 시스템의 대역폭 사용을 최소화하면서도 표적 식별에 필요한 고해상도 정보를 효율적으로 획득할 수 있다.
본 연구에서 제안하는 방법은 다음과 같다. 먼저 3D (three-dimension) mesh로 모델링된 다양한 소형 표적에 대해 PO(physical optics)를 사용하여 산란 전계를 계산한다. 이후, 주파수 대역폭을 조절하여 고해상도 ISAR 이미지와 저해상도 ISAR 이미지의 쌍을 생성한다. 이를 활용하여 제안하는 딥러닝 모델을 학습시키며, 해당 모델은 잔차 블록과 업샘플링 블록이 결합된 GAN 구조를 기반으로 한다. 학습된 모델을 통해 저해상도 이미지로부터 고해상도 ISAR 이미지를 생성함으로써 기존의 대역폭 제약을 극복하고자 한다.
본 논문의 구성은 다음과 같다. II장에서는 ISAR 이미징의 전체적인 과정을 소개하고, III장에서는 표적을 3D mesh로 모델링하고, PO를 사용하여 산란 전계를 계산하는 방법과 학습 데이터셋 생성 과정을 설명한다. IV장에서는 제안된 딥러닝 모델의 구조와 손실 함수에 대해 기술하고, 모델의 성능 평가 결과를 분석한다. 마지막으로 V장에서는 연구 결과를 종합하여 결론을 제시한다.
II. ISAR 이미징
ISAR는 고정된 레이다 시스템에서 움직이는 표적의 동작을 이용하여 고해상도 이미지를 생성하는 기술이다. ISAR는 전통적인 SAR(synthetic aperture radar)와 달리 레이다 플랫폼의 이동이 아닌 표적의 움직임을 활용한다는 점에서 차별화된다. 이 때문에 표적의 회전, 진동, 이동 등의 미세한 움직임은 ISAR 이미지의 해상도와 품질을 결정하는 핵심 요소가 된다. ISAR 이미징 과정은 다음과 같은 단계로 구성된다. 먼저, 원시 데이터 수집 단계에서는 레이다가 일정한 CPI(coherent processing interval) 동안 움직이는 표적에서 반사되어 돌아오는 레이다 신호를 지속적으로 수신한다. 원시 데이터는 시간 및 주파수 도메인에서 표적의 위치, 속도, 형태에 대한 정보를 포함한다. 다음으로 매치드 필터링을 통해 각 펄스 신호를 처리하여, 표적의 신호 대 잡음비를 최적화한다. 이후, 거리 정렬 단계는 매치드 필터링을 거친 신호가 CPI 동안 동일한 거리에 정렬되도록 보정하는 과정이다. 움직이는 표적은 관측 시간 동안 거리 이동에 따른 변화가 발생하므로, 정확한 ISAR 이미지를 얻기 위해서는 이러한 거리를 정렬하여 일치시켜야 한다. 이 단계에서는 수집된 모든 펄스의 신호를 기준이 되는 거리에 맞추어 정렬함으로써, 표적의 움직임에 의해 발생하는 거리 변화를 보정한다. 이는 표적의 구조를 보다 선명하게 표현하는 데 중요한 역할을 한다. 위상 보정 단계는 표적의 움직임에 의해 발생하는 미세한 위상 변화를 보정하는 과정이다. 표적의 미세한 움직임이나 진동으로 인해 발생하는 이러한 위상 변화를 보정하지 않으면 이미지가 왜곡될 수 있다. 이 과정을 통해 표적의 움직임에 따른 위상 변화를 보상하여, 고해상도의 ISAR 이미지를 형성한다. 다음으로 회전 운동 보상 단계에서는 표적의 빠른 회전으로 인해 발생하는 도플러 편이 변화를 보정한다. 표적이 너무 빠르게 회전하거나 CPI가 너무 길 경우, 한 CPI 내에서 도플러 주파수가 시간에 따라 변할 수 있다. 이는 최종 ISAR 이미지가 흐릿하게 나타나는 원인이 될 수 있으므로, 이러한 회전 운동을 보상하여 이미지의 선명도를 높이고 정확한 복원을 가능하게 한다. 마지막으로, 축 정렬을 진행하여 보정이 완료된 데이터를 바탕으로 표적의 2차원 ISAR 이미지를 형성한다. 이 단계에서는 표적의 거리를 기준으로 세로축을, cross-range를 기준으로 가로축을 구성하여 이미지를 형성한다. 필요에 따라 윈도윙 기법이나 제로 패딩을 적용하여 이미지를 더욱 선명하게 만들 수 있다.
III. 데이터셋 생성
실제 환경에서 고해상도 ISAR 이미지를 얻는 것은 표적과의 거리, 기상 조건, 레이다 시스템의 대역폭 제한 등 다양한 요소로 인해 어려움이 따른다. 이러한 제약을 극복하기 위해 본 연구에서는 시뮬레이션 기반의 표적 모델링을 활용하였다. 표적을 3D mesh로 모델링하고, 그 모델에 대해 PO 방법을 사용하여 산란 전계를 계산하는 방식을 채택하였다. 이 방법은 표적의 복잡한 기하학적 구조, 재질 특성 등을 고려하여 실제 표적의 특성을 정확하게 반영할 수 있으며, 생성된 ISAR 이미지는 실제 측정된 이미지와 높은 유사성을 가진다[11],[12]. 그러나 본 연구에서는 고속 연산을 위해 비교적 단순한 기하학적 구조(단일 반사)까지만 고려하고, 표적의 재질은 완전 도체로 가정하였다. PO 시뮬레이션에는 평균적으로 140초가 소요되었으며, 이를 통해 쿼드콥터 드론 등 다양한 표적 모델을 생성하였다. 그림 1에서 각 표적에 대한 3D mesh 모델과 PO 기반 산란 계산으로 생성된 ISAR 이미지를 확인할 수 있다.
학습 데이터셋 생성을 위해, 시뮬레이션 과정에서 대역폭을 조절하여 저해상도와 고해상도 ISAR 이미지 쌍을 생성하고 이를 딥러닝 모델의 학습 데이터로 사용하였다.
레이다 시스템에서 거리 해상도는 다음과 같이 정의된다.
여기서 c, BW는 각각 빛의 속도와 대역폭을 나타낸다. 대역폭이 감소하면 거리 해상도가 낮아지고, 신호의 거리 방향 샘플링 횟수가 줄어들어 저해상도 이미지가 생성된다. 이는 펄스의 주파수 대역이 축소됨에 따라 거리 방향 해상도와 표적의 세밀한 구조를 구분하는 능력이 저하되기 때문이다. 반면, 대역폭이 증가하면 거리 해상도가 향상되어 고해상도 이미지가 얻어진다.
본 연구에서는 이러한 대역폭 변화에 따른 저해상도-고해상도 이미지 쌍을 구성하여 딥러닝 모델의 학습에 활용하였다. 저해상도 이미지는 중심 주파수의 5 %에 해당하는 대역폭을 사용해 생성하였으며, 고해상도 이미지 는 중심 주파수의 20 %에 해당하는 대역폭을 사용하여 생성하였다. 표 1은 학습 데이터 생성을 위한 ISAR 이미지 생성 시뮬레이션 파라미터와 그 값들을 나타낸다.
| Parameter | Value |
|---|---|
| Operating band | X-band |
| Pulse repetition frequency (Hz) | 10 |
| Fractional bandwidth (%) | 5 / 20 |
| Frequency samples | 256 |
IV. 딥러닝 기반 해상도 향상
본 논문에서 제안하는 네트워크의 생성기와 판별기는 SRGAN(super-resolution generative adversarial network) 기반으로 설계되었다[13]. 제안하는 네트워크의 생성기는 저해상도 ISAR 이미지를 고해상도로 변환하기 위해 잔차 블록과 업샘플링 블록을 결합한 구조로 설계되었으며, 이는 그림 2에서 확인할 수 있다.
먼저, 저해상도 입력 이미지는 9×9 크기의 커널을 사용하는 합성곱층과 PReLU(parametric rectified linear unit) 활성화 함수를 통해 저수준 특징이 추출된다. 이후, 네트워크는 32개의 잔차 블록을 거쳐 고해상도 이미지 생성을 위한 고수준 특징을 학습한다. 각 잔차 블록은 두 개의 3×3 크기의 합성곱층과 배치 정규화 및 PReLU 활성화 함수를 포함하고 있으며, 입력과 출력을 직접적으로 더함으로써 잔차 연결을 구현한다. 이는 네트워크의 깊이가 깊어질수록 발생할 수 있는 기울기 소실 문제를 완화하고,학습 과정에서 중요한 입력 정보를 보존하여 성능을 향상시킨다. 잔차 블록을 거친 출력은 추가적인 3×3 합성곱층과 배치 정규화 과정을 거쳐 특징 맵을 더욱 세밀하게 조정한다. 이후, 특징 맵은 여러 개의 업샘플링 블록을 통과하여 고해상도 이미지로 변환된다. 업샘플링 블록은 픽셀 셔플 연산을 통해 입력 이미지의 가로, 세로 크기를 두 배로 확장하며, 마지막으로 9×9 합성곱층을 통해 3채널 출력 이미지를 생성한다. 각 업샘플링 블록은 PReLU 활성화 함수를 통해 비선형성을 추가하여 생성된 이미지의 품질을 더욱 향상시킨다.
본 논문에서 제안하는 네트워크의 판별기는 입력된 고해상도 ISAR 이미지와 생성된 고상도 이미지의 진위 여부를 판별하는 역할을 한다. 그 구조는 그림 3에 제시되어 있으며, 8개의 합성곱층과 완전연결층으로 구성된다. 각 합성곱층은 특징 맵의 공간적 구조를 효율적으로 학습하도록 설계되었다. 초기 합성곱층은 3채널 입력 이미지를 64채널 특징 맵으로 변환하며, LeakyReLU(leaky rectified linear unit) 활성화 함수를 사용하여 음수 구간에서도 미세한 기울기를 유지해 학습을 안정화한다. 이어지는 합성곱층에서는 stride와 padding을 적용하여 특징 맵의 크기를 점진적으로 줄이면서, 더 깊은 계층에서 고차원의 특징을 학습한다. 각 합성곱층 뒤에는 배치 정규화를 적용해 학습의 안정성과 속도를 향상시키고, LeakyReLU 활성화 함수를 통해 비선형성을 추가한다. 이러한 과정을 통해 입력 이미지는 점차 고차원적인 특징 공간으로 변환된다. 마지막 네트워크의 완전 연결층에서는 평탄화 연산을 통해 다차원 특징 맵을 1차원 벡터로 변환한다. 이 1차원 벡터는 이후 두 개의 완전 연결층을 통과하여 최종적으로 1차원의 출력값을 생성한다. 마지막 출력은 시그모이드 함수로 처리되어, 0과 1 사이의 확률 값을 반환하며, 입력 이미지가 실제 이미지인지 생성된 이미지인지를 판별한다. 이 판별기 구조는 생성된 ISAR 이미지와 실제 고해상도 이미지를 효과적으로 구별할 수 있다.
생성기의 손실함수는 내용 손실과 적대적 손실로 구성된다. 내용 손실은 생성된 이미지와 실제 이미지 간의 유사성을 극대화하는 데 중점을 두며, 본 논문에서는 MSE(mean squared error)을 사용하였다. MSE 손실은 생성된 이미지와 실제 이미지 간의 픽셀 단위 차이를 직접적으로 계산하는 손실 항이다. n은 전체 픽셀 수, IHR, i는 원본 고해상도 이미지의 i번째 픽셀, G(ILR, i)는 생성기가 생성한 이미지의 i번째 픽셀이라고 할 때, 손실함수는 다음과 같이 정의된다.
MSE 손실은 이미지의 원시 픽셀 차이를 기반으로 하여 구조적 일관성을 유지한다. 적대적 손실은 생성된 이미지가 판별기에 의해 실제 이미지로 분류될 확률을 최대화하기 위해 정의된다. 일반적으로 적대적 손실은 다음과 같이 계산된다.
N, D(G(ILR))은 각각 생성된 데이터셋의 총 개수와 생성기가 생성한 이미지에 대한 판별기의 출력을 나타낸다. 본 논문에서는 이론적인 수식과 동일한 의미를 가지되 기울기 계산의 효율성과 학습 안정성을 위해, 적대적 손실항을 다음과 같이 선형 형태로 단순화하여 계산하였다.
최종적으로 생성기의 손실함수는 내용 손실과 적대적 손실의 가중치 합으로 구성된다.
판별기의 손실함수는 판별기가 실제 이미지와 생성된 이미지를 구별하는 능력을 극대화하기 위한 목적을 가진다. 제안하는 판별기의 손실함수는 기본적인 GAN의 적대적 손실함수 형태와 동일하게 구현된다. 본 논문에서는 일반적인 GAN의 적대적 손실함수를 선형 형태로 단순화하여 다음과 같은 식으로 판별기의 손실함수를 구현하였다.
판별기는 위의 식을 최대화하는 방향으로 학습해야 하지만, 실제 학습 과정에서는 손실을 최소화하는 방식으로 진행된다. 따라서, 학습에서는 다음과 같은 손실 함수를 정의하여 사용하였다.
본 논문에서 제안한 생성기와 판별기의 학습에는 Adam(adaptive moment estimation) 최적화 알고리즘을 사용하였다[14],[15]. 생성기와 판별기에 동일한 학습률을 적용하여, 각 네트워크의 파라미터를 동시에 학습시켰다. 학습률은 0.0002로 설정하였으며, 학습은 총 100회의 에포크 동안 진행되었다. 본 연구에서는 총 600장의 데이터를 사용하였으며, 이 중 80 %인 480장은 학습용 데이터로, 나머지 20 %인 120장은 테스트용 데이터로 분할하였다. 학습용 데이터에는 90도 회전, 좌우 반전 등의 데이터 증강 기법을 적용하여 총 3,840장의 데이터를 생성하였고, 이를 통해 모델이 다양한 변형된 이미지를 학습할 수 있도록 하였다. 본 논문에서 사용된 학습 파라미터는 표 2에 요약되어 있다. 학습은 NVIDIA GeForce RTX 4080 GPU를 사용하여 수행되었으며, 평균 학습 시간은 19초였다.
| Parameter | Value |
|---|---|
| Number of training data | 3840 |
| Epochs | 100 |
| Batch size | 8 |
| Optimizer | Adam |
| Learning rate | 0.0002 |
제안된 모델의 성능을 객관적으로 검증하기 위해, 본 논문에서는 기존의 초해상도 이미징 관련 방법들과 비교 분석을 수행하였다. 이를 위해 참조 모델로 ESRGAN(enhanced super resolution generative adversarial network)[16], MSRN(multi-scale residual network)[17], modified U-Net[18]을 설계하였다. 정성적 평가는 새, 드론, UAV의 ISAR 이미지를 활용하여 각 모델이 생성한 결과를 시각적으로 비교함으로써, 생성된 이미지의 시각적 품질과 표현력을 평가하였다. 그림 4는 세 가지 타깃 유형에 대해 다양한 모델이 저해상도 이미지를 고해상도로 복원한 결과를 시각적으로 비교한 것이다. 각 열은 새, 드론, UAV를 나타내며, 첫 번째 행은 원본 이미지를, 두 번째 행은 ESRGAN을 사용한 복원 결과를, 세 번째 행은 MSRN 복원 결과를, 네 번째 행은 modified U-Net 복원 결과를, 마지막 행은 제안된 네트워크를 이용한 복원 결과를 보여준다. 본 연구에서 제안하는 네트워크는 모든 타깃 유형에서 기존 방법 대비 우수한 성능을 보였으며, 특히 고해상도 이미지와 유사한 품질을 제공하였다. 전체적인 복원 결과를 살펴보면, 먼저 ESRGAN은 타깃의 기본적인 형상을 복원하는 데 어느 정도 성공했으나, 경계와 세부 정보가 불분명하거나 심각하게 왜곡된 영역이 다수 관찰되었다. 특히, 타깃의 외곽선이 뭉개지거나 텍스처가 과도하게 매끄럽게 표현되는 문제가 있었다. 반면, MSRN은 ESRGAN보다 뛰어난 성능을 보여주며, 타깃의 구조를 비교적 잘 복원하였다. 타깃의 주요 형상을 유지하면서 세부 텍스처 표현에서도 개선된 결과를 보였으나, 여전히 경계선 부근에서의 표현이 다소 흐릿하거나 텍스처의 정밀도가 부족한 모습이 관찰되었다. Modified U-Net은 경계 복원에 있어서 MSRN보다 더 우수한 결과를 제공하였으나, 픽셀이 밀집된 영역에서 색상을 잃거나 세부 텍스처 표현이 불완전한 모습이 나타났다. 마지막으로, 본 논문에서 제안한 네트워크는 모든 타깃 유형에서 가장 뛰어난 성능을 보이며, 타깃의 형태를 가장 정확하게 복원하였다. 특히, 에지와 세부 구조가 명확히 유지되어 고해상도 데이터와 유사한 품질을 제공하였다. 새와 UAV의 경우, 날개의 방향성과 형태를 효과적으로 복원하였으며 드론의 경우, 대칭적인 프로펠러와 주요 구조를 높은 정확도로 재현하였다. 하지만 생성된 이미지에서 미세한 격자무늬 패턴이 관찰되며, 이는 텍스처 질감 표현에서 약간의 차이를 나타낸다. 이러한 패턴은 원본의 부드러운 질감을 완벽히 재현하지 못한 결과로 해석될 수 있으나, 세부 정보 복원 측면에서는 기존 방법들보다 더욱 우수한 성능을 보여준다.
정량적 평가는 이미지 합성 시간, NIQE(learned perceptual image patch similarity, LPIPS(natural image quality evaluator), DISTS(deep image structure and texture similarity)를 기반으로 수행되었다. LPIPS는 딥러닝 기반 성능 지표로, 두 이미지의 고차원적 특징 맵을 비교하여 인간의 시각적 품질과 밀접하게 연관된 결과를 제공한다. 사전 학습된 신경망을 통해 이미지 간의 유사성을 측정하며, 값이 낮을수록 시각적 유사성이 높은 것으로 간주된다[19]. NIQE는 비참조 기반 품질 평가 지표로, 이미지의 통계적 특성을 분석하여 자연스러움을 측정하며, 값이 낮을수록 자연스러운 이미지를 나타낸다[20]. DISTS는 구조적 정보와 텍스처를 모두 고려하는 딥러닝 기반 지표로, 값이 낮을수록 원본 이미지와의 구조적 및 텍스처적 유사성이 높음을 의미한다[21]. 추가적으로, 각 모델의 계산 복잡성을 비교하기 위해 단일 이미지 합성에 소요되는 시간을 측정하였다. 표 3은 테스트 데이터셋에 대한 각 모델의 성능평가 결과를 나타낸다. 제안된 모델의 평균 NIQE는 8.94로 가장 낮은 값을 기록하며 자연스러운 이미지를 생성함을 보였고, DISTS와 LPIPS에서도 각각 0.19, 0.08로 가장 낮은 값을 기록하여 구조적 및 시각적 유사성에서 우수성을 입증하였다. 또한, 제안된 모델의 이미지 합성 시간은 0.007초로, ESRGAN 대비 약 6.7배 빠른 속도를 보이며 계산 효율성 측면에서도 경쟁력을 나타냈다. 이러한 결과는 제안된 모델이 기존의 초해상도 이미징 방법 대비 더 나은 품질의 고해상도 ISAR 이미지를 생성함과 동시에 계산 자원 소모를 줄여 실제 응용 가능성이 높음을 입증한다.
| Method | Time per image generation (s) | LPIPS | NIQE | DISTS |
|---|---|---|---|---|
| ESRGAN | 0.047 | 0.17 | 8.97 | 0.26 |
| MSRN | 0.012 | 0.11 | 12.61 | 0.21 |
| Modified U-Net | 0.003 | 0.13 | 11.32 | 0.23 |
| Our network | 0.007 | 0.08 | 8.94 | 0.19 |
V. 결 론
본 논문에서는 기존 ISAR 시스템에서 높은 해상도를 달성하기 위해 요구되는 넓은 주파수 대역폭 사용의 한계를 극복하고자, 저해상도 ISAR 이미지로부터 고해상도 이미지를 생성하는 딥러닝 모델을 제안한다. PO 기반 계산을 활용해 다양한 소형 표적의 시뮬레이션 데이터를 생성하고, 이를 통해 저해상도-고해상도 이미지 쌍을 구성하여 제안된 모델을 학습시켰다. 그 결과, 제안된 모델은 LPIPS, NIQE, DISTS 지표를 기준으로 각각 0.08, 8.94, 0.19의 성능을 나타냈다. 본 연구는 제한된 레이다 자원으로도 고해상도 ISAR 이미지를 생성할 수 있는 효율적인 방법을 제시하며, 군사적 감시, 공공 안전, 무인 항공기 탐지 등 고해상도 이미지가 필요한 다양한 분야에서 활용 가능성을 보여준다. 향후에는 실제 환경에서 획득한 ISAR 이미지에 대한 모델의 일반화 성능을 평가하고, 다양한 표적에 대한 적용 가능성을 검토하는 방향으로 확장할 수 있을 것으로 기대된다.
