The Journal of Korean Institute of Electromagnetic Engineering and Science

The Korean Institute of Electromagnetic Engineering and Science

J. Korean Inst. Electromagn. Eng. Sci. 2024; 35(12):1052-1060

pISSN: 1226-3133, eISSN: 2288-226X

DOI: https://doi.org/10.5515/KJKIEES.2024.35.12.1052

논문/REGULAR PAPER

중첩 개구 내 공통 펄스 위상 동등화를 통한 비디오 SAR 정합

이석원

, 고재근^*

, 변정민^**

, 이명진^**

Video SAR Registration Based on Phase Equalization of Common Pulses in Overlapped Aperture Mode

Seokwon Lee

, Jaekun Ko^*

, Jungmin Byun^**

, Myeong-jin Lee^**

한국항공대학교 항공전자연구소

^*한국항공대학교 항공전자정보공학부

^**한국항공대학교 스마트항공모빌리티학과

Aerospace and Aviation Electronics Research Center, Korea Aerospace University

^*School of Electronics and Information Engineering, Korea Aerospace University

^**Department of Smart Air Mobility, Korea Aerospace University

^†Corresponding Author: Myeong-jin Lee (e-mail: artistic@kau.ac.kr)

© Copyright 2024 The Korean Institute of Electromagnetic Engineering and Science. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Oct 15, 2024; Revised: Oct 26, 2024; Accepted: Nov 14, 2024

Published Online: Dec 31, 2024

요 약

이동 플랫폼에 탑재한 합성 개구 레이다(synthetic aperture radar)를 이용하여 관심 영역에 대한 연속의 SAR 프레임들로 구성된 비디오 SAR 시퀀스를 생성할 수 있다. 드론이나 항공기 활용시 항법 시스템을 통한 요동 보상 이후 자동 초점 기법을 통한 품질 개선에도 인접 비디오 SAR 프레임 간 정합이 맞지 않아 뷰포트 내 흔들림이 발생할 수 있다. 본 논문에서는 인접 프레임 간 정합 특성을 분석하고 중첩 개구 모드에서의 공통 펄스 위상 동등화 기반 정합 기법을 제안한다. 제안 방식은 랜덤 요동을 부가한 Gotcha 데이터셋과 드론 SAR 데이터셋에 대하여 정합 성능을 검증하였다.

Abstract

Using a synthetic aperture radar (SAR) mounted on a moving platform enables generation of a video SAR sequence composed of continuous SAR frames of the area of interest. When drones or aircraft are employed, even following motion compensation through the navigation system and quality improvement through autofocus techniques, misalignment between adjacent video SAR frames can cause jitter in the viewport. This study analyzes the registration characteristics between adjacent video SAR frames and proposes a registration technique based on common pulse phase equalization in the overlapped aperture mode. The registration performance of the proposed method is verified using the Gotcha dataset with added random motion and a drone SAR dataset.

Keywords: Video SAR; Autofocus; Registration; Common Phase Equalization

I. 서 론

합성 개구 레이다(SAR, synthetic aperture radar)는 뛰어난 해상도와 다양한 환경에서의 영상 획득 능력으로 인해 다양한 응용 분야에서 사용된다. SAR는 정적 고품질의 이미지를 생성하지만 이동 대상 추적 또는 동적 장면 분석과 같은 실시간 정보 추출에 제한이 있다^[1].

이를 극복하기 위한 기술인 비디오 SAR는 레이다의 이동 궤적을 따라 연속적으로 생성된 SAR 프레임을 묶어 하나의 시퀀스로 구성한다. 비디오 SAR 프레임 생성에는 이미지 SAR 생성 알고리즘을 동일하게 사용하며, 이동 표적 추적을 위해 화면율은 충분히 높아야 한다^[2]. 최근에는 비행 궤적에 따라 중첩(overlapped) 또는 비중첩(non-overlapped) 개구 모드에서의 비디오 SAR 프레임 생성에 관한 연구가 수행되고 있다. 일반적으로 높은 화면율을 위한 비디오 SAR 시스템에서는 중첩 개구 모드가 선호된다^[3].

비디오 SAR 프레임 생성 방법은 주파수 영역 및 시간 영역 알고리즘으로 분류된다. PFA(polar format algorithm)과 RDA(range Doppler algorithm)과 같은 주파수 영역 SAR 생성 알고리즘은 FFT 변환을 통해 PH(phase history) data를 주파수 영역으로 변환하여 SAR 이미지를 생성한다. FFT(Fast Fourier transform) 연산은 계산 효율성을 달성할 수 있지만^[4], 중첩 개구 모드에서 인접 비디오 SAR 프레임들 생성에 공통으로 사용되는 PH data에 대한 중복 연산을 제거할 수 없다.

BPA(back-projection algorithm)은 SAR 이미지를 시간 영역에서 생성하여 이동 대상에 대한 정확한 정보 추출을 가능하게 한다. 또한, full-aperture를 여러 개의 sub aperture로 분할하여 저해상도의 비디오 SAR 프레임을 병렬적으로 생성할 수 있다. 병렬 처리된 생성 프레임들을 하나로 병합하여 중첩 개구 모드에서 인접 비디오 SAR 프레임 간의 중복 연산을 최소화한 full-aperture 비디오 SAR 프레임들을 생성할 수 있다^[5],[6].

항공기나 드론에 탑재된 레이다 시스템에서 바람이나 대기의 난류에 기인한 요동으로 인해 SAR 이미지의 품질이 저하될 수 있다. 이러한 요동은 IMU/GPS와 같은 항법 장치를 이용하여 보정할 수 있지만 완벽하게 제거되지 않아 이미지에 잔여 위상 오차가 남게 된다^[7]. 이를 제거하기 위해 PGA(phase gradient autofocus)와 MEA(minimum entropy autofocus)와 같은 SAR 자동초점(AF: autofocusing) 기법을 사용한다. MEA는 특히 노이즈가 랜덤하거나 점 반사 모델 특성이 약한 환경에서도 강건한 성능을 가진다. 이 방법은 이미지 엔트로피 최소화 문제를 해결함으로써 안정적으로 이미지의 초점을 맞출 수 있다^[8],[9].

인접한 비디오 SAR 프레임들에 대한 MEA는 프레임별로 독립적으로 수행되기 때문에, MEA의 위상 오차 추정 과정에서 각 프레임별 다른 엔트로피 수렴 특성으로 인접 프레임 간 공통 PH 데이터에 대한 추정 위상 오차가 상이한 문제를 유발할 수 있다. 이 경우 각 비디오 SAR 프레임들은 초점이 개선되었지만 하나의 시퀀스로 재생시 정합이 맞지 않아 흔들림이 발생한다.

광학 영상에 대한 비디오 안정화 방법은 품질이 낮고 잡음이 많은 SAR 이미지에 적용 시 특징 추출 및 매칭 단계의 정확성 부족으로 인해 안정화 품질이 좋지 않고, 안정화된 프레임 경계를 따른 검은 테두리가 발생한다^[10]~[12].

본 논문에서는 BPA 기반 비디오 SAR 시스템에서 요동보상 및 자동초점 보정 후 발생하는 흔들림을 보정하고 기존 광학 영상 기반 안정화 기법 적용시 발생하는 프레임 경계 손상과 화질 저하 문제를 해결하기 위해 비중첩 개구 모드에서 병진 변환 추정 기반의 정합 기법과 중첩 개구에서 공통 PH 데이터의 추정 위상 오차 동일화 기반 정합 방법을 제안한다.

본 논문의 구성은 다음과 같다. 제II장에서는 비디오 SAR를 위한 BPA 기반 MEA 구조 제시와 MEA 수행 후 인접 프레임 간 정합 특성을 분석한다. 제III장에서는 비중첩 및 중첩 개구 모드에서 인접 프레임 간 정합 및 안정화 기법을 제안한다. 제IV장에서는 랜덤 요동이 부가된 원시 데이터와 FMCW-SAR 실측 원시 데이터에 대한 제안 기법의 안정화 결과를 제시한다. 제V장에서 본 논문의 결론과 향후 연구 내용을 제시한다.

II. BPA-MEA 기반 비디오 SAR 생성 구조

2-1 비디오 SAR를 위한 BPA 기반 MEA 구조

SAR 시스템에서 de-chirped된 LFM(linear frequency modulated) 수신 신호에서 n번째 펄스의 i번째 고속-시간 방향 샘플의 위상은 식 (1)과 같다.

ϕ (n, i) = − 2 c ω 0 + γ 0 T s i x n s r, n + 2 γ 0 x n c 2 s r, n 2

(1)

여기에서 ω₀는 기준 각속도, γ₀는 chirp rate, T_s는 fast-time 샘플 시간 간격, x_n은 파수 보상 계수, s_r,n은 레이다로부터 SRP(scene reference point)와 표적까지의 경사거리 차를 나타낸다.

PH data에 대해 거리압축(range compression)과 잔여 비디오 위상 에러 보정을 거친 후 특정 위치에 초점 맞춤한 거리압축 신호는 식 (2)와 같다.

G (v, n) ≈ A R W I − a w r x n ρ r s r, n − s^r, n × exp − j 2 c ω 0 x n s r, n − s^r, n,

(2)

여기에서 $S^r, n$ 은 특정 위치에 대한 경사 거리차이고, ρ_r은 경사거리 해상도이다.

비디오 SAR 시퀀스에서 m번째 프레임 내 (u_x, u_y) 좌표의 영상 신호는 개구면 내 펄스들로부터 이에 대응되는 특정 위치의 경사 거리차에 대한 거리압축 신호들을 누적시켜 식 (3)과 같이 생성한다.

F m u x, u y = ∑ n G (v, n),

(3)

여기에서 경사거리 화소간 거리 δ_r에 대하여 $v = − x n δ r s^r, n$ 이다. 본 논문에서는 m번째 비디오 SAR 프레임에 대해 자동초점 보상 전 프레임을 $F^m$ , 불완전한 자동초점 보상 후 프레임을 $F ˜ m$ , 완전한 자동초점 보상 프레임을 F_m라고 한다.

본 논문은 N_p개의 펄스로 full-aperture를 구성하고 중첩 개구 모드로 비디오 SAR 프레임을 생성한다. 요동보상 이후 비디오 SAR 프레임 생성 및 자동초점보상 과정은 그림 1과 같다¹⁾. F_m과 F_m+1은 중첩 개구 모드에서 N_∞개의 펄스를 공유한다. MEA 자동초점 알고리즘은 F_m과 F_m+1에 대해 독립적으로 펄스별 위상 오차를 추정한다.

그림 1. | Fig. 1. 비디오 SAR 프레임 생성 및 AF 적용 과정 | Video SAR frame generation and AF process.

Download Original Figure

2-2 MEA 이후 인접 프레임 간 정합 특성 분석

MEA의 위상 오차 추정 시 엔트로피 수렴 특성에 따라 인접 프레임들에서 독립적으로 추정한 중첩 펄스들의 위상 오차가 서로 다를 수 있다 $(ϕ m, n 1 e ≠ ϕ m + 1, n 2 e, n 1 = N p − N 0 v + n 2)$ . 이는 인접 프레임 간 동일 지점 비교시 그림 2와 같은 오정렬(mis-alignment)의 원인이 되어 비디오 SAR 시퀀스 재생 시 뷰포트 내 흔들림이 발생한다.

그림 2. | Fig. 2. 인접 비디오 SAR 프레임 간의 오정렬 | Mis-alignment in adjacent video SAR frames.

Download Original Figure

그림 2에서 F₁과 $F ˜ 2$ , 그리고 F₃과 $F ˜ 4$ 는 서로 인접한 프레임들에 대한 MEA 결과이다. F₁과 F₃은 전역 최소지점으로 엔트로피가 수렴된 MEA 결과이며, $F ˜ 2$ 는 MEA 반복 횟수 부족에 기인한 부정확한 위상 오차 추정, $F ˜ 4$ 는 국부 최소지점으로 엔트로피가 수렴된 결과이다. 본 논문에서는 엔트로피 수렴이 완료된 F_m을 정합을 위한 기준 프레임으로 사용한다. 불완전한 엔트로피 수렴 결과인 $F ˜ m$ 은 기준 프레임으로 정합 대상이 된다. 복수의 프레임 내 대응 지점들에 대해 F₁(또는 F₃)과 $F ˜ 2$ (또는 $F ˜ 4$ )을 비교시 동일한 변위만큼 오정렬이 발생하며, 본 논문에서는 이를 병진 변환으로 모델링한다.

Circular spotlight 모드의 비디오 SAR 운용 환경에서 그림 3(a)와 같이 장면 내 기준 지점을 중심으로 SAR 플랫폼이 원을 그리며 등속 이동한다고 가정한다. 불완전한 자동초점보상 후 그림 3(b)와 같이 각 펄스 송수신 위치에서 위치 오차 벡터 $p n e$ 에 의해 플랫폼의 실제 위치 r_n가 아닌 $r ˜ n$ 을 이용하여 SAR 영상생성을 수행시 기준 프레임 대비 병진 변환되어 오정렬된 SAR 프레임이 생성된다.

그림 3. | Fig. 3. AF 이후 잔여 위치 오차에 의한 SAR 프레임의 병진 변환 모델링 | Modeling SAR frame translation caused by residual position error after AF.

Download Original Figure

SAR 프레임 생성 과정에서 SAR 플랫폼의 위치 오차는 SRP의 p_t만큼 이동한 것으로 간주할 수 있고, 이 경우 경사거리는 식 (4)와 같다.

s r, n t = r n − p t − r n − s

(4)

SRP에 대한 경사거리와 플랫폼 위치 오차를 반영한 SRP’에 대한 경사거리 차이는 식 (5)와 같다.

Δ s r, n = s r, n t − s r, n = r n − p t − r n ≈ − (cos β + n θ sin β) p t

(5)

SRP 이동이 반영된 SAR 프레임은 각 펄스별 수신 신호에 선형 위상이 부가되어 식 (6)과 같다.

F t u x, u y = ∑ n G (v, n) exp j 4 π f c Δ s r, n c = ∑ n G ′ (v, n) exp (j α n) = ∑ n G ″ (v, n)

(6)

수신 신호에 부가된 선형 위상 요동의 기울기 α(=−4πf_cθsinβ |p_t| /c)를 양수 또는 음수로 설정하여 BPA 수행 결과 그림 4(b) 및 그림 4(c)와 같이 영상 전체에 병진 변환이 적용됨을 확인할 수 있다.

그림 4. | Fig. 4. 선형 위상 오차의 기울기 별 병진 변환 발생 | Translation by slope of linear phase error.

Download Original Figure

AF 이후 위치 오차 벡터 추정은 AF iteration 수를 증가시키거나 엔트로피 전역 최소 지점 탐색을 위한 복잡한 알고리즘을 사용해야 한다. AF 이후 오정렬된 SAR 프레임들의 엔트로피는 기준 프레임 대비 크게 차이나지 않고, 불완전하지만 자동초점보상 과정을 통해 선명한 영상이 생성된다. 이에 착안하여 본 논문에서는 기준 프레임과 오정렬된 SAR 프레임 간의 병진 변환 추정을 통한 비디오 SAR 시퀀스 정합 기법을 제안한다.

III. 중첩 개구 내 펄스 위상차 기반 정합 및 안정화

인접한 두 비디오 SAR 프레임에 대한 MEA 이후 중첩 개구 내 공통 펄스들의 추정 위상 오차(DPE: difference of estimated phase error)와 차이는 그림 5와 같다.

그림 5. | Fig. 5. 중첩 개구 에서의 선형/비선형 DPE(Gotcha 데이터셋, ±0.01 m 랜덤 요동) | Linear/non-linear DPE in the overlapped aperture (Gotcha dataset, ±0.01 m random error).

Download Original Figure

MEA 수행 후 중첩 개구 내 공통 펄스의 추정 위상 오차는 식 (7)과 같다.

Δ ϕ (n) = ϕ m, N p − N o v + n e − ϕ m + 1, n o v e, n = 1, 2, ⋯, N o v .

(7)

SAR 프레임들 사이에 병진 이동이 존재하는 경우 식(5) 및 식 (6)에서와 같이 기준 SAR 프레임과 대상 SAR 프레임 생성에 사용된 공통 펄스에 선형 위상 차가 존재하며, 본 절에서는 선형 위상 차를 추정하여 대상 프레임을 정합한다.

공통 펄스에 대한 DPE는 그림 5(a)와 같이 선형 또는 그림 5(b)와 같이 비선형 형태로 나타난다. 비선형 형태의 DPE는 MEA 프로세싱의 불완전한 엔트로피 수렴 또는 잘못된 엔트로피 수렴에 기인한다. 불완전한 엔트로피 수렴의 경우 충분한 MEA 반복 횟수를 더 부여하여 선형 DPE로 수렴할 수 있지만 연산량 관점에서 바람직하지 않다. 비선형 DPE 경우 부분적으로 선형성을 갖는 구간을 활용하여 선형으로 근사화한다.

DPE의 선형 및 비선형 형태를 판별하기 위하여 그림 5에서 DPE 부호열을 식 (8) 및 식 (9)와 같이 생성한다.

S F i g .5 (a) = " + − − − − + − − − − − + − − − − − − + " .

(8)

S F i g .5 (b) = " − + + − − − − − + + − − − − + + + − − " .

(9)

DPE 부호 문자열에서 두 개 이상 연속되는 부호가 하나만 존재할 경우 선형 형태로, 두 개인 경우 비선형 형태로 판별한다. DPE 부호 문자열에서 두 개 이상 연속되는 부호가 ‘−’ 하나만 존재하는 식 (8)의 경우 선형으로, 연속되는 부호가 두 개 존재하는 식 (9)의 경우 비선형으로 판별한다.

DPE 부호열에서 연속 길이가 가장 긴 부호를 DPE 기울기의 부호로 결정하며 그림 5(a) 및 그림 5(b) 모두 부호는 ‘−’ 이다. 기울기의 절댓값은 선형과 비선형 형태에 따라 다른 방식으로 추정한다. 선형 DPE 경우 기울기 부호에 따른 DPE 감소 또는 증가 구간 별 기울기의 평균을 최종 기울기로 사용한다. 그림 5(a)의 경우 DPE 기울기 부호 ‘−’에 따라 DPE 감소 구간은 {2, 3, 4, 5, 6}, {7, 8, 9, 10, 11, 12}, {13, 14, 15, 16, 17, 18, 19}이며, 각 구간별 least square method를 이용하여 기울기 a₁, a₂, a₃ 추정 후 이들의 평균으로 최종 기울기 a을 추정한다.

비선형 DPE 경우 기울기의 절댓값이 0.05씩 증가하는 K개의 후보 기울기를 갖는 선형 DPE를 식 (10)과 같이 생성한다.

Δ ϕ (n; j) = a j n

(10)

여기에서 a_j=±0.05j, j=1,2,…,K이며, 실측된 DPE 구간과 계산 복잡도를 고려하여 기울기 스텝을 결정하였다.

후보 기울기 a_j의 선형 DPE를 식 (6)의 대상 프레임에 추가 보상하여 병진 이동된 정합 후보 프레임 $F m + 1 j$ 를 생성한다. 기준 프레임 F_m과 translated 프레임 $F m + 1 j$ 의 엔트로피 차가 최소인 기울기 인덱스는 식 (11)과 같다.

j min = arg min j E F m + 1 j − E F m

(11)

여기에서 E(·)은 SAR 프레임의 엔트로피 함수이다.

그림 6은 그림 5(b)의 비선형 DPE에 대해 후보 기울기 변화에 대한 정합 대상 프레임과 기준 프레임 간 엔트로피 차를 나타낸다. 엔트로피 차가 최소인 j_min=18에 대해 Δφ(n;j_min)=0.9n인 DPE로 대상 프레임을 정합한다.

그림 6. | Fig. 6. DPE의 추정 기울기에 따른 기준 프레임과 이동 프레임의 엔트로피 차이(K=50, Gotcha 데이터셋, ±0.01 m 랜덤 요동) | Entropy difference between the reference and the translated frame by the slope (K=50, Gotcha dataset, ±0.01 m random error).

Download Original Figure

최종 정합된 대상 프레임은 식 (12)와 같다.

F m + 1 u x, u y = ∑ n G ″ (v, n) exp − j Δ ϕ n; j min

(12)

IV. 모의 실험 및 실측 데이터 검증

본 절에서는 제안하는 정합 기법의 성능 평가를 위해 Gotcha 데이터셋에 랜덤 위치 오차를 부가하는 모의실험과 실측 FMCW 드론 SAR 데이터셋을 활용하여 표 1의 실험 환경 및 계수들을 이용한 실험을 수행하였다.

표 1. | Table 1. 실험 환경 | Experiment environment.

	Simulation	Field test
Dataset	Gotcha volumetric SAR	FMCW drone SAR
SAR operating mode	Circular mode
Motion	0.01 m Random error	Real-world turbulence during drone flight
The number of frames	10	10
Pixel resolution	512×512
N_p	200
Overlapped ratio	10 % (N_ov=20)

Download Excel Table

모의실험과 실측실험 데이터셋에 대해 BPA와 MEA 기반 비디오 SAR 프레임 생성 및 자동초점 보상을 수행하였다. 각 프레임의 MEA 프로세스는 반복 전후의 엔트로피 차이가 문턱치 이하거나 50회 반복한 경우 종료하였다. 기준 프레임과 정합 전/후 프레임들에 대해 프레임 내 주요 지점들에 대한 거리 오차를 측정하였다.

정합성능 평가를 위해 기준 프레임(F_ref)과 정합 프레임(F_target)의 매칭 화소간 평균 거리 오차를 식 (13)과 같이 정의하였다.

d F r e f, F target = 1 N ∑ n = 1 N ‖ s r e f n − s target n ‖ 2,

(13)

여기에서 $s r e f n$ 과 $s t a r g e t n$ 은 각각 기준 프레임과 정합 프레임에서 n번째 매칭쌍의 화소 좌표이다. N은 성능평가를 위한 매칭쌍의 개수고, 실험에서 3개로 설정하였다.

4-1 요동 모사에 따른 정합 모의 실험

Overlapped 모드에서 그림 5(a) 및 그림 5(b)에 대하여 근사화할 선형 DPE의 부호는 모두 ‘−’이다. 선형으로 판별된 그림 5(a)에 대해 추정한 기울기 −1.01을 이용하여 그림 7(a)의 선형 DPE를 생성한다. 근사화한 선형 DPE를 이용하여 대상 프레임의 정합 수행 결과는 그림 8(c)와 같다. 기준 프레임과 정합 전후 프레임들 간 매칭 화소간 평균거리 오차는 80.4 % 성능이 향상되었다.

그림 7. | Fig. 7. 두 가지 DPE 경우에 대한 선형 근사화 결과 | Linear approximation results of 2 DPE cases.

Download Original Figure

그림 8. | Fig. 8. 정합 수행 결과(선형 DPE, Gotcha 데이터셋) | Registration results (linear DPE, Gotcha dataset).

Download Original Figure

비선형으로 판별된 그림 5(b)에 대해 대상 프레임과 기준 프레임의 엔트로피 차이는 기울기 a₂₁(=−1.05)에서 최소이다. 이를 기반으로 그림 7(b)와 같이 생성한 선형 DPE를 이용한 정합 수행 결과는 그림 9(c)와 같다. 기준 프레임과 정합 전후 프레임들 간 매칭 화소간 평균 거리 오차는 2.3 % 성능이 향상되었다. 이 경우 대상 프레임이 기준 프레임에 이미 적은 거리 오차로 정합되어 있어서, 제안 기법에 의한 성능 향상은 제한적이다. 비디오 SAR 응용에 따라 MEA 결과인 대상 프레임의 평균 거리 오차가 일정값 이하인 경우 이 프레임에 대한 정합이 필요하지 않을 수 있다.

그림 9. | Fig. 9. 정합 수행 결과(비선형DPE, Gotcha 데이터셋) | Registration results (non-linear DPE, Gotcha dataset).

Download Original Figure

4-2 실측 FMCW drone SAR 데이터셋 실험

실측 SAR 데이터셋에 대해 모의실험과 동일한 순서로 overlapped 모드의 대상 프레임에 대한 정합을 수행한다. 그림 10(a)의 지형에 대하여 BPA-MEA를 통해 생성한 비디오 SAR 프레임은 그림 10(b)와 같다.

그림 10. | Fig. 10. 드론 SAR 실험 지형 | Experimental terrain for drone SAR.

Download Original Figure

Overlapped 모드에서 그림 11(a) 및 그림 11(b)에 대하여 근사화할 선형 DPE의 부호는 모두 ‘+’이다. 선형으로 판별된 그림 11(a)에 대해 추정한 기울기 0.15를 이용하여 그림 11(a)의 선형 DPE를 생성한다. 근사화한 선형 DPE를 이용하여 대상 프레임의 정합 수행 결과는 그림 12(c)와 같다. 기준 프레임과 정합 전후 프레임들 간 매칭 화소간 평균 거리 오차는 65.7 % 성능이 향상되었다.

그림 11. | Fig. 11. 두 가지 DPE 경우에 대한 선형 근사화(실측 데이터셋) | Linear approximation of two DPE cases (real dataset).

Download Original Figure

그림 12. | Fig. 12. 정합 수행 결과(선형 DPE, 실측 데이터셋) | Registration results (linear DPE, Real dataset).

Download Original Figure

비선형으로 판별된 그림 11(b)에 대해 대상 프레임과 기준 프레임의 엔트로피 차이는 기울기 a₁₀(=0.5)에서 최소이다. 이를 기반으로 그림 11(b)와 같이 생성한 선형 DPE를 이용한 정합 수행 결과는 그림 13(c)와 같다. 기준 프레임과 정합 전후 프레임들 간 매칭 화소간 평균 거리 오차는 75.0 % 성능이 향상되었다.

그림 13. | Fig. 13. 정합 수행 결과(비선형 DPE, 실측 데이터셋) | Registration results (non-linear DPE, Real dataset).

Download Original Figure

모의 실험과 실측 데이터셋을 사용한 실험에서 측정한 각 단계별 정합 성능은 표 2와 같다. 각 데이터셋 입력에 대해 생성된 기준 프레임과 대상 프레임 10쌍에 대해 제안방식에 의해 정합 후 평균거리 오차 감소율을 계산하였다. 모의실험과 실측실험 모두 제안한 정합기법에 의해 평균거리오차가 55 % 이상 개선됨을 확인하였다.

표 2. | Table 2. 실험 별 정합 성능 비교 | Performance comparsion.

Dataset	Average distance error (pixel)		Improvement rate of average distance error (%)
Dataset	Before registration	After registration	Improvement rate of average distance error (%)
Simulation	6.7	3.0	55.2
Field test	18.0	7.8	56.7

Download Excel Table

실측실험은 이미징 대상 영역이 좁고, 레이다 센서와 측위 센서간 동기화 정보 부재로 동일 MEA 반복 횟수에 대해 자동초점 보상 특성이 모의실험보다 좋지 않아서, 상대적으로 큰 평균거리 오차를 갖는다. 그러나, 제안한 정합 기법은 자동초점 보상 특성 여부와 상관없이 평균거리 오차를 크게 개선하는 성능을 보이며, 이는 인접 비디오 SAR 프레임 생성에 필요한 중첩 개구 내 공통 펄스의 위상정보 동등화에 의한 결과로 판단된다.

제안 기법에 의해 정합된 비디오 SAR 시퀀스 재생시 정합 전 시퀀스보다 뷰포트 내 흔들림이 크게 감소하였음을 확인하였다. 제안 기법은 정합 후 뷰포트 내 배경 및 정적 표적의 시간에 따른 위치 변화를 감소시켜 이동 표적 검출에 적합한 비디오 SAR 시퀀스 생성에 기여할 수 있다.

V. 결 론

본 논문에서는 BPA-MEA 구조로 생성한 비디오 SAR 시퀀스에서 자동초점 보상 이후 인접 프레임 간의 정합 특성을 분석하고, 중첩 개구 모드에서 중첩 펄스 위상 동등화 기반 정합 기법을 제안하였다. 자동초점 보상 후 기준 프레임 대비 병진 변환된 오정합을 SRP 이동으로 모델링하고, 기준 및 대상 프레임에서 중첩 펄스들의 선형 위상차 추정 후 이를 보상하여 대상 프레임을 정합하였다. 랜덤요동 부가 데이터셋과 실제 데이터셋에 대해 제안 기법은 매칭 화소간 평균 거리 오차를 55 % 이상 감축함을 확인하였다. 향후 중첩 펄스 위상차 정보가 존재하지 않는 비중첩 개구 모드에 대한 비디오 SAR 정합 기법에 대한 연구가 필요하다.

Acknowledgements

이 연구는 2024학년도 정부(방위사업청)의 재원으로 국방과학연구소의 지원을 받아 수행된 연구임.

Notes

자동초점 보상 전 프레임을 $F^m$ , 불완전한 자동초점 보상 후 프레임을 $F ˜ m$ , 완전한 자동초점 보상 프레임을 F_m으로 표기한다.

References

[1].

C. A. Wiley, “Synthetic aperture radars,” IEEE Transactions on Aerospace and Electronic Systems, vol. AES-21, no. 3, pp. 440-443, May 1985.

[2].

S. Lee, I. Ban, M. Lee, Y. Jung, and W. Lee, “Architecture exploration of a backprojection algorithm for real-time video SAR,” Sensors, vol. 21, no. 24, p. 8258, Dec. 2021.

[3].

S. Zhao, J. Chen, W. Yang, B. Sun, and Y. Wang, “Image formation method for spaceborne video sar,” in 2015 IEEE 5th Asia-Pacific Conference on Synthetic Aperture Radar(APSAR), Singapore, Sep. 2015, pp. 148-151.

[4].

F. Zuo, R. Min, Y. Pi, J. Li, and R. Hu, “Improved method of video synthetic aperture radar imaging algorithm,” IEEE Geoscience and Remote Sensing Letters, vol. 16, no. 6, pp. 897-901, Jun. 2019.

[5].

L. A. Gorham, L. J. Moore, “SAR image formation toolbox for MATLAB,” in Proceedings SPIE, Algorithm for Synthetic Aperture Radar Imagery XVII, Orlando, FL, Apr. 2010, pp. 46-58.

[6].

M. Soumekh, “Digital spotlighting and coherent subaperture image formation for stripmap synthetic aperture radar,” in Proceedings of 1st International Conference on Image Processing, Austin, TX, Nov. 1994, pp. 476-480.

[7].

J. Hwang, H. I. Shin, and W. W. Kim, “Minimum-entropy-based autofocus method for real SAR images,” The Journal of Korean Institute of Electromagnetic Engineering and Science, vol. 29, no. 5, pp. 366-374, Apr. 2018.

[8].

I. Fletcher, C. Watts, E. Miller, and D. Rabinkin, “Minimum entropy autofocus for 3D SAR images from a UAV platform,” in 2016 IEEE Radar Conference(RadarConf), Philadelphia, PA, May 2016, pp. 1-5.

[9].

H. Lee, C. S. Jung, and K. W. Kim, “Feature preserving autofocus algorithm for phase error correction of SAR images,” Sensors, vol. 21, no. 7, p. 2370, Mar. 2021.

[10].

Y. Xu, J. Zhang, and D. Tao, “Out-of-boundary view synthesis towards full-frame video stabilization,” in Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision(ICCV), Montreal, QC, Oct. 2021, pp. 4842-4851.

[11].

Y. L. Liu, W. S. Lai, M. H. Yang, Y. Y. Chuang, and J. B. Huang, “Hybrid neural fusion for full-frame video stabilization,” in Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision(ICCV), Montreal, QC, Oct. 2021, pp. 2299-2308.

[12].

X. Huang, J. Ding, and Q. Guo, “Unsupervised image registration for video SAR,” IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 14, pp. 1075-1083, Oct. 2020.