SAR 영상 선박 탐지 성능 개선을 위한 디퓨전 기반 합성 데이터 증강과 RTMDet 적용

Ⅰ. 서 론

합성개구면 레이다(SAR: synthetic aperture radar)는 능동형 마이크로파 센서를 이용하여 주야 및 기상 조건에 관계없이 영상을 획득할 수 있으므로 해상 감시, 불법 선박 탐지, 항만 보안, 해양 재난 대응 등 다양한 분야에서 중요한 역할을 수행하고 있다^[1]~[16]. 특히 해상 환경에서는 광학 센서가 구름, 안개, 야간 환경에 취약한 반면, SAR 영상은 비교적 안정적으로 표적 정보를 제공할 수 있어 선박 탐지를 위한 핵심 수단으로 활용되고 있다^[17]~[29].

최근에는 딥러닝 기반 객체 탐지 기법의 발전에 따라 SAR 영상에서도 선박 탐지를 위한 다양한 연구가 진행되고 있다^[30]~[33]. 기존의 CFAR(constant false alarm rate) 기반 방법은 배경 통계 모델과 임계값 설정에 의존하기 때문에 복잡한 해상 clutter 환경이나 항만 주변의 다중 산란 환경에서 오탐이 증가할 수 있다. 반면, 딥러닝 기반 탐지기는 영상으로부터 표적 특징을 직접 학습할 수 있어 선박의 크기, 형상, 산란 특성이 다양하게 변화하는 조건에서도 높은 탐지 성능을 보일 수 있다. 이와 같은 배경에서 SAR 선박 탐지 분야에서는 one-stage, two-stage, anchorfree 및 경량 탐지기 등 다양한 딥러닝 기반 접근법이 연구되고 있다^[34]~[37].

본 논문에서는 선박 탐지 모델로 RTMDet(real-time models for object detection)을 적용한다^[38]~[40]. RTMDet는 실시간 객체 탐지를 목표로 설계된 fully convolutional single-stage detector 계열 모델로, backbone과 neck의 효율적인 구조 설계, large-kernel depth-wise convolution 기반의 특징 추출, 동적 label assignment 및 개선된 학습 기법을 통해 정확도와 추론 속도의 균형을 확보하도록 설계되었다. 또한 tiny, small, medium, large, extra-large 등 다양한 모델 크기를 제공하므로 연산 자원이 제한된 탑재형 해상 감시 시스템부터 고성능 지상 분석 시스템까지 다양한 운용 환경에 적용할 수 있다.

그러나 SAR 영상 기반 선박 탐지에서는 광학 영상 기반 탐지와는 다른 어려움이 존재한다. 해면 clutter, speckle 잡음, 선박 크기 변화, 관측 각도에 따른 산란 특성 변화, 낮은 표적-배경 대조도 등으로 인해 표적과 배경의 구분이 어렵고, 이로 인해 학습 데이터의 질과 양이 탐지 성능에 큰 영향을 미친다. 실제 SAR 선박 데이터는 획득 비용이 높고 라벨링이 어려우며, 다양한 해상 상태와 표적 형상을 균형 있게 포함하는 대규모 데이터셋 구축이 쉽지 않다. 특히 소형 선박이나 희소한 형상의 선박은 데이터 수가 부족하여 탐지 모델이 충분한 특징을 학습하지 못하는 경우가 많다. 이러한 데이터 부족 문제는 딥러닝 기반 탐지기의 일반화 성능 저하로 이어지며, 실제 운용 환경에서 오탐(false alarm)과 미탐(missed detection)을 증가시키는 원인이 된다^[30]~[33].

이러한 문제를 해결하기 위한 하나의 방법으로 생성모델 기반 합성 데이터 증강이 주목받고 있다^[34]~[37]. 기존의 데이터 증강 기법은 회전, 반전, 이동, 밝기 변화 등 원본 영상의 기하학적 또는 화소값 변환에 기반하는 경우가 많다. 이러한 방식은 구현이 간단하고 학습 데이터 수를 증가시킬 수 있지만, 원본 데이터에 존재하지 않는 새로운 표적 형상이나 산란 패턴을 충분히 생성하기 어렵다. 반면, 디퓨전 모델(diffusion model)은 영상에 점진적으로 잡음을 추가하는 forward process와 잡음으로부터 영상을 복원하는 reverse denoising process를 학습함으로써 고품질 영상을 생성할 수 있다^[35]. 또한 조건부 디퓨전 구조를 활용하면 클래스, 위치, 마스크, bounding box, 배경 조건 등 다양한 제어 정보를 이용하여 탐지 학습에 필요한 합성 영상을 생성할 수 있다^[34]~[37].

특히 SAR 선박 탐지에서는 단순히 선박 패치를 생성하는 것만으로는 충분하지 않으며, 탐지 학습 관점에서 해상 배경과의 조화, 표적 삽입 위치, 표적 크기, 산란 강도, 배경 clutter 특성 등을 함께 고려해야 한다. 최근에는 instanceto-image 형태의 디퓨전 모델을 이용하여 SAR 선박 탐지 데이터셋의 규모와 다양성을 확장하는 연구도 수행되었으며, 합성 데이터가 부족한 데이터 조건에서 탐지기 성능 향상에 기여할 수 있음이 보고되었다^[37]. 이러한 연구 흐름은 디퓨전 기반 생성모델이 SAR 선박 탐지를 위한 효과적인 데이터 증강 수단으로 활용될 수 있음을 시사한다.

그러나 본 연구는 기존 Ship-Go^[37]와 연구 목적 및 활용 방식에서 차별성을 가진다. Ship-Go^[37]는 instance-to-image generative diffusion을 이용한 SAR 선박 영상의 inpainting 및 데이터셋 다양성 확장에 초점을 두는 반면, 본 연구는 RTMDet 기반 선박 탐지기의 학습 성능 향상을 위한 탐지 목적의 합성 데이터 증강에 중점을 둔다. 구체적으로 본 연구에서는 디퓨전 모델로 생성한 선박 표적을 실제 SAR 해상 배경의 삽입 가능 영역에 배치하고, 표적 크기, 방향, 산란 강도, 해면 clutter 특성 및 기존 객체와의 중첩 여부를 고려하여 추가 학습 영상을 구성한다. 또한 생성 표적에 bounding box 라벨을 자동으로 부여하고, 품질 검증을 통과한 샘플만 탐지기 학습에 사용함으로써 합성 표적 생성부터 실제 배경 삽입, 라벨 생성, 품질 필터링, RTMDet 기반 성능 평가까지 연결되는 detection-oriented augmentation pipeline을 구성한다. 따라서 제안 방법은 단순한 SAR 선박 영상 생성 또는 복원 기법이 아니라, 실제 탐지 모델의 학습 데이터 구성을 직접 개선하기 위한 합성 데이터 증강 방법이라는 점에서 기존 연구와 구별된다.

본 논문에서는 SAR 영상 기반 선박 탐지에서 학습 데이터 부족 및 불균형 문제를 완화하기 위해, 디퓨전 모델로 생성한 선박 표적을 실제 해상 영역에 삽입하여 추가 학습 데이터를 구성하는 방법을 제안한다. 생성된 선박은 다양한 크기, 길이-폭 비율, 산란 강도, 표적 방향을 갖도록 구성되며, 실제 해면 배경에 삽입됨으로써 탐지기가 표적-배경 구분 특성을 함께 학습할 수 있도록 설계하였다. 또한 RTMDet 기반 탐지기를 적용하여 실제 탑재형 감시 시스템에서도 활용 가능한 탐지 구조를 구성하였다.

본 논문의 주요 기여점은 다음과 같다. 첫째, SAR 선박 탐지를 위한 디퓨전 기반 합성 선박 표적 생성 및 삽입 프레임워크를 제안하였다. 둘째, 생성된 선박 표적을 실제 해상 배경에 삽입하여 탐지기 학습에 적합한 형태의 synthetic training data를 구성하였다. 셋째, RTMDet 기반 탐지기를 이용하여 실제 데이터와 합성 데이터를 함께 학습함으로써 합성 데이터 증강의 효과를 분석하였다. 넷째, 제안한 방법이 데이터가 제한된 조건, 소형 선박, 해면 clutter 환경에서 갖는 유효성을 실험적으로 평가하도록 구성하였다.

Ⅱ. 본 론

2-2 디퓨전 기반 선박 표적 생성

본 논문에서는 부족한 선박 표적 데이터를 보완하기 위해 그림 1과 같은 디퓨전 기반 선박 표적 생성 구조를 사용한다. 디퓨전 모델은 원본 영상에 점진적으로 잡음을 추가하는 forward process와 잡음 영상으로부터 원본 영상을 복원하는 reverse process를 학습하는 생성모델이다^[35]. 일반적인 DDPM(denoising diffusion probabilistic model)에서 forward process는 식 (1)과 같이 정의된다.

$$q(x_t\left|x_{t-1}\right.)=N(\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)$$

(1)

그림 1. | Fig. 1. 디퓨전 기반 표적 생성 구조 | Diffusion-based target generation architecture.

Download Original Figure

여기서 x₀는 실제 선박 표적 영상, x_t는 t단계에서의 잡음 영상, β_t는 noise schedule을 의미한다. 이를 누적 곱 형태로 정리하면 식 (2)와 같이 임의의 시점 t에서의 잡음 영상을 직접 샘플링할 수 있다.

$$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ$$

(2)

여기서 ϵ ~ N(0, I), $\overline{{\alpha }_t}={\displaystyle \prod _{s=1}^t(1-{\beta }_s)}$ 이다. 학습 과정에서 디퓨전 모델은 x_t, 시간 단계 t, 조건 정보 c를 입력받아 추가된 잡음 ε을 예측하도록 학습된다. 이때 손실 함수는 식 (3)과 같이 정의할 수 있다.

$$L_{diff}=E_{x_{0,t,ϵ,c}}\left[{‖ϵ-{ϵ}_{\theta }\left(x_t,t,c\right)‖}_2^2\right]$$

(3)

여기서 ϵ_θ는 학습 가능한 denoising network이며, 조건 정보 c는 생성하고자 하는 선박 표적의 클래스, 크기, aspect ratio, 방향, bounding box 또는 mask 정보를 포함할 수 있다. 본 연구에서는 SAR 선박 표적의 생성 제어를 위해 선박 위치와 표적 영역 정보를 조건으로 사용하며, 필요에 따라 해상 배경 특성을 반영하는 배경 조건을 함께 입력한다. 이러한 조건부 생성 구조는 생성되는 표적이 탐지 학습에 필요한 위치 및 크기 정보를 만족하도록 하며, 생성된 표적의 bounding box 라벨을 자동으로 부여할 수 있도록 한다.

그림 1의 구조에서 디퓨전 모델은 먼저 실제 SAR 선박 패치 또는 선박 인스턴스 영역으로부터 표적의 산란 패턴을 학습한다. SAR 영상은 일반적인 RGB 영상과 달리 단일 채널 또는 편파 채널 기반의 강도 정보를 가지며, speckle 잡음과 국부적 강한 산란점이 표적 표현에 중요한 영향을 미친다. 따라서 본 연구에서는 입력 영상을 정규화하고, 필요에 따라 로그 스케일 변환 또는 intensity clipping을 적용하여 디퓨전 모델이 안정적으로 SAR 표적 분포를 학습하도록 한다.

생성 단계에서는 가우시안 잡음으로부터 시작하여 학습된 reverse denoising process를 반복적으로 수행함으로써 선박 표적 영상을 생성한다. 조건 정보 c를 조절함으로써 서로 다른 크기, 방향, 산란 강도, 길이-폭 비율을 갖는 선박 표적을 생성할 수 있다. 또한 생성된 표적은 품질 검증 과정을 거쳐 과도하게 흐리거나 SAR 표적 특성이 부족한 샘플을 제외한다. 품질 검증에는 표적 영역의 평균 강도, 배경 대비비, edge response, 표적 크기, bounding box 정합성 등을 사용할 수 있다.

이와 같은 디퓨전 기반 생성 방식은 기존의 단순 기하학적 증강과 달리 원본 데이터에 없는 새로운 표적 형상과 산란 분포를 생성할 수 있다는 장점을 가진다. 또한 GAN^[41] 기반 생성모델과 비교할 때 학습 안정성이 높고 mode collapse 위험이 상대적으로 낮아, 제한된 SAR 선박 데이터 환경에서도 다양한 합성 표적을 생성하는 데 유리하다. 본 연구에서는 이러한 특성을 활용하여 실제 데이터에서 부족한 소형 선박 및 희소 형상 선박 표적을 보완한다. 본 연구에서 사용한 디퓨전 모델의 주요 학습 및 생성 설정은 표 1과 같다. 본 연구에서는 SAR 선박 표적의 산란 패턴을 직접 학습하기 위해 단일 채널 SAR intensity patch를 입력으로 하는 conditional DDPM 구조를 사용하였다. 생성 과정에서는 선박 표적의 위치, bounding box, mask, 크기, 종횡비 및 방향 정보를 조건으로 입력하여 다양한 형상과 산란 특성을 갖는 합성 선박 표적을 생성하였다. 생성된 표적은 실제 SAR 해상 배경에 삽입되며, 합성 데이터의 비율은 실제 학습 데이터와 동일한 수의 합성 영상을 추가하는 1:1 비율로 설정하였다. 이에 따라 증강 적용 시 학습 데이터는 기존 대비 약 2배로 확장된다.

표 1. | Table 1. 디퓨전 모델의 학습 및 생성 설정 | Training and generation configuration of the diffusion model.

Parameter	Setting
Model type	Conditional DDPM
Input modality	Single-channel SAR intensity patch
Patch size	64×64 pixels
Diffusion timestep	1,000
Sampler	DDIM
Sampling step	50
Conditioning information	Ship class, bbox, target mask, size, aspect ratio, orientation, optional background statistics
Optimizer	AdamW
Learning rate	1.0×10−4
Batch size	32
Epochs	200
Synthetic data ratio	Real:Synthetic=1:1

Download Excel Table

표 1의 설정을 기반으로 디퓨전 모델은 실제 SAR 선박 patch의 산란 강도와 형상 분포를 학습하고, 조건 정보에 따라 다양한 크기와 방향을 갖는 합성 선박 표적을 생성한다. 생성된 표적은 평균 강도, 배경 대비비, edge response, 표적 크기 및 bounding box 정합성 등을 기준으로 품질을 확인한 후 실제 해상 SAR 배경에 삽입하였다. 이를 통해 단순한 기하학적 변환으로는 확보하기 어려운 새로운 표적 형상과 표적-배경 조합을 학습 데이터에 추가하였다.

2-3 디퓨전 기반 합성 데이터 증강 및 해상 배경 삽입

디퓨전 모델을 통해 생성된 선박 표적은 독립적인 패치 형태로만 사용하지 않고, 실제 SAR 해상 영상의 해면 영역에 합성하여 탐지기 학습을 위한 추가 데이터로 활용한다. 이때 합성 표적이 육지 영역, 항만 구조물, 기존 선박과 중첩되지 않도록 삽입 가능 영역을 사전에 선별한다. 이후 해면 clutter 특성이 비교적 자연스럽게 유지되는 위치를 선택하여 생성 선박을 배치함으로써, 합성 데이터가 실제 해상 관측 장면과 유사한 형태를 갖도록 구성한다. 또한 삽입되는 선박의 크기는 원본 SAR 영상의 공간 해상도와 표적 크기 분포를 고려하여 조정하며, 단일 선박 장면뿐만 아니라 여러 척의 선박이 포함된 장면도 함께 생성한다(그림 2).

그림 2. | Fig. 2. 실제 SAR 해상 배경에 대한 디퓨전 생성 선박 표적 삽입 및 bounding box 라벨 생성 | Diffusion-based synthetic ship target insertion and bounding-box label generation in a real SAR sea background.

Download Original Figure

본 연구에서는 생성된 선박을 해상 영역에 단순히 무작위로 배치하지 않고, 실제 SSDD 데이터셋에서 나타나는 선박의 출현 위치, 객체 수, 밀도 분포를 참고하여 삽입 조건을 설정한다. 즉, 합성 표적의 개수와 배치 간격을 실제 SAR 영상의 선박 분포와 유사하게 조절하여, 비현실적으로 많은 표적이 한 영역에 집중되거나 실제 해상 장면에서 보기 어려운 배치가 생성되는 것을 방지한다. 이를 통해 증강 데이터가 단순히 표본 수를 늘리는 데 그치지 않고, 실제 운용 환경과 유사한 통계적 특성을 갖도록 한다.

또한 합성 선박과 해상 배경 사이의 시각적 불일치를 줄이기 위해 삽입 과정에서 intensity 보정과 경계부 완화 처리를 수행한다. SAR 영상에서는 선박 표적의 강한 산란점, 주변 해면의 speckle 잡음, 국부적인 clutter 패턴이 함께 나타나므로, 생성 표적을 그대로 붙여 넣을 경우 표적 경계가 부자연스럽게 드러날 수 있다. 따라서 삽입 위치 주변의 배경 밝기 분포를 기준으로 합성 표적의 평균 강도와 대비를 조정하고, 표적 외곽에는 부드러운 mask를 적용하여 배경과 자연스럽게 연결되도록 한다. 필요에 따라 표적 주변의 약한 산란 성분을 함께 반영하여 실제 SAR 영상에서 관찰되는 선박 주변 산란 특성을 모사한다.

이러한 방식은 기존의 회전, 반전, 이동, 밝기 조절과 같은 일반적인 데이터 증강과 구별된다. 일반적인 증강은 기존 영상의 형태를 변형하여 데이터 수를 늘리는 데 초점을 두지만, 본 연구의 방법은 디퓨전 모델을 통해 새로운 선박 표적을 생성하고 이를 실제 해상 배경과 결합하여 새로운 탐지 학습 샘플을 구성한다. 따라서 제안한 증강 방식은 원본 데이터의 변형에 기반한 단순 증강이 아니라, 표적 생성과 배경 삽입을 함께 고려한 탐지 목적의 합성 데이터 구성 방법이라고 할 수 있다. 결과적으로 탐지 모델은 더 많은 선박 표본뿐만 아니라 다양한 표적 형상, 산란 강도, 배경 clutter 조건을 함께 학습할 수 있으며, 이는 SAR 영상 선박 탐지의 일반화 성능 향상에 기여한다.

2-4 RTMDet 기반 선박 탐지기

본 연구에서는 탐지 모델로 RTMDet를 사용한다. RTMDet는 실시간 객체 탐지를 목표로 설계된 singlestage detector 계열 모델로, 정확도와 추론 속도의 균형을 고려한 구조를 가진다^[38]~[40]. 본 논문에서는 탑재형 해상 감시 시스템과 같이 연산 자원이 제한된 환경에서의 적용 가능성을 고려하여 RTMDet 계열 중 경량 모델인 RTMDet-tiny를 기본 탐지기로 사용하였다. 본 연구의 RTMDet 학습 및 평가는 OpenMMLab 계열의 MMDetection 기반 RTMDet 구현을 사용하여 수행하였으며^[39],[40], baseline과 제안 방법 모두 동일한 model configuration 및 training schedule을 적용하였다(그림 3).

그림 3. | Fig. 3. RTMDet 구조[38] | RTMDet architecture used in this study[38].

Download Original Figure

RTMDet는 입력 영상으로부터 backbone에서 계층적 특징을 추출하고, neck에서 다중 해상도 특징을 융합한 뒤, detection head에서 각 위치의 bounding box와 class confidence를 예측하는 구조를 가진다. RTMDet의 backbone과 neck은 효율적인 convolution block을 기반으로 구성되며, large-kernel depth-wise convolution을 활용하여 넓은 수용 영역을 확보하면서도 연산량 증가를 억제한다. 이러한 구조는 해상 clutter 환경에서 작은 선박 표적과 주변 배경의 문맥 정보를 함께 고려하는 데 유리하다.

또한 RTMDet는 동적 label assignment와 soft label 기반 학습 전략을 활용하여 positive sample 할당의 품질을 개선하고, 다양한 크기의 객체에 대해 안정적인 학습을 수행하도록 설계되었다^[38]. SAR 영상의 선박 표적은 크기 변화가 크고, 소형 선박의 경우 bounding box가 매우 작게 나타날 수 있으므로, 다중 해상도 특징 융합과 효율적인 label assignment는 탐지 성능 향상에 중요한 역할을 한다. 특히 해면 clutter가 강한 영역에서는 배경 산란점이 선박 표적과 유사하게 나타날 수 있으므로, RTMDet가 제공하는 고속 one-stage 탐지 구조와 다중 스케일 특징 표현은 실시간 SAR 선박 탐지에 적합하다.

본 연구에서 사용한 RTMDet 기반 선박 탐지기의 주요 학습 설정은 표 2와 같다. 실시간 해상 감시 시스템 또는 탑재형 SAR 영상 분석 환경에서의 적용 가능성을 고려하여 RTMDet 계열 중 경량 모델인 RTMDet-tiny를 기본 탐지기로 사용하였다. 입력 SAR 영상은 일정한 크기로 resize한 후 정규화하여 입력하였으며, baseline, geometric augmentation, mosaic augmentation, diffusion-based augmentation의 모든 조건에 동일한 탐지기 구조와 학습 hyperparameter를 적용하였다. 이를 통해 성능 차이가 탐지기 구조 변화가 아니라 학습 데이터 구성 변화에서 기인하도록 실험 조건을 통제하였다.

표 2. | Table 2. RTMDet 기반 선박 탐지기의 학습 설정 | Training configuration of RTMDet for SAR ship detection.

Parameter	Setting
Model variant	RTMDet-tiny
Backbone/neck/head	CSPNeXt/CSPNeXtPAFPN/SepBNHead
Input size	640×640 pixels
Input channel	Single-channel SAR intensity image
Optimizer	AdamW
Learning rate	2.0×10−3
Batch size	16
Epochs	300
Weight decay	0.05
Evaluation metrics	Precision, recall, mAP@0.5, mAP@0.5:0.95

Download Excel Table

표 2의 설정은 실제 데이터만을 사용한 baseline과 디퓨전 기반 합성 데이터를 추가한 제안 방법에 동일하게 적용하였다. 따라서 두 조건의 성능 차이는 탐지기 구조 또는 학습 설정의 차이가 아니라 학습 데이터 구성, 즉 디퓨전 기반 합성 선박 표적의 추가 여부에 따른 영향으로 해석할 수 있다. 또한 SSDD 100 % 조건과 SSDD 10 % 조건 모두 동일한 RTMDet 설정을 적용하여, 데이터가 충분한 경우와 제한된 경우에서 합성 데이터 증강의 효과를 비교하였다.

본 연구에서는 실제 데이터만으로 학습한 baseline, geometric augmentation, mosaic augmentation 모델과 실제 데이터에 디퓨전 기반 합성 데이터를 추가하여 학습한 제안 모델을 비교함으로써, 디퓨전 기반 데이터 증강의 효과를 정량적으로 분석한다. 성능 평가는 precision, recall, mAP@0.5 및 mAP@0.5:0.95를 기준으로 수행한다. 또한 데이터가 충분한 조건과 제한된 조건을 모두 고려하여, 제안한 데이터 증강 기법이 일반적인 학습 환경뿐 아니라 데이터 부족 상황에서 얼마나 효과적으로 작동하는지 분석한다.

Ⅲ. 시뮬레이션 결과

본 장에서는 제안한 디퓨전 기반 합성 데이터 증강 방법이 SAR 영상의 RTMDet 기반 선박 탐지 성능에 미치는 영향을 분석한다. 실험에는 SSDD(sar ship detection dataset) 데이터셋을 사용하였다^[42]. 전체 데이터셋은 training 742장, validation 93장, test 232장으로 구성하였다. 학습에는 training 742장을 사용하고, hyperparameter 확인에는 validation 93장을 사용하였으며, 최종 성능 평가는 학습에 사용되지 않은 test 데이터 232장을 대상으로 수행하였다.

실험은 데이터 사용 비율에 따라 두 가지 경우로 구분하여 수행하였다. 첫 번째는 SSDD 데이터셋을 100 % 사용한 경우이며, 두 번째는 전체 학습 데이터의 10 %만 사용한 경우이다. 각 데이터 사용 조건에 대해 네 가지 학습 설정을 비교하였다. 첫 번째는 실제 SSDD 학습 데이터만을 사용한 baseline이다. 두 번째는 회전, 좌우·상하 반전, 평행 이동을 적용한 geometric augmentation 조건이다. 세 번째는 여러 SAR 영상을 하나의 학습 영상으로 결합하고 bounding box 좌표를 함께 변환하는 mosaic augmentation 조건이다. 네 번째는 본 연구에서 제안한 diffusion-based augmentation 조건으로, 디퓨전 모델을 통해 생성한 합성 선박 표적을 실제 SAR 해상 배경에 삽입하여 학습 데이터를 확장한 경우이다. 모든 조건에서 동일한 RTMDet 구조와 학습 hyperparameter를 사용하였으며, 학습 데이터 구성 방식만 다르게 하여 각 증강 기법의 효과를 비교하였다.

성능 평가는 precision, recall, mAP@0.5 및 mAP@0.5:0.95를 기준으로 수행하였다. Precision은 탐지 결과 중 실제 선박에 해당하는 비율을 의미하며, recall은 실제 선박 중 탐지된 비율을 나타낸다. mAP@0.5는 IoU threshold 0.5에서의 평균 정밀도를 의미하고, mAP@0.5:0.95는 다양한 IoU 기준에서의 평균 정밀도를 나타내므로 bounding box 위치 추정 성능을 보다 엄격하게 평가할 수 있다. SAR 영상에서의 정성적 탐지 비교 결과는 그림 4에 제시하였으며, 정량적 실험 결과는 표 4에 정리하였다.

그림 4. | Fig. 4. SAR 영상 기반 선박 탐지 결과의 정성적 비교 | Qualitative comparison of SAR ship detection results.

Download Original Figure

먼저 SSDD 데이터셋을 100 % 사용한 조건에서 실제 데이터만 사용한 RTMDet baseline의 성능은 precision 96.12 %, recall 94.72 %, mAP@0.5 97.76 %, mAP@0.5:0.95 68.55 %로 나타났다. Geometric augmentation을 적용한 경우 precision 96.34 %, recall 94.88 %, mAP@0.5 97.82 %, mAP@0.5:0.95 68.80 %로 baseline 대비 소폭 향상되었다.

Mosaic augmentation을 적용한 경우에도 precision 96.51 %, recall 94.96 %, mAP@0.5 97.89 %, mAP@0.5:0.95 69.03 %로 성능이 개선되었다.

동일한 SSDD 100 % 조건에서 제안한 diffusion-based augmentation을 적용한 경우 precision 96.78 %, recall 95.08 %, mAP@0.5 97.92 %, mAP@0.5:0.95 69.22 %로 나타났다. 이는 비교한 모든 학습 조건 중 가장 높은 성능이다. Baseline과 비교하면 precision은 0.66 %p, recall은 0.36 %p, mAP@0.5는 0.16 %p, mAP@0.5:0.95는 0.67 %p 향상되었다. 특히 mAP@0.5:0.95가 향상된 것은 제안한 증강 방법이 단순히 선박 존재 여부의 탐지뿐만 아니라 다양한 IoU 기준에서의 bounding box 위치 추정 성능 개선에도 기여함을 의미한다.

SSDD 100 % 조건에서는 geometric augmentation과 mosaic augmentation도 baseline 대비 성능 향상을 보였으나, 향상 폭은 제한적이었다. 이는 회전, 반전, 이동과 같은 기하학적 증강이나 여러 영상을 결합하는 mosaic 방식이 기존 데이터의 표현을 확장하는 데에는 효과가 있지만, 원본 데이터에 존재하지 않는 새로운 선박 산란 패턴이나 다양한 표적-배경 조합을 충분히 제공하는 데에는 한계가 있기 때문으로 해석된다. 반면 제안한 diffusion-based augmentation은 디퓨전 모델을 통해 새로운 선박 표적 형상과 산란 분포를 생성하고, 이를 실제 SAR 해상 배경에 삽입함으로써 보다 다양한 학습 샘플을 제공할 수 있다.

다음으로 SSDD 데이터셋의 10 %만 사용한 제한 데이터 조건에서는 증강 기법 간 성능 차이가 더욱 뚜렷하게 나타났다. 실제 데이터만 사용한 RTMDet baseline의 성능은 precision 88.42 %, recall 72.41 %, mAP@0.5 81.76 %, mAP@0.5:0.95 48.71 %로 나타났다. Geometric augmentation을 적용한 경우 precision 88.95 %, recall 75.60 %, mAP@0.5 84.25 %, mAP@0.5:0.95 50.20 %로 향상되었으며, mosaic augmentation을 적용한 경우 precision 89.47 %, recall 77.82 %, mAP@0.5 86.13 %, mAP@0.5:0.95 51.38 %로 추가적인 성능 개선을 보였다.

그러나 제안한 diffusion-based augmentation을 적용한 경우 precision 90.32 %, recall 80.51 %, mAP@0.5 88.67 %, mAP@0.5:0.95 52.43 %로 모든 평가 지표에서 가장 높은 성능을 달성하였다. Baseline과 비교하면 precision은 1.90 %p, recall은 8.10 %p, mAP@0.5는 6.91 %p, mAP@0.5:0.95는 3.72 %p 향상되었다. 특히 recall과 mAP@0.5의 향상 폭이 크게 나타난 것은, 실제 학습 데이터가 제한된 조건에서 디퓨전 생성 합성 선박 표적이 부족한 표적 다양성을 효과적으로 보완했기 때문으로 판단된다.

제한 데이터 조건에서 geometric augmentation은 기존 SAR 영상의 방향과 위치 변화를 통해 일부 일반화 성능을 개선하였고, mosaic augmentation은 여러 장면을 결합함으로써 객체 밀도와 배경 구성을 다양화하는 효과를 보였다. 그러나 두 방식 모두 기본적으로 기존 실제 데이터의 변형 또는 재조합에 기반하므로, 학습 데이터에 포함되지 않은 새로운 선박 형상, 산란 강도, 크기 분포를 충분히 생성하기 어렵다. 반면 제안한 diffusion-based augmentation은 다양한 크기, 방향, 산란 강도를 갖는 합성 선박 표적을 생성하고 이를 실제 해상 배경에 삽입함으로써 새로운 표적-배경 관계를 학습 데이터에 추가할 수 있다. 이러한 특성으로 인해 제한된 데이터 조건에서 제안 방법의 성능 향상 폭이 더욱 크게 나타난 것으로 해석된다.

mAP@0.5:0.95 역시 baseline의 48.71 %에서 제안 방법의 52.43 %로 향상되었다. 이는 단순히 선박의 존재 여부를 탐지하는 성능뿐만 아니라, 보다 엄격한 IoU 기준에서의 위치 추정 성능도 함께 개선되었음을 의미한다. SAR 영상에서 소형 선박은 표적 영역이 작고 해면 clutter와의 구분이 어렵기 때문에, 제한된 실제 데이터만으로는 안정적인 bounding box 회귀 성능을 확보하기 어렵다. 제안한 디퓨전 생성 합성 선박 데이터는 소형 선박의 크기, 방향, 산란 강도, 배경 조건을 다양하게 제공함으로써 RTMDet의 위치 추정 학습을 보완한 것으로 해석된다.

그림 4는 SAR 영상에서 baseline과 제안 방법의 탐지 결과를 정성적으로 비교한 사례이다. 그림 4(a)는 실제 데이터만으로 학습한 baseline의 탐지 결과이며, 일부 표적에서 낮은 confidence 또는 미탐 가능성이 나타나는 것을 확인할 수 있다. 그림 4(b)는 제안한 diffusion-based augmentation을 적용한 탐지 결과로, 동일한 해상 장면에서 선박 표적이 보다 안정적으로 탐지되고 confidence가 전반적으로 향상되는 경향을 보인다. 이는 디퓨전 생성 합성 선박 표적이 다양한 표적 형상, 산란 강도 및 표적-배경 조합을 학습 데이터에 추가함으로써 RTMDet의 일반화 성능을 보완했기 때문으로 해석된다.

또한 그림 4(c)는 제안 방법의 한계를 보여주는 failure case를 나타낸다. 해면 clutter 또는 강한 산란점이 선박과 유사하게 나타나는 경우 false alarm이 발생할 수 있으며, 반대로 표적 크기가 작거나 배경 대비가 낮은 선박은 missed detection으로 이어질 수 있다. 그림 4(d)는 강한 해면 clutter 환경에서의 소형 선박 탐지 사례를 나타낸다. 해당 결과는 제안 방법이 복잡한 SAR 해상 배경에서도 다수의 소형 선박을 탐지할 수 있음을 보여주며, 제한된 실제 데이터만으로 학습하기 어려운 소형 표적 및 clutter 조건을 합성 데이터가 보완할 수 있음을 시사한다.

전체 실험 결과를 종합하면, 제안한 diffusion-based augmentation은 SSDD 100 % 조건과 SSDD 10 % 조건 모두에서 baseline, geometric augmentation, mosaic augmentation보다 높은 성능을 보였다. SSDD 100 % 조건에서는 이미 충분한 실제 학습 데이터가 존재하기 때문에 성능 향상 폭은 상대적으로 작았으나, precision, recall, mAP@0.5 및 mAP@0.5:0.95가 모두 개선되어 제안한 합성 데이터가 실제 데이터 분포를 크게 훼손하지 않으면서 탐지 성능 보완에 기여함을 확인할 수 있었다.

제한된 데이터 조건에서는 디퓨전 기반 합성 데이터 증강의 효과가 더욱 뚜렷하게 나타났다. SSDD 10 % 조건에서 제안 방법은 모든 지표에서 가장 높은 성능을 보였으며, 특히 recall과 mAP@0.5의 향상 폭이 크게 나타났다. 이는 실제 학습 데이터가 부족할수록 합성 데이터가 선박 표적의 형상 다양성과 표적-배경 관계를 보완하는 효과가 커진다는 것을 의미한다. 따라서 제안한 방법은 대규모 SAR 선박 데이터셋 확보가 어려운 환경에서 RTMDet 기반 선박 탐지기의 일반화 성능을 높이는 데 효과적인 데이터 증강 전략으로 활용될 수 있다.

또한 디퓨전 모델로 생성된 선박 표적을 실제 해상 SAR 배경에 삽입함으로써, 탐지 모델은 단순한 표적 패치가 아니라 해면 clutter, speckle 잡음, 표적 크기 변화가 함께 반영된 장면을 학습할 수 있다. 이러한 학습 방식은 실제 운용 환경에서 나타나는 다양한 표적-배경 조합에 대한 적응성을 높이는 데 유리하다. 결과적으로 제안한 디퓨전 기반 증강과 RTMDet의 결합은 SAR 영상 선박 탐지에서 데이터 부족 문제를 완화하고, 특히 제한된 학습 데이터 조건에서 탐지 성능을 향상시키는 데 유효한 방법임을 확인할 수 있다.

Ⅳ. 결 론

본 논문에서는 SAR 영상 기반 선박 탐지에서 발생하는 학습 데이터 부족 및 표적 분포 불균형 문제를 완화하기 위해, 디퓨전 모델을 이용하여 생성한 선박 표적을 실제 해상 영역에 삽입하는 디퓨전 기반 합성 데이터 증강 기법을 제안하고, 이를 RTMDet 기반 선박 탐지기에 적용하였다. 제안한 방법은 회전, 반전, 이동과 같은 단순 기하학적 증강이나 여러 영상을 결합하는 mosaic augmentation과 달리, 새로운 선박 표적의 형상과 산란 분포를 생성한 후 실제 SAR 해상 배경과 결합하여 탐지기 학습에 적합한 추가 데이터를 구성한다는 점에서 차별성을 가진다.

실험은 SSDD 데이터셋을 이용하여 전체 데이터 100 % 사용 조건과 10 % 제한 데이터 조건으로 나누어 수행하였으며, 실제 데이터만 사용한 baseline, geometric augmentation, mosaic augmentation, 그리고 제안한 diffusion-based augmentation을 비교하였다. 모든 실험 조건에서는 동일한 RTMDet 구조와 학습 hyperparameter를 사용하고, 학습 데이터 구성 방식만 다르게 하여 각 증강 기법의 효과를 분석하였다.

전체 데이터를 사용한 SSDD 100 % 조건에서 RTMDet baseline은 precision 96.12 %, recall 94.72 %, mAP@0.5 97.76 %, mAP@0.5:0.95 68.55 %의 성능을 보였다. Geometric augmentation을 적용한 경우 precision 96.34 %, recall 94.88 %, mAP@0.5 97.82 %, mAP@0.5:0.95 68.80 %로 향상되었으며, mosaic augmentation을 적용한 경우 precision 96.51 %, recall 94.96 %, mAP@0.5 97.89 %, mAP@0.5:0.95 69.03 %를 기록하였다. 반면 제안한 diffusion-based augmentation을 적용한 경우 precision 96.78 %, recall 95.08 %, mAP@0.5 97.92 %, mAP@0.5:0.95 69.22 %로 모든 지표에서 가장 높은 성능을 보였다. 이를 통해 전체 학습 데이터가 충분한 조건에서도 제안한 합성 데이터 증강 방법이 RTMDet의 탐지 성능을 안정적으로 보완할 수 있음을 확인하였다.

제한된 데이터 조건에서는 제안한 방법의 효과가 더욱 크게 나타났다. SSDD 데이터셋의 10 %만 사용한 RTMDet baseline은 precision 88.42 %, recall 72.41 %, mAP@0.5 81.76 %, mAP@0.5:0.95 48.71 %의 성능을 보였다. Geometric augmentation을 적용한 경우 precision 88.95 %, recall 75.60 %, mAP@0.5 84.25 %, mAP@0.5:0.95 50.20 %로 향상되었고, mosaic augmentation을 적용한 경우 precision 89.47 %, recall 77.82 %, mAP@0.5 86.13 %, mAP@0.5:0.95 51.38 %를 기록하였다. 제안한 diffusionbased augmentation은 precision 90.32 %, recall 80.51 %, mAP@0.5 88.67 %, mAP@0.5:0.95 52.43 %로 모든 평가 지표에서 가장 우수한 성능을 달성하였다. 특히 baseline 대비 recall은 8.10 %p, mAP@0.5는 6.91 %p 향상되어, 학습 데이터가 제한된 상황에서 제안한 방법의 효과가 더욱 두드러짐을 확인하였다.

이러한 결과는 geometric augmentation과 mosaic augmentation이 기존 데이터의 변형 또는 재조합을 통해 일정 수준의 성능 향상을 제공할 수 있으나, 원본 데이터에 존재하지 않는 새로운 선박 형상, 산란 강도, 표적 크기 및 표적-배경 관계를 충분히 제공하는 데에는 한계가 있음을 보여준다. 반면 제안한 디퓨전 기반 합성 데이터 증강은 다양한 크기, 방향, 산란 특성을 갖는 선박 표적을 생성하고 이를 실제 SAR 해상 배경에 삽입함으로써, RTMDet가 보다 다양한 표적 형상과 해면 clutter 조건을 학습하도록 한다. 이에 따라 제안한 방법은 특히 제한된 데이터 조건에서 선박 표적의 다양성을 보완하고 탐지기의 일반화 성능을 향상시키는 데 효과적이다.

또한 제안한 방법은 단순한 선박 패치 생성에 그치지 않고, 실제 해상 배경 삽입, intensity 보정, bounding box 자동 라벨링 및 합성 데이터 품질 검증 과정을 포함한다. 따라서 탐지 모델은 독립적인 표적 영상이 아니라 speckle 잡음, 해면 clutter, 표적 크기 변화, 표적-배경 대비가 함께 반영된 장면을 학습할 수 있다. 이러한 특성은 실제 해상 감시 시스템이나 탑재형 SAR 영상 분석 환경에서 나타날 수 있는 다양한 관측 조건에 대한 적응성을 높이는 데 기여할 수 있다.

본 연구는 SSDD 데이터셋을 중심으로 제안한 디퓨전 기반 합성 데이터 증강의 효과를 검증하였다는 점에서 한계를 가진다. 향후 연구에서는 HRSID, LS-SSDD-v1.0 등 다양한 SAR 선박 탐지 데이터셋에 대해 동일한 합성 데이터 생성 및 품질 필터링 절차를 적용하고, 센서 조건, 해상도, 해면 clutter 특성이 달라지는 환경에서의 일반화 성능을 추가적으로 검증할 예정이다. 또한 다중 seed 반복 실험과 합성 데이터 비율 변화에 따른 성능 분석을 통해, 디퓨전 기반 합성 데이터 증강이 SAR 선박 탐지 모델의 안정성과 재현성에 미치는 영향을 보다 정밀하게 분석할 계획이다.