ACGAN 기반 합성 선박 데이터 증강을 이용한 SAR 영상의 YOLO 기반 선박 탐지

Ⅰ. 서 론

합성개구면 레이다(SAR: synthetic aperture radar)는 능동형 마이크로파 센서를 이용하여 주야간 및 기상 조건에 관계없이 영상을 획득할 수 있으므로 해상 감시, 불법 선박 탐지, 항만 보안, 해양 재난 대응 등 다양한 분야에서 중요한 역할을 수행하고 있다^[1]~[6]. 특히 해상 환경에서는 광학 센서가 구름, 안개, 야간 환경에 취약한 반면, SAR 영상은 비교적 안정적으로 표적 정보를 제공할 수 있어 선박 탐지를 위한 핵심 수단으로 활용되고 있다^[7]~[21].

최근에는 딥러닝 기반 객체 탐지 기법의 발전에 따라 SAR 영상에서도 선박 탐지를 위한 다양한 연구가 진행되고 있다^[22]~[24]. 그중 YOLO 계열 모델은 높은 탐지 정확도와 빠른 추론 속도를 동시에 확보할 수 있어 실시간 감시 체계에 적합한 구조로 평가받고 있다. 특히 YOLOv8n은 경량화된 네트워크 구조를 기반으로 하여 연산량이 제한된 환경에서도 적용 가능성이 높다는 장점을 가진다. 그러나 SAR 영상 기반 선박 탐지에서는 광학영상 기반 탐지와는 다른 어려움이 존재한다. 해면 clutter, speckle 잡음, 선박의 크기 변화, 산란 특성 변화, 그리고 낮은 대조도 등으로 인해 표적과 배경의 구분이 어렵고, 이로 인해 학습 데이터의 질과 양이 탐지 성능에 큰 영향을 미친다^[25]~[32].

실제 SAR 선박 데이터는 획득 비용이 높고 라벨링이 어려우며, 다양한 해상 상태와 표적 형상을 균형 있게 포함하는 대규모 데이터셋 구축이 쉽지 않다. 특히 소형 선박이나 희소한 형상의 선박은 데이터 수가 부족하여 탐지 모델이 충분한 특징을 학습하지 못하는 경우가 많다. 이러한 데이터 부족 문제는 딥러닝 기반 탐지기의 일반화 성능 저하로 이어지며, 실제 운용 환경에서 오탐(false alarm)과 미탐(missed detection)을 증가시키는 원인이 된다^[22]~[24].

이러한 문제를 해결하기 위한 하나의 방법으로 생성모델을 이용한 합성 데이터 증강이 주목받고 있다^[33],[34]. 생성모델 기반 데이터 증강은 기존 데이터의 단순 회전, 반전, 이동 등의 기하학적 변환을 넘어, 실제 데이터에서 부족한 형태의 표적 샘플을 새롭게 생성할 수 있다는 장점을 가진다. 특히 ACGAN(auxiliary classifier generative adversarial network)은 생성 과정에서 클래스 정보를 함께 활용할 수 있어 보다 제어 가능한 표적 생성이 가능하며, 선박과 같이 구조적 특징이 비교적 뚜렷한 표적의 다양성 확보에 유리하다. 그러나 SAR 영상에서는 단순히 선박 패치를 생성하는 것만으로는 충분하지 않으며, 탐지 학습 관점에서 해상 배경과의 조화를 고려한 데이터 구성이 필요하다.

본 논문에서는 SAR 영상 기반 선박 탐지에서 학습 데이터 부족 및 불균형 문제를 완화하기 위해, ACGAN으로 생성한 선박 표적을 실제 해상 영역에 삽입하여 추가 학습 데이터를 구성하는 방법을 제안한다. 생성된 선박은 다양한 크기와 형상으로 구성되며, 실제 해면 배경에 삽입됨으로써 탐지기가 표적-배경 구분 특성을 함께 학습할 수 있도록 설계하였다. 또한 경량 객체 탐지기인 YOLOv8n을 적용하여 실제 탑재형 감시 시스템에서도 활용 가능한 구조를 구성하였다.

본 논문의 주요 기여점은 다음과 같다. 첫째, SAR 선박 탐지를 위한 ACGAN 기반 합성 선박 데이터 생성 및 삽입 프레임워크를 제안하였다. 둘째, 생성된 표적을 실제 해상 배경에 삽입하여 탐지기 학습에 적합한 형태의 synthetic training data를 구성하였다. 셋째, YOLOv8n을 기반으로 실제 데이터와 합성 데이터를 함께 학습함으로써 탐지 성능 향상 가능성을 확인하였다. 넷째, 제안한 방법이 특히 소형 선박과 해면 clutter 환경에서 유효함을 실험적으로 분석하였다.

Ⅱ. 본 론

2-2 ACGAN 기반 선박 표적 생성

본 논문에서는 부족한 선박 표적 데이터를 보완하기 위해 그림 1과 같은 ACGAN 기반 구조^[35]를 이용하여 선박 표적을 생성한다. 그림 1에서 H는 생성기(generator), A는 판별기(discriminator), K는 보조 분류 경로(auxiliary classifier)를 나타낸다. 또한 b는 클래스 조건 정보, y는 잠재벡터(latent vector), x는 실제 영상, H(y)는 생성기가 출력한 합성 영상을 각각 의미한다.

그림 1. | Fig. 1. ACGAN 기반 선박 표적 생성 구조 | ACGAN-based ship target generation architecture.

Download Original Figure

그림 1의 하단에서 생성기 H는 잠재벡터 y와 클래스 조건 b를 입력으로 받아 합성 영상 H(y)를 생성한다. 이때 클래스 조건 b는 생성하고자 하는 표적의 범주 정보를 반영하기 위한 조건으로 사용되며, 생성기는 해당 조건에 부합하는 형태의 영상을 생성하도록 학습된다. 즉, 생성기 H는 단순한 무작위 영상이 아니라 주어진 클래스 조건을 만족하는 선박 표적 영상을 생성하는 역할을 수행한다.

생성된 영상 H(y)와 실제 영상 A는 모두 판별기 A의 입력으로 사용된다. 판별기 A는 입력 영상이 실제인지 생성된 영상인지를 구분하여 상단의 real 혹은 fake 출력을 수행한다. 동시에 판별기 내부 특징은 보조 분류 경로 K로 전달되며, 이를 통해 입력 영상의 클래스 정보를 추정하여 class 출력을 생성한다. 따라서 판별기 A는 진위 판별과 클래스 분류를 동시에 수행하는 구조를 가진다.

이와 같은 구조를 통해 생성기 H는 판별기 A를 속일 수 있을 만큼 실제와 유사한 영상을 생성하는 동시에, 클래스 조건 b에 부합하는 표적 형상을 반영하도록 최적화된다. 다시 말해, 생성기는 실제와 유사한 시각적 특성과 조건 정보에 따른 구조적 특성을 동시에 만족하는 표적 영상을 생성해야 한다. 이러한 조건부 생성 구조는 실제 데이터에서 부족한 선박 표적의 형상 다양성을 보완하는 데 유리하다.

본 연구에서는 이와 같은 특성을 활용하여 실제 SAR 영상에서 부족한 선박 표적을 생성하였다(그림 2). 생성된 선박 표적은 실제 SAR 선박 영상의 밝기 분포와 형상 특성을 반영하도록 학습되며, 단일한 형태의 표적만 생성하는 것이 아니라 크기, 길이-폭 비율, 산란 분포가 서로 다른 다양한 선박 형상을 포함하도록 구성된다. 이는 제한된 실제 데이터만을 사용할 경우 발생할 수 있는 특정 형상 편중 문제를 줄이고, 탐지 모델이 보다 다양한 선박 표적에 대한 탐지 성능을 확보하도록 돕는다.

그림 2. | Fig. 2. ACGAN 기반 선박 표적 생성 데이터 증강 | ACGAN-based synthetic ship target data augmentation.

Download Original Figure

2-4 YOLOv8n 기반 선박 탐지기

본 연구에서는 탐지 모델로 YOLOv8n(그림 3)을 사용한다. YOLOv8n은 YOLOv8 계열 중 가장 경량화된 모델^[36]~[38]로, 빠른 추론 속도와 비교적 낮은 메모리 사용량을 특징으로 한다. 이러한 특성은 항공기, 드론, 함정 탑재형 감시 장비 등 연산 자원이 제한된 실제 시스템에서 유리하다.

그림 3. | Fig. 3. YOLOv8n 구조 | YOLOv8n architecture diagram.

Download Original Figure

YOLO 계열 객체 탐지기는 입력 영상을 단일 신경망으로 처리하여 객체의 위치와 클래스 정보를 동시에 예측하는 one-stage detector 구조를 기반으로 한다. YOLOv8n은 입력 영상으로부터 backbone에서 계층적 특징을 추출하고, neck에서 다중 해상도의 특징맵을 융합한 뒤, detection head에서 각 위치에 대한 bounding box와 클래스 confidence를 예측한다. 이와 같은 구조는 객체의 위치 추정과 분류를 통합적으로 수행하므로 빠른 탐지가 가능하며, 다양한 크기의 객체를 동시에 탐지하는 데 효과적이다.

특히 YOLOv8n은 경량화 구조를 채택하면서도 다중 해상도 특징 융합을 통해 소형 객체 탐지 성능을 확보하도록 설계되었다. 이는 해상 clutter 환경 속에서 크기가 작은 선박을 탐지해야 하는 SAR 영상 분석에 적합하다. 본 연구에서는 실제 데이터만으로 학습한 baseline 모델과 실제 데이터에 합성 데이터를 추가하여 학습한 제안 모델을 비교함으로써, ACGAN 기반 데이터 증강의 효과를 정량적으로 분석한다. 성능 평가는 precision, recall, mAP@0.5 및 mAP@0.5:0.95를 기준으로 수행한다.

Ⅲ. 시뮬레이션 결과

본 절에서는 제안한 ACGAN 기반 합성 데이터 증강 방법이 SAR 영상의 YOLOv8n 기반 선박 탐지 성능에 미치는 영향을 분석한다. 실험에는 SSDD(sar ship detection dataset) 데이터셋^[39]을 사용하였다. 전체 데이터셋은 training 742장, validation 93장, test 232장으로 구성하였으며, 이 중 학습 단계에서는 742장의 training 데이터를 다시 학습 및 검증 데이터로 나누어 9:1 비율로 사용하였다. 최종 성능 평가는 학습에 사용되지 않은 test 데이터 232장을 대상으로 수행하였다(그림 4).

그림 4. | Fig. 4. YOLOv8n 탐지 결과 | Ship detection results obtained from YOLOv8n.

Download Original Figure

실험은 데이터 사용 비율에 따라 두 가지 경우로 구분하여 수행하였다. 첫 번째는 SSDD 데이터셋을 100 % 사용한 경우이며, 두 번째는 전체 학습 데이터의 10 %만 사용한 경우이다. 각 경우에 대해 실제 데이터만을 사용하여 YOLOv8n을 학습한 baseline과, 제안한 ACGAN 기반 선박 데이터 증강 기법을 적용하여 학습 데이터를 2배로 확장한 경우를 각각 비교하였다. 성능 평가는 precision, recall, mAP@0.5 및 mAP@0.5:0.95를 기준으로 수행하였으며 실험결과는 표 1에 정리하였다.

먼저 SSDD 데이터셋을 100 % 사용한 baseline의 성능은 precision 95.91, recall 95.06, mAP@0.5 97.80, mAP@0.5:0.95 68.19로 나타났다. 동일한 조건에서 제안한 ACGAN 기반 데이터 증강을 적용하여 학습 데이터를 2배로 확장한 경우, precision은 96.94, recall은 93.59, mAP@0.5는 97.88, mAP@0.5:0.95는 69.04로 나타났다. 이 결과로부터 전체 데이터가 충분한 상황에서는 제안한 방법이 precision과 mAP 지표에서 소폭의 성능 향상을 제공함을 확인할 수 있다. 특히 mAP@0.5:0.95의 향상은 보다 엄격한 IoU 조건에서도 탐지 성능이 개선되었음을 의미한다. 반면 recall은 소폭 감소하였는데, 이는 증강 데이터가 검출의 보수성을 증가시켜 일부 표적에 대해 탐지 임계 특성이 달라졌기 때문으로 해석할 수 있다.

다음으로 SSDD 데이터셋의 10 %만 사용한 baseline의 성능은 precision 88.61, recall 71.98, mAP@0.5 81.40, mAP@0.5:0.95 48.84로 나타났다. 동일한 데이터 조건에서 제안한 증강 기법을 적용한 경우, precision은 90.65, recall은 79.87, mAP@0.5는 88.29, mAP@0.5:0.95는 52.76으로 향상되었다. 특히 제한된 데이터 환경에서 recall이 크게 향상되었으며, mAP@0.5와 mAP@0.5:0.95 역시 각각 유의미하게 증가하였다. 이는 제안한 합성 데이터 증강이 학습 데이터가 부족한 상황에서 표적의 다양성을 보완하고, 탐지기의 일반화 성능을 향상시키는 데 효과적임을 보여준다.

추가적으로 제안한 방법의 적용 특성을 보다 구체적으로 분석하기 위해, 10 % 학습 데이터 사용 조건에서 시험 영상을 배경 clutter 수준에 따라 세부 분류하고, 각 조건에서 baseline과 제안 기법의 성능을 비교하였다. 배경 clutter 수준은 해면의 산란 균질성과 연안 구조물 포함 여부를 기준으로 low clutter, moderate clutter, high clutter scene으로 구분하였으며, 결과는 표 2에 정리하였다.

표 2의 결과로부터, 제안한 방법은 전반적으로 배경 clutter 수준이 증가할수록 baseline 대비 성능 향상 폭이 커지는 경향을 보였다. Low clutter scene에서는 baseline 자체의 탐지 성능이 이미 높은 수준이므로 성능 향상 폭이 비교적 제한적으로 나타났으나, moderate clutter 및 high clutter scene에서는 recall과 mAP 지표의 개선이 보다 뚜렷하게 확인되었다. 특히 high clutter scene에서 recall은 64.83에서 77.11로, mAP@0.5는 75.92에서 84.67로 향상되었으며, 이는 제안한 방법이 복잡한 해면 배경 내에서 표적-배경 구분 특성을 학습하는 데 효과적임을 보여준다. 이러한 결과는 실제 데이터가 부족한 상황에서 ACGAN 기반 합성 표적이 복잡한 해상 scene에 대한 탐지기의 적응력을 높이는 데 기여할 수 있음을 시사한다.

또한 제안한 방법이 표적 크기에 따라 어떠한 특성을 보이는지 분석하기 위해, 동일한 10 % 학습 데이터 사용 조건에서 시험 데이터를 표적 크기에 따라 small ship과 medium-large ship으로 구분하여 성능을 비교하였다. 여기서 표적 크기 구분은 bounding box 면적을 기준으로 수행하였으며, 결과는 표 3에 정리하였다.

표 3의 결과를 보면, 제안한 방법은 특히 small ship 조건에서 baseline 대비 보다 큰 성능 향상을 보였다. 구체적으로 small ship 조건에서 recall은 66.24에서 76.95로, mAP@0.5는 76.88에서 85.72로 향상되었으며, 이는 제한된 실제 데이터에서 상대적으로 부족한 소형 선박 표적 샘플이 ACGAN 기반 증강을 통해 효과적으로 보완되었기 때문으로 해석할 수 있다. 반면 medium-large ship 조건에서도 성능 향상이 확인되었으나, baseline 자체가 비교적 높은 성능을 보였기 때문에 개선 폭은 small ship 조건에 비해 상대적으로 작게 나타났다. 이는 제안한 증강 기법이 특히 소형 선박 탐지 성능 개선에 보다 효과적으로 기여할 수 있음을 의미한다.

전체 실험 결과를 종합하면, 제안한 ACGAN 기반 선박 데이터 증강 방법은 데이터가 충분한 경우에는 탐지 성능을 안정적으로 보완하는 역할을 수행하고, 데이터가 제한된 경우에는 보다 뚜렷한 성능 향상을 제공하는 것으로 나타났다. 특히 10 % 데이터 사용 조건에서 precision, recall, mAP@0.5 및 mAP@0.5:0.95가 모두 향상된 결과와 더불어, 복잡한 해면 clutter scene 및 small ship 조건에서의 추가 성능 향상은 제안한 방법이 데이터 부족 문제를 완화하는 데 효과적임을 뒷받침한다. 이는 ACGAN으로 생성한 선박 표적이 실제 해상 배경에 삽입됨으로써 탐지기가 다양한 표적 형상과 배경 조건을 함께 학습할 수 있었기 때문으로 해석할 수 있다.

Ⅳ. 결 론

본 논문에서는 SAR 영상 기반 선박 탐지에서 발생하는 학습 데이터 부족 및 불균형 문제를 완화하기 위해, ACGAN을 이용하여 생성한 선박 표적을 실제 해상 영역에 삽입하는 데이터 증강 기법을 제안하고 이를 YOLOv8n 기반 선박 탐지기에 적용하였다. 제안한 방법은 단순한 기하학적 변환 기반 증강과 달리, 새로운 선박 표적을 생성한 뒤 실제 데이터의 선박 출현 비율과 해상 배경 특성을 고려하여 삽입함으로써 탐지기 학습에 적합한 추가 데이터를 구성한다는 점에서 차별성을 가진다.

실험은 SSDD 데이터셋을 이용하여 전체 데이터 100 % 사용 조건과 10 % 제한 데이터 조건으로 나누어 수행하였다. 그 결과, 전체 데이터를 사용한 경우에는 precision과 mAP 지표에서 소폭의 성능 향상이 확인되었으며, 제한된 데이터 환경에서는 precision, recall, mAP@0.5 및 mAP@0.5:0.95가 모두 뚜렷하게 향상되었다. 특히 10 % 데이터 사용 조건에서의 성능 개선은 제안한 합성 데이터 증강 기법이 데이터 부족 상황에서 더욱 효과적으로 작동함을 보여준다.

추가적인 세부 분석을 통해, 제안한 방법은 배경 clutter 수준이 높아질수록 baseline 대비 성능 향상 폭이 커지는 경향을 보였으며, 특히 high clutter scene에서 recall과 mAP 지표의 개선이 보다 두드러지게 나타났다. 또한 표적 크기에 따른 비교에서는 medium-large ship보다 small ship 조건에서 성능 향상 폭이 더 크게 확인되었다. 이러한 결과는 제안한 방법이 실제 데이터에서 상대적으로 부족한 소형 선박 표적과 복잡한 해면 배경 내 표적-배경 조합을 효과적으로 보완함으로써, 제한된 학습 데이터 조건에서 보다 유의미한 탐지 성능 개선을 제공할 수 있음을 의미한다.

따라서 본 연구의 결과는 제안한 ACGAN 기반 합성 선박 데이터 증강 방법이 부족한 선박 표적 수를 보완하고, 다양한 형상과 크기의 선박 표적을 포함한 학습 환경을 제공하며, 특히 복잡한 해상 clutter 환경과 소형 선박 탐지 조건에서 유효한 성능 개선을 제공할 수 있음을 보여준다. 또한 경량 탐지기인 YOLOv8n과 결합하여도 유의미한 성능 향상을 확인함으로써, 실제 해상 감시 및 탑재형 시스템에서 활용 가능한 실용적 데이터 증강 방법으로 적용될 가능성을 보였다.

다만 본 연구의 검증은 SSDD 데이터셋 기반의 제한된 실험 조건에서 수행되었으므로, 제안한 방법이 모든 해상 환경, 관측 조건, 편파 조건에 대해 일관된 일반화 성능 향상을 제공한다고 보기는 어렵다. 또한 생성된 선박 표적은 실제 SAR의 물리적 산란 특성을 완전하게 반영하지 못할 수 있으며, 세부적인 산란 패턴이나 고주파 질감 측면에서는 실제 표적과 차이가 존재할 수 있다. 따라서 향후 연구에서는 sea state, 관측각, 편파, 신호 대 clutter 잡음비, 신호 대 잡음비 등보다 다양한 조건에 대한 체계적 검증과 함께, 물리적으로 정합된 SAR 표적 생성 기법 및 배경 융합 방법을 결합하는 방향으로 확장할 필요가 있다.