다중편파 SAR 합성 변환과 딥러닝을 활용한 선박 및 빙산 이진분류 알고리즘 성능 개선 연구

항공기나 위성에 탑재된 SAR가 한 가지 모드의 편파만 사용하는 경우, 관심영역의 데이터는 풍부한 정보를 제공하지 못하는 한계가 있다. 다중편파 SAR는 다양한 편파 특성을 조합하여 관측 영역의 정보를 더욱 풍부하게 제공한다. 본 연구에서는 다중편파 SAR 편파 특성을 활용하여 선박과 빙산의 이진분류 성능을 개선하고자 한다.

그림 1은 다중편파 SAR의 동작 방식을 도시한다. 다중편파 SAR는 관심영역에 X 및 Y의 2가지 편파를 반복적으로 송신하고, 산란 후 반사된 X 및 Y의 2가지 편파를 동시에 수신한다. X와 Y는 임의의 편파 종류를 의미한다. 일반적으로 편파모드는 XX, XY, YX, YY 4가지 편파모드의 조합으로 구성되며, 2×2 복소산란행렬(sinclair matrix)로 나타낼 수 있다. 각각의 편파모드는 다중편파 SAR의 기저(basis)이다.

그림 1. | Fig. 1. 다중편파 SAR 동작 방식 | Polarimetric SAR operation method.

Download Original Figure

다중편파 SAR에서 주로 사용되는 편파는 선형편파(linear polarization)와 원형편파(circular polarization)가 있다. 선형편파는 전자기파의 전기장이 특정 축을 따라 한 방향으로만 진동하는 경우이며, 지표면에 평행한 방향으로 진동하는 수평편파(H)와 지표면에 수직한 방향으로 진동하는 수직편파(V)로 구분된다. 일반적인 다중편파 SAR는 2가지 선형편파를 조합한다. 위에서 언급한 XX, XY, YX, YY 4가지 편파모드를 HH(수평송신/수평수신) 편파, HV(수평송신/수직수신) 편파, VH(수직송신/수평수신) 편파, VV(수직송신/수직수신) 편파로 나타낼 수 있다. 한편, 원형편파는 전기장이 진행방향에 수직한 원의 궤적을 그리는 형태이며 회전방향에 따라 우선회 원형편파(R)와 좌선회 원형편파(L)로 구분된다. 원형편파를 사용하는 혼합 4중편파 SAR (hybrid quadrature polarimetric SAR)^[9],[10]는 선형편파와 조합하여 RH(우선회 원형송신/수평수신) 편파, RV(우선회 원형송신/수직수신) 편파, LH(좌선회 원형송신/수평수신) 편파, LV(좌선회 원형송신/수직수신) 편파가 존재한다.

일반적인 다중편파 SAR의 송신 전기장과 수신 전기장 사이의 관계식은 다음과 같다^[11].

E^t은 송신 전기장 벡터, E^r은 수신 전기장 벡터이고, j는 허수, k는 파수(wave number), R는 관심영역과의 직선거리(slant range)이다. S는 산란 행렬이며 S의 요소들은 복소수 진폭(magnitude)으로 표현된다. S_pq로 나타낼 때, p는 송신편파, q는 수신편파이다. 송신 전자기파가 상보성 매질(reciprocal medium)에서 산란되어 돌아오는 경우, 산란 행렬 S는 상보성 정리(reciprocity theorem)에 의해 복소 대칭 행렬이 되며, 다음을 만족한다^[12].

산란 행렬 S는 다음의 식으로 표현할 수 있다.

식 (3)에서 S는 산란행렬, S_k는 산란행렬의 기저, α_k는 S_k의 계수이다. 산란행렬 S를 구성하는 편파모드가 다양해질수록 기저의 수가 증가하므로, 표현 가능한 공간이 확장되어 관심영역에 대한 정보가 더욱 풍부해진다.

본 논문에서는 다중편파 SAR의 특성을 이용하여, 다중편파 기저를 변환함으로써 새로운 편파모드를 획득한다. 일반적인 다중편파는 수평편파와 수직편파를 반복적으로 송신하고, 수평편파와 수직편파를 동시에 수신한다. 반면 혼합 4중편파 SAR는 좌선회 원형편파와 우선회 원형편파를 주기적으로 송신하고, 수평편파와 수직편파를 동시에 수신한다. 일반적인 다중편파의 기저를 혼합 4중편파의 기저로 변환하는 식은 식 (4)와 같다^[11].

식 (4)에서 S_pq는 p = {H,V,R,L}, q = {H,V} 이며, H는 수평편파, V는 수직편파, R은 우선회 원형편파, L은 좌선회 원형편파이다. 일반적인 다중편파 SAR에서 획득한 관심영역의 정보를 활용하여 선형변환을 통해 혼합 4중편파 SAR의 기저를 획득한다. 이를 통해 새로운 편파정보를 확보하여, 관심영역의 더욱 풍부한 정보를 얻을 수 있다.

식 (4)를 통해 일반적인 다중편파 SAR의 기저를 변환하여 LH 편파모드의 SAR 영상을 획득할 수 있다. 상보성 정리가 충족될 경우, 산란행렬 S는 복소 대칭 행렬이므로 VH 편파모드로 획득한 영상과 HV 편파모드로 획득한 영상은 동일하다. 식 (4)로부터 LH 편파모드에 대한 식을 (5)와 같이 정리할 수 있다.

따라서 식 (5)를 이용하여 HH 및 HV 편파모드 SAR 영상을 기반으로 LH 편파모드 SAR 영상을 획득할 수 있다.

인공지능은 인간의 사고와 의사결정 과정을 모방하여 자율적으로 작업을 수행하는 기술로, 여러 접근법 중 딥러닝이 주목받고 있다. 딥러닝은 다층 신경망 구조를 통해 대규모 데이터로부터 복잡한 패턴과 규칙을 자동으로 학습하며, 고차원 데이터를 처리하는 데 탁월한 성능을 발휘한다. 영상 처리 분야에서는 CNN이 대표적인 딥러닝 모델로, 합성곱 연산을 통해 영상의 다양한 지역적 특징을 효과적으로 학습한다. CNN은 영상 분류, 객체 탐지 등에서 널리 활용되고 있다.

CNN 구조는 지속적인 연구를 통해 다양한 파생 모델이 제안되었다. ResNet^[13]은 잔여 학습(residual learning)을 도입하여 신경망이 학습하려는 목표 매핑(desired underlying mapping)을 입력과의 차이인 잔여 함수(residual function)로 재구성하였다. 이를 통해 깊은 신경망에서도 최적화가 용이해지며, 효율적인 학습이 가능하다. ResNeXt^[14]는 그룹화된 합성곱(grouped convolution)을 통해 입력 채널을 여러 개의 작은 그룹으로 나누고, 각 그룹에서 독립적인 합성곱 연산을 수행한다. 이는 기존의 합성곱 방식보다 연산량을 줄이면서도 성능을 개선시킬 수 있다. DenseNet^[15]은 각 층에서 이전 모든 층의 특징 맵을 연결(concatenation)하여 입력으로 받는 구조를 가진다. 이를 통해 특징 재사용(feature reuse)을 함으로써 효율적인 학습과 성능 향상이 이루어진다. EfficientNet^[16]은 신경망의 너비, 깊이, 해상도를 균형 있게 확장하는 방식(compound scaling)이 제안되었다. 제한된 자원 내에서 계산 효율성과 모델 성능 개선을 동시에 달성하도록 고안되었다.

본 연구에서는 이러한 CNN 모델들을 활용하여 선박 및 빙산 SAR 영상 이진분류 실험을 진행하였고 각 모델의 성능을 평가하였다.

II장에서 일반적인 다중편파 SAR의 기저를 선형변환하여 혼합 4중편파 SAR의 기저를 얻는 방법을 다루었으며, 영상을 분류하는 데 사용되는 다양한 CNN 모델들을 살펴보았다. 이를 바탕으로, 주어진 선박 및 빙산 SAR 영상으로부터 다중편파 SAR의 기저를 변환하여 기존과 다른 편파모드의 SAR 영상을 얻는다. 기존 데이터셋에서 신규로 획득한 편파모드 SAR 영상을 포함하는 데이터셋을 구축하고, 분류 성능 개선 여부를 평가하였다. 분류 알고리즘으로 SVM과 다양한 CNN 모델들을 사용하여 성능을 비교 분석하였다.

다중편파 SAR의 특성을 이용하여 이진분류 성능이 개선되는 것을 확인하기 위해 캐글의 공개 데이터셋을 사용하였다^[17]. 본 데이터셋은 Sentinel-1 위성으로 촬영한 선박과 빙산의 SAR 영상으로, HH 및 HV 편파모드만 존재한다. 레이블(label)이 주어진 데이터는 선박 851개와 빙산 753개로 구성되어 있으며, 각 편파모드에서 1,604개씩 제공된다. 각각의 영상 크기는 75 75이며, 픽셀 값은 dB(decibel) 단위의 실수로 표현한다.

그림 2 및 그림 3의 (a)와 (b)는 데이터셋에서 선박 및 빙산 표본의 HH 및 HV 편파모드의 SAR 영상을 도시한 것이다. 동일한 표본이라도 편파모드가 달라짐에 따라 SAR 영상의 산란점 분포의 차이가 있음을 확인할 수 있다. 그림 2 (c) 및 그림 3 (c)는 식 (5)를 통해 HH 및 HV 편파모드의 기저를 변환하여 LH 편파모드 SAR 영상을 획득한 것이다. 동일한 표본에 대하여 LH 편파모드의 SAR 영상 또한 HH 및 HV 편파모드의 SAR 영상과 산란점 분포의 차이를 확인할 수 있다.

그림 2. | Fig. 2. 선박 표본 SAR 영상 및 변환편파 SAR 영상 | Ship sample original & transformed SAR image.

Download Original Figure

그림 3. | Fig. 3. 빙산 표본 SAR 영상 및 변환편파 SAR 영상 | Iceberg sample original & transformed SAR image.

Download Original Figure

실험을 통해 SVM과 다양한 CNN 모델의 다양한 분류기를 구축하여 선박 및 빙산 SAR 영상의 분류 성능을 평가하였다. 또한, 다중편파 SAR의 특성으로 획득한 편파모드 데이터를 기존 데이터셋에 포함하여 선박과 빙산의 이진분류 성능 개선을 확인하였다.

실험의 주요 내용은 다음과 같다. 기존에 주어진 HH 및 HV 편파모드의 데이터셋과 다중편파 SAR의 기저 변환으로 얻은 LH 편파모드 데이터를 포함한 데이터셋에 대해 각각 이진분류를 진행하였다. HH 및 HV 편파모드 데이터는 총 3,208개이며, HH와 HV 및 LH 편파모드 데이터는 총 4,812개이다. 딥러닝 모델 학습 및 평가에 쓰이기 위한 데이터셋의 학습, 검증, 평가 비율을 8:1:1로 구축하였다. 모든 데이터는 표준화를 진행하여 전처리를 수행하였다. 이진분류를 수행하는 SVM은 scikit-learn 라이브러리를 활용하였다. SVM의 하이퍼파라미터로는 정규화 계수(regularization parameter, C)를 10, 커널 함수(kernel function)를 RBF, 커널 계수(kernel coefficient, γ)를 0.001로 설정하였다. CNN은 PyTorch 내장 모듈을 사용하여 사전학습되지 않은 상태로 구현하였다. 최적화 알고리즘은 Adam, 학습률(learning rate)은 10⁻³, 배치크기(batch size)는 32로 설정하였다.

그림 4 및 그림 5의 (a)와 (b)는 ResNet-50 구조를 사용하여 학습 및 검증 데이터셋의 손실값(loss) 및 정확도(accuracy)에 대한 학습곡선(learning curve)을 나타낸 것이다. 손실값은 예측값과 실제 레이블 간의 차이를 나타내며, 이진 교차 엔트로피(binary cross entropy)를 손실 함수(loss function)로 사용하여 계산하였다. 정확도는 각 데이터셋에 대해 모델이 정확하게 예측한 비율을 의미하며, 학습 데이터셋과 검증 데이터셋에 대한 각각의 정확도를 나타내었다. 그림 4는 기존에 제공된 HH 및 HV 편파모드 데이터셋의 학습곡선이며, 그림 5는 기존편파 데이터셋에 LH 변환 편파모드 데이터를 포함한 학습곡선이다. 본 실험에서는 사전에 100 에폭(epoch)까지 학습곡선을 확인하고, 학습 조기 종료(early stopping) 시점을 결정하였다. 학습 초반에는 훈련 손실값과 함께 검증 손실값도 지속적으로 감소하여 분류 학습이 원활하게 이루어짐을 확인할 수 있다. 그러나 학습이 진행될수록 검증 손실 값의 감소 폭이 줄어들었으며, 일정 시점 이후에는 훈련 손실값과 검증 손실값 간의 차이가 벌어지는 과적합(overfitting)현상이 관찰되었다. 정확도 학습곡선에서도 초기에는 검증 정확도가 함께 상승하지만, 이후 일정 구간부터는 성능 개선이 정체되는 경향을 보인다. 본 실험의 성능 평가를 위한 CNN 모델 학습에서는 충분히 학습이 진행된 것으로 판단되는 에폭 중, 51번째 에폭부터 모델 파라미터를 저장하였다. 이후, 학습이 10 에폭 진행되는 동안 검증 손실값이 개선이 되지 않으면 조기 종료를 적용하였다.

그림 4. | Fig. 4. ResNet-50 모델을 사용해 기존편파(HH, HV) SAR 데이터셋으로 얻은 학습곡선 | Learning curves obtained from the original polarization (HH, HV) SAR dataset using ResNet-50 model.

Download Original Figure

그림 5. | Fig. 5. ResNet-50 모델을 사용해 기존편파(HH, HV) 및 변환편파(LH) SAR 데이터셋으로 얻은 학습곡선 | Learning curves obtained from the original (HH, HV) & transformed (LH) polarization SAR dataset using ResNet-50 model.

Download Original Figure

그림 6은 그림 4 및 그림 5의 학습곡선 중 검증 손실값 및 검증 정확도를 하나의 그래프로 통합하여 나타낸 것이다. 그림 6을 통해 변환편파 데이터를 포함한 데이터셋으로 학습한 경우가 기존 데이터셋만을 학습한 경우보다 검증 손실값이 낮고 검증 정확도가 높은 경향을 보이며, 이를 통해 분류 성능이 더 우수함을 확인할 수 있었다.

그림 6. | Fig. 6. 기존편파(HH, HV) SAR 데이터셋과 변환편파(LH)를 포함한 SAR 데이터셋의 검증 성능 비교 | Comparison of validation performance between the original polarization (HH, HV) SAR dataset and the dataset with the included transformed polarization (LH).

Download Original Figure

다양한 분류기를 사용하여 평가 데이터셋에 대한 정밀도(precision), 재현율(recall), F1-score, 정확도를 확인하고, 이를 기반으로 분류 성능을 평가하였다. 정밀도는 모델이 양성(positive)으로 예측한 데이터 중에서 실제로 양성인 비율을 나타낸다. 재현율은 실제로 양성인 데이터 중에서 모델이 양성으로 예측한 비율을 의미한다. 본 실험에서 양성을 선박으로 설정하여 정밀도와 재현율을 측정하였다. F1-score는 정밀도와 재현율의 조화 평균으로 클래스 간의 데이터가 불균형할 경우 모델의 성능을 평가하는 데 유용하다. 단일 실험에서 발생할 수 있는 편향을 줄이기 위해 몬테카를로 시뮬레이션을 10회 수행하였으며, 각 실험에서 얻은 성능 평가 지표의 평균값을 계산하여 모델의 전반적인 성능을 평가하였다.

표 1은 기존의 데이터셋만을 활용하여 SVM과 CNN(ResNet-50)의 분류 성능을 나타낸다. 표 2는 변환된 편파모드 데이터를 기존 데이터셋에 포함하여 SVM과 CNN(ResNet-50)의 분류 성능을 비교한 것이다. 표 1 및 표 2를 통해 SAR 영상 이진분류에서 CNN 모델이 SVM보다 모든 성능 지표에서 우수한 결과를 보임을 확인하였다. 또한, CNN 모델과 SVM 모두 변환된 편파모드 데이터를 포함함으로써 분류 성능이 향상되었다. 표 3은 기존의 데이터셋과 변환된 편파모드 데이터가 포함된 데이터셋을 활용하여, 다양한 CNN 모델의 이진분류 성능을 비교한 결과를 나타낸다. 본 실험 환경에서 기존 데이터셋만 분류했을 때 DenseNet-121 모델이 정밀도, F1-score, 정확도 지표에서 가장 우수한 성능을 보였다. 기존 데이터셋에 변환된 편파모드 데이터를 포함한 경우, ResNet-34 모델의 F1-score와 정확도 지표에서 가장 우월한 성능을 나타냈다. 또한, 기존 데이터셋을 기반으로 학습된 CNN 모델 간 정확도는 약 79~84 %이고, 변환된 편파모드 데이터가 포함된 데이터셋에서는 약 89~90 %로 관측되었다. 변환된 편파모드 데이터를 포함한 경우, 기존 데이터셋만 사용한 것보다 평균적으로 약 8 %의 정확도가 향상되었다. 표 3을 통해, CNN 모델을 변경하는 것보다 다중편파 SAR의 특성을 활용하여 획득한 LH 편파모드 SAR 영상을 포함하는 데이터셋이 성능 개선에 더 큰 영향을 미친다는 것을 확인할 수 있다.