The Journal of Korean Institute of Electromagnetic Engineering and Science
The Korean Institute of Electromagnetic Engineering and Science
단편논문/SHORT PAPER

드론용 소형 SAR 시스템의 GPU 기반 실시간 영상복원 연구

김진우#,1,, 권순구#,2, 옥재우#,3, 유응노#,4, 김덕진*,5, 심용우**,6, 이동학**,7
Jin-Woo Kim#,1,, Sun-Koo Keon#,2, Jae-Woo Ok#,3, Eung-Noh You#,4, Duk-jin Kim*,5, Yong-Woo Sim**,6, Dong-Hak Lee**,7

LIG 넥스원(LIG NEX1)

서울대학교 지구환경과학부(School of Earth and Environmental Sciences, Seoul National University)

(주)코코링크(CoCoLink Corp.)

Corresponding Author: Jin-Woo Kim (e-mail: modone79@gmail.com)

© Copyright 2019 The Korean Institute of Electromagnetic Engineering and Science. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Aug 19, 2019; Revised: Sep 10, 2019; Accepted: Sep 25, 2019

Published Online: Sep 30, 2019

요약

Back-projection algorithm(BPA)는 비록 처리시간이 길지만 가장 우수한 성능의 항공용 Synthetic Aperture RADAR(SAR)영상복원 방법이다. 본 연구에선 소형 드론용 SAR의 실시간 영상복원을 위하여 BPA의 실시간 신호처리 방법을 고안 하였다. 이를 위하여 Frequency Modulated - Continuous Wave(FM-CW) 기반 소형 SAR의 비행시험으로부터 SAR 원시자료를 확보하였다. 확보한 원시자료 및 본 연구에서 최적화한 Graphics Processing Unit(GPU) 기반 BPA 신호처리 커널을 이용하여 BPA의 실시간 영상복원 성능을 확인하였다. 그 결과, GPU 기반 BPA를 이용하여 소형 드론 SAR의 실시간 영상복원이 가능함을 확인하였다.

Abstract

Although the back-projection algorithm(BPA) is the best method for image reconstruction of air-borne synthetic-aperture radar(SAR), it requires a long processing time. In this study, a real-time processing method of BPA was proposed to reconstruct the image of a compact drone-borne SAR in real time. To achieve this, the raw data of the SAR was acquired by a test flight with SAR based on frequency-modulated continuous wave(FMCW) radar. The performance of the BPA was confirmed by using raw data and a modified BPA processing kernel based on graphics processing unit(GPU) technology. The results confirmed the possibility of real-time image reconstruction of SAR.

Keywords: BPA; Realtime Image Reconstruction; Compact Drone; SAR; GPU

Ⅰ. 서 론

SAR는 기상상태에 관계없이 주․야간으로 고해상도의 레이다 영상을 획득할 수 있는 시스템이다. 특히, 항공기 탑재용 SAR는 적재적소에 원하는 레이다 영상을 획득할 수 있기 때문에 감시 및 정찰분야에 활용도가 매우 높다. 국내에선 주로 군사목적의 중․대형 항공기 기반 SAR가 운용되고 있다[1]. 하지만, 최근 소형 드론 산업이 급속도로 발전하면서 소형 드론에 탑재 가능한 SAR관련 연구가 증가하고 있다[2]. 특히, 감시 및 정찰분야에 활용하기 위한 드론용 SAR의 실시간 또는 근실시간 영상복원 가능성에 대한 관심이 증가하고 있다[1].

위성과는 달리, 항공기는 요동이 심하기 때문에 요동정도에 따라 항공기 기반 SAR의 영상복원 성능이 달라진다. 이를 극복하기 위하여, 2축 또는 3축 짐벌(Gimbal) 시스템을 이용하여 요동의 따른 SAR 안테나의 지향각을 하드웨어적으로 보상한다[3]. 하지만, 짐벌 시스템의 보상오차가 여전히 존재하기 때문에 이를 보상하기 위하여 다양한 영상복원 및 요동보상 기법이 개발되고 있다. 예를 들면, Range Doppler Algorithm(RDA), Chirp Scaling Algorithm(CSA), Range Migration Algorithm(RMA), 그리고 Phase Gradient Autofocus(PGA) 등이 이에 속한다[4]. 따라서, 항공기 기반 SAR의 실시간 영상복원을 위해서는 영상복원 및 요동보상 기법 , 그리고 신호처리용 하드웨어 구성 등, 신호처리기의 최적화 설계가 필요하다. 하지만 소형 드론용 SAR의 경우, 드론의 탑재중량 제약 때문에 실시간 영상복원을 위한 신호처리기의 최적화 설계에 많은 어려움이 있다.

현재까지 개발된 영상복원 방법 중 BPA는 별도의 요동보상 없이 영상복원이 가능하면서 성능이 가장 우수한 반면, 처리속도가 매우 느리기 때문에 실시간 영상복원에는 적합하지 않은 알고리즘으로 알려져 있다. 이러한 처리속도의 한계를 극복하기 위하여 Fast Back-Projection Algorithm(FBPA) 및 분할처리기법 등이 개발되었지만, 실시간 성능을 만족하기에는 아직까지 한계가 있다[5]. 하지만, 최근 GPU 기반의 신호처리 방법이 비약적으로 발전하면서, 하드웨어는 소형화하면서 신호처리 속도는 실시간 처리가 가능할 정도로 가속화되었다[6].

따라서, 본 연구에선 FM-CW 기반 소형 SAR의 비행시험을 통하여 원시자료를 확보하고, GPU 기반의 BPA를 구현하여 소형 드론용 SAR의 실시간 영상복원 가능성을 확인하였다. 본 논문의 구성은 다음과 같다. Ⅱ장에서는 비행시험을 통하여 확보된 동일 원시자료를 이용하여 대표적인 SAR 영상복원 알고리즘인 RDA, CSA, 그리고 BPA의 성능을 비교하였다. Ⅲ장에서는 Central Processing Unit (CPU) 및 GPU 기반 BPA의 영상복원 처리시간을 비교하여 드론용 SAR의 실시간 영상복원 가능성을 확인하였다. 마지막으로, Ⅳ장에서는 결론으로 마무리 하였다.

Ⅱ. SAR 영상복원 알고리즘 성능 비교

앞에서 언급한 바와 같이, 본 장에서는 비행시험을 통하여 획득된 SAR 원시자료를 이용하여 대표적인 영상복원 알고리즘인 RDA, CSA, 그리고 BPA의 성능을 비교하였다. 각각 알고리즘의 상세내용은 참고문헌 [4] 및 참고문헌 [5]를 참고한다. 비행시험에 이용된 SAR 시스템은 미국 IMSAR(社)에서 개발한 NanoSAR-B로 시스템 특성은 표 1과 같다. 특히 이 시스템은 무게가 약 10 kg 이내의 FM-CW 기반 소형 SAR로 드론용 SAR로도 활용될 수 있다. 본 연구에서는, 안정적인 SAR 원시자료를 확보하기 위하여 드론이 아닌 민간 항공기 PIPER-PA31에 NanoSAR-B를 장착하여 비행시험을 수행 하였다(그림 1). 이를 위하여, 부산 지방 항공청으로부터 정식 수리개조 승인을 득 하였다.

표 1. | Table 1. NanoSAR-B 시스템 제원 | The specifications of NanoSAR-B.
Parameters Values
Frequency 10.0~10.5 GHz
Tx. power Max. 1 watt
Flight altitude about 500 m
Image resolution up to 0.1 m
Download Excel Table
jkiees-30-9-780-g1
그림 1. | Fig. 1. NanoSAR 시스템의 항공기 장착사진 | The photos of NanoSAR-B equiped on the airplane, PIPER-PA31.
Download Original Figure

그림 2는 비행시험을 통하여 획득된 SAR 원시자료로 부터 RDA, CSA, 그리고 BPA를 적용하여 복원한 영상 및 성능을 보여준다. RDA를 적용하여 복원한 영상은 방위 방향으로 영상압축이 전혀 이루어지지 않은 것을 확인할 수 있다(그림 2(a)). 이는 영상획득 당시 항공기의 요동영향으로 성능열화가 발생했다는 것을 의미한다. 그림 2(b)는 CSA를 적용하여 복원된 SAR 영상이다. RDA 대비 방위방향으로도 영상압축이 잘 이루어진 것처럼 보이지만, 요동의 영향으로 영상에 aliasing이 발생하였다(노란색 점선 박스). 반면에 BPA를 적용하여 복원된 영상은 aliasing도 발생하지 않고 방위/거리방향 영상압축도 잘 이루어졌다. 추가적으로 CSA와 BPA의 정량적 성능비교를 위하여 비행시험 시, 설치하였던 기준표적(trihedral corner reflector) 신호(노란색 실선 박스)의 IRF(Impulse Response Function) 분석을 실시하였다. RDA의 경우, 기준표적설치 영역에 alasing이 발생하였고, 영상열화도 심하여 IRF 분석이 불가하였다. 그림 2(d)는 BPA를 적용하여 추출된 기준표적 신호의 IRF 결과이다. 영상 해상도, Peak Side Lobe Ratio (PSLR), 그리고 Integrated Side Lobe Ratio (ISLR) 모두 정상적으로 성능을 만족하였다. 반면에 CSA를 적용하여 추출된 기준표적 신호의 IRF 결과는 모두 성능열화가 발생하였다(그림 2(e)). 또한 SAR 영상의 contrast 성능분석 방법[7]을 이용하여 비교 결과, BPA의 성능이 약 20 % 정도 향상됨을 알 수 있었다.

jkiees-30-9-780-g2
그림 2. | Fig. 2. 영상복원 알고리즘별 SAR 영상 복원 결과 및 IRF 성능분석 결과 | The results of SAR image construction as various signal processing algorithms and IRF analysis.
Download Original Figure

본 결과는 앞에서 언급한 BPA가 항공기 기반 SAR 영상복원 시, 요동의 영향을 적게 받으면서 가장 우수한 성능을 보유한 알고리즘임을 다시 한 번 보여준다. 물론, 처리속도는 RDA (약 15초)와 CSA (약 17초) 대비 BPA (약 15분)가 약 60배 정도 느렸다. 따라서, 초소형 드론 SAR가 요동의 영향을 가장 적게 받으면서 안정적인 성능을 유지하기 위한 최적의 방법은 BPA를 이용하는 것이다.

Ⅲ. GPU 기반 BPA 영상복원 처리속도 분석 결과

앞에서 언급한 바와 같이 본 연구의 목적은 소형 드론용 SAR의 실시간 영상복원 가능성을 확인하는 것이다. 기존 연구들은 CPU 또는 GPU 기반의 신호처리 속도를 향상시키기 위하여 다중 CPU 또는 GPU기반 신호처리기를 구성하여 병렬처리를 하였다. 하지만, 소형 드론의 탑재중량 한계 때문에 드론에 탑재되는 SAR의 크기는 작고 무게는 적을수록 유리하다. 따라서, SAR 신호처리기 구성은 최소화되어야 한다. 이를 고려하여 본 연구에서는 표 2와 같이 CPU 및 GPU 각각 1기의 신호처리기를 구성하였다. 또한, Nvidia에서 제공하는 CUDA Tookit을 이용하여 Fast Fourier Transform(FFT) 및 Inverse Fast Fourier Transform(IFFT)기반 BPA 신호처리에 최적화된 GPU 커널을 구성하였다(그림 3).

표 2. | Table 2. GPU 기반 신호처리용 신호처리기 제원 | The specifications of signal processor based on CPU and GPU.
Parameters Specifications
CPU Intel Xeon Gold 5118 2.3 GHz
GPU Nvidia Tesla VI00
RAM 64G byte
CUDA CUDA Toolkit 9.0
Download Excel Table
jkiees-30-9-780-g3
그림 3. | Fig. 3. GPU기반 BPA 블록 다이어그램 | Block diagram of BPA based on GPU processing.
Download Original Figure

그림 4(a)는 GPU 및 CPU기반의 BPA를 적용하여 복원된 SAR 영상이다. 영상크기는 방위 및 거리방향으로 각각 28000 그리고 1024 픽셀이다. 거리로는 각각 약 8.4 km 그리고 300 m(해상도 0.3 m 기준)이다. 처리시간은 Matlab에서 CPU로 처리하면 약 897.2초가 걸렸고, Matlab에서 제공하는 GPU 커널을 이용하여 처리하면 약 289.3초가 걸렸다. 본 연구에서 최적화한 Cuda 기반의 GPU 커널을 이용하여 처리하면 약 4.1초가 걸렸다. 이는 Cuda 기반의 GPU 커널을 이용하여 최적화된 BPA를 적용 시, 실시간 처리가 가능하다는 것을 직접적으로 보여주는 결과이다.

jkiees-30-9-780-g4
그림 4. | Fig. 4. GPU 및 CPU 기반의 BPA 영상복원 처리시간 분석 결과 | The analysis result of BPA processing time based on GPU and CPU processor.
Download Original Figure

Ⅳ. 결 론

본 논문은 소형 드론용 SAR의 실시간 영상복원 가능성을 확인하기 위하여 다양한 SAR 영상복원 알고리즘의 성능을 비교한 후, 가장 우수한 영상복원 알고리즘의 실시간 신호처리 가능성을 확인하였다. 이를 위하여, FM-CW 기반 소형 SAR의 비행시험을 통하여 SAR 원시자료를 확보하였고, CPU 및 GPU기반 신호처리기를 구성하였다. 또한 상용 CPU 및 GPU 신호처리 커널(Matlab)과 본 연구에서 최적화한 GPU 전용 커널(Cuda)의 신호처리 성능을 비교하였다. 그 결과, BPA 영상복원 성능이 가장 우수하였고, BPA 영상복원 시, 본 연구에서 최적화한 GPU 전용 커널의 신호처리 성능이 상용 CPU 및 GPU 신호처리 커널 대비 신호처리 속도가 약 219배 개선됨을 확인하였다. 이는 소형 드론용 SAR 영상복원 시, BPA의 실시간 신호처리가 충분히 가능하다는 것을 보여준다. 본 연구결과는 향후 다양한 SAR 개발 시, 실시간 영상복원용 신호처리기 설계를 위한 참고자료로 활용될 수 있다.

Acknowledgements

이 연구는 2019년도 LIG넥스원 자체 선행연구 연구비의 지원으로 연구되었음.

References

[1].

H. I. Shin, K. I. Kwon, S. H. Yoon, H. S. Kim, J. Hwang, and Y. C. Ko, et al., "SAR test-bed to acquire raw data and form real-time image," Journal of the Korea Institute of Military Science and Technology, vol. 20, no. 2, pp. 181-186, 2017.

[2].

O. Bimber, I. Kurmi, and D. C. Schedl, "Synthetic aperture imaging with drones," IEEE Computer Graphics and Applications, vol. 39, no. 3, pp. 8-15, May-Jun. 2019

[3].

Y. B. Jeon, J. W. Kim, S. H. Rho, J. W. Ok, J. E. Lee, and E. N. You, et al., "Practical method to calibrate pointing error of air-borne Synthetic Aperture RADAR (SAR) system using contact type coordinate measuring machine (CMM)," Journal of Institute of Control Robotics and Systems, vol. 24, no. 12, pp. 1187-1193, 2018.

[4].

I. G. Cumming, F. H. Wong, Digital Processing of Synthetic Aperture Radar Data, Boston, Artech House, 2005.

[5].

J. H. Hwang, D. J. Kim, J. W. Kim, J. W. Ok, H. S. Shin, and E. N. You, "Simplified factorizing-technique for airborne FMCW-SAR," The Journal of Korean Institute of Electromagnetic Engineering and Science, vol. 28, no. 9, pp. 723-732, 2017.

[6].

S. Wang, S. Zhang, X. Huang, J. An, and L. Chang, "A highly efficient heterogeneous processor for SAR imaging," Sensors, vol. 19, no. 15, p. 3409, 2019.

[7].

H. S. Shin, J. W. Ok, J. W. Kim, and J. M. Lee, "Performance improvement of SAR autofocus based on partition processing," The Journal of Korean Institute of Electromagnetic Engineering and Science, vol. 28, no. 7, pp. 580-583, 2017.