Feature-Level Sensor Fusion Algorithm Using Vision-Based Regions of Interest and Radar Point Clouds

Kim, Taehoon; Lee, Wonryeol; Kim, Jin-Uk; Jang, Jiyeon; Kim, Sung-Tai; Hong, Sun K.

doi:10.5515/KJKIEES.2025.36.10.994

J. Korean Inst. Electromagn. Eng. Sci. 2025; 36(10):994-1002

pISSN: 1226-3133, eISSN: 2288-226X

DOI: https://doi.org/10.5515/KJKIEES.2025.36.10.994

논문/REGULAR PAPERS

비전 관심 영역 및 레이다 점구름을 활용한 특성 레벨 센서 퓨전 알고리즘

김태훈

, 이원렬

, 김진욱^*

, 장지연^*

, 김성태^*

, 홍순기^†

Feature-Level Sensor Fusion Algorithm Using Vision-Based Regions of Interest and Radar Point Clouds

Taehoon Kim

, Wonryeol Lee

, Jin-Uk Kim^*

, Jiyeon Jang^*

, Sung-Tai Kim^*

, Sun K. Hong^†

Author Information & Copyright ▼

^{숭실대학교 전자공학과}

^*한화시스템

^{Department of Electronic Engineering, Soongsil University}

^*Department of Avionics Radar System, Hanwha Systems

^†Corresponding Author: Sun K. Hong (e-mail: shong215@ssu.ac.kr)

© Copyright 2025 The Korean Institute of Electromagnetic Engineering and Science. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Aug 11, 2025; Revised: Aug 16, 2025; Accepted: Sep 04, 2025

Published Online: Oct 31, 2025

요 약

본 논문에서는 조도 변화에서 강인하게 동작하는 레이다-비전 기반 특성 레벨 센서 퓨전 알고리즘을 제안한다. 이전 연구 (결정 레벨 센서 퓨전)에서는 레이다 및 비전 센서에서 개별적으로 객체 상태 (위치 및 속도)를 추정한 뒤 이들 추정치를 퓨전한 반면, 특성 레벨 센서 퓨전에서는 레이다 센서의 3D point cloud 및 비전 센서의 ROI (region of interest)를 정합하여 객체 파악 후, 칼만 필터를 통해 객체 상태 (위치 및 속도)를 추정하였다. 실험은 수직 및 기울기 조건, 일반 및 저조도 환경에서 수행되었으며, 본 알고리즘은 결정 레벨 센서 퓨전 대비 위치 추정에는 성능 향상을 보였지만, 속도 추정에서는 다소 낮은 정확도를 보였으며, 전체 실행 시간은 약 3배 단축되었다. 이를 통해 센서 간 상호보완적인 특성을 활용하여 외란 환경에서도 높은 신뢰도의 객체 추적이 가능함을 확인하였다.

Abstract

This paper proposes a radar–vision-based feature-level sensor fusion algorithm that operates robustly under varying illumination conditions. In prior work using decision-level sensor fusion, the object state (position and velocity) was estimated separately by the radar and vision sensors, and these estimates were then fused. In contrast, in feature-level sensor fusion, the three-dimensional point cloud from the radar sensor and the region of interest from the vision sensor are first aligned to identify objects, after which a Kalman filter is applied to estimate the object state (position and velocity). Experiments were conducted under vertical and inclined conditions, as well as in bright and dark environments. Compared with the decision-level fusion algorithm, the proposed feature-level fusion algorithm demonstrated improved position estimation accuracy, slightly reduced velocity estimation performance, and approximately three times faster execution. These results validate that leveraging the complementary characteristics of sensors enables reliable object tracking even in challenging environments.

Keywords: Sensor Fusion; Data Fusion; Radar; Vision; RGB; IR

Ⅰ. 서 론

최근 센서 기술의 비약적인 발전은 인공지능 기반 인식 시스템의 정밀도를 크게 향상시키고 있으며, 이에 따라 다양한 환경에서 객체의 위치와 운동 상태를 실시간으로 정확하게 파악하려는 수요도 빠르게 증가하고 있다. 특히, 자율주행, UAV 감시, 실내 내비게이션 등 정밀 추적이 요구되는 응용 분야에서는 단일 센서 기반 접근법이 지닌 한계가 부각되고 있다. 이러한 흐름 속에서, 고해상도 공간 정보를 제공하는 비전 센서와 다양한 조건에서도 안정적인 거리 및 속도 정보를 제공하는 레이다 센서는 특화된 강점을 바탕으로 주목을 받아왔다. 비전 센서는 외형 식별에 탁월한 반면, 조도 변화나 거리 측정에 취약하며, 반대로 레이다 센서는 환경에 영향을 덜 받지만 공간(횡방향) 해상도가 낮으며 시각 정보를 제공할 수 없다는 단점이 있다. 이러한 비전과 레이다 센서의 특성들을 상호보완적으로 활용하여 비전-레이다 센서퓨전 연구가 활발하게 수행되고 있다^[1].

이러한 센서 퓨전 연구는 데이터의 추상화 수준에 따라 신호(signal), 특성(feature), 결정(decision) 레벨로 분류될 수 있다^[1]. 신호 레벨 퓨전은 딥러닝 모델을 기반으로 하여 레이다 및 비전 데이터를 원시 데이터 수준에서 결합하는 방식을 의미한다. 원시 데이터를 활용하면 각 센서의 완전한 특성을 활용할 수 있다는 장점이 있으나 시간 및 공간적 보정(calibration)에 극도로 민감해진다는 단점이 존재한다. 특성 레벨 퓨전은 한단계 더 나아가, 원시 데이터로부터 추출된 특성 (ROI, 3D point cloud)들을 활용하여 중간 단계에서 결합되는 퓨전 과정을 의미한다. 특성 레벨에서는, 원하는 퓨전 결과에 맞는 특성 데이터를 추출하여 활용할 수 있다는 장점이 있어 최근 연구가 가장 활발히 이뤄지고 있다^[1]. 결정 레벨 퓨전은 각 센서가 독립적으로 객체 탐지 및 추론을 완료한 후, 그 ‘결정’ 결과 (예: 객체의 위치, 속도)를 융합하는 상위 레벨의 접근법이다. 이 방식은 각 센서 시스템의 모듈성이 보장되는 장점이 있으나, 각 센서가 독립적으로 판단을 내리는 과정에서 원시 데이터가 가진 풍부하고 세부적인 정보가 일부 손실될 수 있다는 한계를 가진다. 또한, 각 센서 모듈이 완전한 객체 추론 파이프라인을 개별적으로 수행해야 하므로, 시스템 전체의 계산 복잡도가 증가하여 실시간 반응성이 중요한 응용 분야에서는 부담으로 작용할 수 있다.

이전 연구^[2]에서는 결정 레벨 퓨전 기법에 기반하여, 레이다 및 비전 센서의 개별적인 객체 상태 파악을 위해 비전 데이터에 GMM(Gaussian mixture model) ROI(region of interest) 기법을 활용한 객체 탐지와 레이다 데이터에 MSC(mean shift clustering) 기법을 활용한 클러터(clutter) 제거 및 군집화(clustering)를 수행하였다. 그 결과, 개별적인 객체 상태 파악을 수행한 후 퓨전하기까지의 과정에서 비롯되는 반복(iteration) 연산에 의해 처리 속도를 저하시키는 한계가 있었다.

따라서 본 논문에서는 레이다 센서의 3D point cloud 및 비전 센서의 ROI를 각 센서의 특성으로 정의한 뒤 계산 효율성과 정확도를 동시에 향상시키기 위해 그림 1과 같이 레이다로부터 수신된 3D point cloud를 비전의 좌표계에 일치시키는 보정(calibration)과정을 수행하여 객체정합 후 객체 상태를 추정하는 특성 레벨의 퓨전 알고리즘을 제안한다.

그림 1. | Fig. 1. 제안된 특성 레벨 센서 퓨전의 개념도 | Configuration of measurement system.

Download Original Figure

본 논문은 Ⅱ장에서 레이다-비전 데이터를 동일 좌표계로 변환하기 위한 보정 기법에 대해서 설명한다. 이어서, Ⅲ장에서는 제안된 퓨전 알고리즘을 설명하며, Ⅳ장에서 제안된 알고리즘의 성능 검증을 보여주며 Ⅴ장 결론으로 마무리한다.

Ⅱ. 레이다-비전 좌표계 보정(calibration)

특성 레벨 센서 퓨전에서는 레이다 데이터(3D-point cloud)를 비전 데이터 좌표로 투영하기 위하여 시간적, 공간적 보정 과정이 필수적이다. 본 연구에서는 레이다, 비전 센서간의 시간적 보정을 위하여 소프트웨어 기반의 동시 실행 동기화 방식을 활용하였다. 공간적 보정의 경우, 선행 연구된 논문 기반으로 NDLT(normalized direct linear transformation) 기법이 타 기법들과 비교하였을 때 정밀성 면에서 우수하다고 판단되어 NDLT 기법을 채택하였다^[3].

NDLT 과정은 그림 2에 나타난 바와 같이 레이다의 X, Y 평면 데이터 (p)를 이미지의 u, v 평면 데이터 (q)로 변환하는 행렬 H를 요구한다. $p ˜$ 와 $q ˜$ 는 각각 레이다와 평면 데이터의 동차 좌표를 의미하며 둘 사이의 관계 및 행렬 H는 식 (1) 및 식 (2)와 같이 표현될 수 있다.

q ˜ = H p ˜

(1)

H = h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 h 33

(2)

그림 2. | Fig. 2. 두 센서의 3차원 좌표계 | A three dimensinal coordinate systems of two sensors.

Download Original Figure

이때, h = [h₁₁,h₁₂,h₁₃,h₂₁,h₂₂,h₂₃,h₃₁,h₃₂,h₃₃]^T는

A i h = 0

(3)

A i = − x i − y i − 1 000 u i x i u i y i u i 000 − x i − y i 0 v i x i v i y i v i

(4)

A = A 1 T, …, A N T T

(5)

식 (3)~식 (5)를 만족하는 행렬이며 여기서 [x_iy_i], [u_iv_i]는 각각 쌍을 이루는 레이다, 비전 데이터를 의미한다. 이 결과를 바탕으로 레이다 좌표 [x_iy_i]는 식 (6)과 같이 사상된다.

U i v i = h 11 x i + h 12 y i + h 13 h 31 x i + h 32 y i + h 33 h 21 x i + h 22 y i + h 23 h 31 x i + h 32 y i + h 33

(6)

이후, p_i의 평균이 0이 되고, 평균으로부터의 평균 거리가 $2$ 가 되도록 하는 정규화(normalization) 과정을 수행하면 NDLT 과정이 완료된다. 본 연구에서는 총 21개의 레이다, 비전 데이터 쌍을 활용하여 이미지, 레이다 데이터간 보정을 수행하였다. 그림 3은 보정에 활용한 이미지 샘플을 보여주며, 그림 4에서 보정 결과를 확인할 수 있다.

그림 3. | Fig. 3. 보정 과정에 활용된 샘플 이미지 | Image samples used for calibration.

Download Original Figure

그림 4. | Fig. 4. 보정 결과 예시(빨간 점: 투영된 레이다 포인트) | Example of calibration results (red dots: Projected radar points).

Download Original Figure

Ⅲ. 제안된 센서 퓨전 알고리즘

그림 5는 제안된 센서 퓨전의 과정을 명시한다. 비전 데이터 전처리 과정에서는 조도 변화에 강인한 영상 처리를 위하여 객관적이고 정량적인 밝기 추정 기준이 요구된다. 본 연구에서는 이전 연구에서 활용되었던 BCH (brightness-chroma-hue) 모델을 채택하여, 전체 영상에 대한 인지 기반 밝기를 계산하였으며 그 과정은 다음과 같다^[4]. 우선, 초기의 비전 데이터는 sRGB 값으로 입력되어 감마 디코딩 과정을 수행하여 선형 RGB 데이터로 변환되며, 이어서 CIE 1931 XYZ 색공간으로 투영된다. 계산된 XYZ 성분은 가중치 행렬(M_BCH)을 적용하여 인지 좌표계 (D, E, F)로 사상된다. 해당 프레임에서의 인지 밝기 B는 (D, E, F)의 절대값으로 계산되며 이때의 인지 밝기 B가 임계치 0.5 이상일 경우 RGB 데이터, 이하일 경우 IR 데이터를 활용하여 GMM(Gaussian mixture model)을 통한 객체와 배경의 분리 및 bbox(bounding box) 생성을 수행하였다^[2].

그림 5. | Fig. 5. 제안된 퓨전 알고리즘의 블록도(초록색 화살표: RGB 데이터-일반 조도, 붉은색 화살표: IR 데이터-저조도) | Block diagrom of proposed fusion algorithm (green arrow: RGB data (bright), red arrow: IR data (dark)).

Download Original Figure

레이다 센서로부터 획득한 원시 데이터는 3D point cloud 형태로 수신되나, 낮은 elevation 해상도로 인해 x, y 의 2D 데이터만을 활용한다. 수신된 3D point cloud 결과를 바탕으로, 반사율이 비정상적으로 낮은 점들을 제거한 후 앞서 계산한 보정 행렬 H를 활용하여 u, v 평면에 투영하였다.

상기 과정에서 획득한 u, v 평면에 투영한 레이다 점들이 비전 센서에서 생성된 bbox 내부에 있다면 해당 레이다 점들을 bbox 내부의 객체와 정합한다. bbox 내부에 포함된 레이다 점들의 위치 평균값을 계산한 뒤 해당 값을 이미지 좌표에 투영하여 객체의 대표 u, v 좌표를 계산하였다. 레이다를 통해 계산된 평균 Y 데이터 및 대표 u 좌표를 활용하여 식 (7)을 통해 객체의 X 좌표를 추정하였다. 이때, c_x, f_x는 각각 비전 센서의 주점 및 초점거리이다^[5].

X = u − c x × Y / f x

(7)

계산된 객체의 X, Y 좌표를 측정값으로 그림 6의 칼만 필터에 대입하여 오차가 보정된 상태의 객체 위치, 속도 값을 추정값으로 계산하였다.

그림 6. | Fig. 6. 칼만 필터 블록도 | Block diagrom of Kalman filter.

Download Original Figure

Ⅳ. 실험 환경 및 객체 상태 추정 결과

본 연구에서는 그림 7에서와 같이 결정 레벨 센서 퓨전 대비 성능 비교를 위해 이전 연구와 동일한 조도 환경 및 객체 운동 조건에서 실험을 수행하였다^[2]. 구체적으로, 일반 조도 및 저조도 환경 각각에 대해 객체 운동 각도를 0°와 45°로 설정하여 총 네 가지 조건을 구성하였다. 0° 환경 실험은 레이다의 azimuth 빔폭에 의한 레이다의 낮은 횡방향 정밀성을 비전 센서를 통해 향상시키기 위한 실험이었으며 45° 환경 실험의 경우, depth data가 변하는 상황에서도 센서 퓨전을 통해 정밀성이 향상되는지 확인하기 위함이다. 또한, 조도 변화에 따라 RGB 데이터 혹은 IR 데이터를 활용하여 조도 변화에 강인한 센서 퓨전 알고리즘을 설계하였다. 각 조건에서 객체를 0.1 m/s의 일정한 속도로 이동시키며 측정을 수행하였다.

그림 7. | Fig. 7. 측정 환경 | Measurement environments.

Download Original Figure

그림 8은 레이다, 센서 퓨전을 통해 측정된 객체의 위치, 속도 및 GT(ground truth)를 보여준다. 해당 결과를 보았을 때 센서 퓨전을 통해 측정된 결과가 GT에 상대적으로 더 유사한 것을 확인할 수 있으며 위치 및 속도의 정량적인 오차 결과인 RMSE는 그림 9에서 확인할 수 있다. 위치 및 속도 RMSE는 식 (8) 및 식 (9)와 같이 계산하였다.

e p o s = x g t − x e s t 2 + y g t − y e s t 2

(8)

e v e l = x ⋅ g t − x ⋅ e s t 2 + y ⋅ g t − y ⋅ e s t 2

(9)

그림 8. | Fig. 8. 측정 결과 | Measurement results.

Download Original Figure

그림 9. | Fig. 9. 측정 오차 | Measurement error.

Download Original Figure

실험 결과, 비전 센서 및 레이다 센서의 정합 및 퓨전을 통해 레이다 단일 센서 대비 감소한 위치 및 속도 RMSE를 확인하였으며, 표 1은 이에 대한 정확한 수치를 보여준다.

표 1. | Table 1. 위치, 속도 RMSE(단위: m, m/s) | RMSE of position (unit: m) velocity (unit: m/s).

RMSE		Radar position	Fusion position	Radar velocity	Fusion velocity
Case		Radar position	Fusion position	Radar velocity	Fusion velocity
0°	Bright	0.0675	0.0577	0.0207	0.0169
0°	Dark	0.0708	0.0394	0.0293	0.0236
45°	Bright	0.0709	0.0533	0.0171	0.0161
45°	Dark	0.0865	0.0843	0.0284	0.0298

Download Excel Table

표 2는 4개 환경에서 이전 연구 참고문헌 [2]에서의 결정 레벨 센서 퓨전을 통한 위치 및 속도 개선 정도와 본 연구에서 수행한 특성 레벨에서의 퓨전을 통한 위치 및 속도 개선 정도를 비교한다. RMSE 개선률은 단일 센서 RMSE를 기준으로, 퓨전 알고리즘 적용 후 RMSE의 상대적 감소 비율로서 식 (10)과 같이 계산하였다.

I m p r o v e m e n t = R M S E s e n s o r − R M S E f u s i o n R M S E s e n s o r × 100

(10)

표 2. | Table 2. 특성 레벨 및 결정 레벨 센서 퓨전의 RMSE 개선률 및 실행 시간 비교 | Comparison of RMSE improvement and execution time in feature-level and decision-level sensor fusion.

Evaluation criteria		Feature level sensor fusion			Decision level sensor fusion [2]
Case		Position RMSE improvement (%)	Velocity RMSE improvement (%)	Execution time (sec.)	Position RMSE improvement (%)	Velocity RMSE improvement (%)	Execution time (sec.)
0°	Bright	14.52	18.36	3.49	−26.01	43.17	11.04
0°	Dark	44.35	19.45	3.33	22.25	15.38	9.76
45°	Bright	24.83	5.85	3.55	7.4	20.37	9.47
45°	Dark	2.54	−4.93	3.40	41.45	28.81	10.54

Download Excel Table

결정 레벨 퓨전에서는 비전 센서 및 레이다 센서를 통한 개별적인 위치 및 속도 추정이 가능했기에 더 우수한 특성을 나타내는 비전 센서 기준으로 RMSE 개선률을 계산하였으며, 특성 레벨 센서 퓨전 단계에서는 비전 센서의 depth 데이터를 활용하지 않으므로 비전 센서 단일로는 위치 및 속도 추정이 불가하기에 레이다 센서와의 비교를 통해 RMSE 개선률을 계산하였다. 특성 레벨 센서 퓨전의 경우, 객체의 0° 이동 환경에서 위치 및 속도 측면에 대해 일반적으로 결정 레벨 센서 퓨전 대비 개선된 성능을 보여주었으나, 45° 이동 조건에서는 다소 저하된 성능을 나타내었다. 그러나, 결정 레벨 센서 퓨전에서 반복되는 각 센서의 복잡한 개별 연산을 생략하여 특성 레벨 센서 퓨전에서는 약 3배 빠른 실행 속도를 달성하였다. 측정된 실행 속도는 객체가 이동한 실제 시간보다 확연히 짧은 시간이며 이는 설계된 알고리즘의 실시간성이 확보되었음을 의미한다.

이와같이, 제안된 특성 레벨 센서 퓨전 알고리즘은 조도 변화 환경 속에서도 단일 센서의 객체 상태 (위치 및 속도) 추정 성능의 한계를 극복하고, 빠른 연산 속도를 달성하였다. 본 알고리즘은 객체 상태 추정의 높은 정밀도와 빠른 연산 속도를 모두 만족시켜, 실시간 처리가 요구되는 센싱 산업 전반에 폭넓게 적용될 수 있을 것으로 예상된다.

Ⅴ. 결 론

본 논문에서는 조도 변화에 강인한 레이다-비전 기반 특성 레벨 센서 퓨전 알고리즘을 제안하였다. 비전, 레이다 센서의 특성 데이터를 결합하고, 칼만 필터를 통해 객체의 위치 및 속도를 프레임 단위로 추정하였다. 제안된 알고리즘을 통해 레이다 단일 센서 대비 향상된 위치 및 속도 추정을 가능케 하였으며, 이전 연구와 비교하였을 때 약 3배의 연산 속도를 확보하였다. 이를 통해 제안된 알고리즘에서 크게 감소된 연산만으로도 센서 간 특성 데이터를 상호보완적으로 융합하여 외란 환경에서도 높은 신뢰성을 확보할 수 있음을 보였다. 이에 따라, 제안된 특성 레벨 센서 퓨전 알고리즘은 높은 정확도와 실시간 처리가 요구되는 최신 센싱 기술 분야에 널리 활용될 수 있을 것으로 기대된다.

Acknowledgements

이 연구는 2025학년도 한화시스템의 재원을 지원받아 수행된 연구임.

References

[1].

S. Yao, R. Guan, X. Huang, Z. Li, X. Sha, and Y. Yue, et al., “Radar-camera fusion for object detection and semantic segmentation in autonomous driving: A comprehensive review,” IEEE Transactions on Intelligent Vehicles, vol. 9, no. 1, pp. 2094-2128, Jan. 2024.

[2].

W. Lee, T. Kim, J. U. Kim, J. Jang, S. T. Kim, and S. K. Hong, “A radar-vision sensor fusion algorithm robust against illumination variations,” The Journal of Korean Institute of Electromagnetic Engineering and Science, vol. 36, no. 6, pp. 576-584, Jun. 2025.

[3].

J. Oh, K. S. Kim, M. Park, and S. Kim, “A comparative study on camera-radar calibration methods,” in 2018 15th International Conference on Control, Automation, Robotics and Vision(ICARCV), Singapore, Nov. 2018, pp. 1057-1062.

[4].

S. Bezryadin, P. Bourov, and D. Ilinih, “Brightness calculation in digital image processing,” in Proceeding International Sympposium on Technologies for Digital Photo Fulfillment, Las Vegas, NV, Jan. 2007, pp. 10-15.

[5].

Y. L. Chen, M. Abdelbarr, M. R. Jahanshahi, and S. F. Masri, “Color and depth data fusion using an RGB-D sensor for inexpensive and contactless dynamic displacement-field measurement,” Structural Control and Health Monitoring, vol. 24, no. 11, p. e2000, 2017.