Multimodal data analysis: combining information from RGB Cameras and LiDAR Sensors to improve navigation system robustness

Abstract

Multimodal sensor fusion integrates complementary data streams from RGB cameras and LiDAR sensors. The approach addresses individual sensor limitations and maintains stable navigation accuracy under adverse conditions including fog, low illumination, and precipitation. Analysis of 2022–2025 research demonstrates that feature-level fusion architectures outperform single-sensor baselines by up to 17% in detection and navigation tasks.Мультимодальне об'єднання датчиків інтегрує додаткові потоки даних від RGB-камер та лідарних датчиків. Цей підхід враховує обмеження окремих датчиків та підтримує стабільну точність навігації за несприятливих умов, включаючи туман, низьку освітленість та опади. Аналіз досліджень 2022–2025 років демонструє, що архітектури об'єднання на рівні функцій перевершують базові моделі з одним датчиком до 17% у завданнях виявлення та навігації.