Robust Object Detection under Adverse Conditions via Joint Semantic Learning and Knowledge Distillation

Abstract

인식 부족, 가혹한 환경 조건에 대한 취약성, 도메인 변화에 대한 일반화 한계 등의 문제를 안고 있다. 이를 해결하기 위해, 본 연구에서는 대규모 다중 시점 해양 데이터셋, 강건한 해양 객체 탐지를 위한 공동 학습 프레임워크, 일반화 성능을 향상시키는 교차 도메인지식증류기법을제안한다. 첫째,우리는 Multi-View Maritime Vision (MV2)데이터셋을소개한다. MV2는선박 주변 6개시점에서촬영된 159,386개의가시광이미지로구성되며, 360도전방위환경인 식을지원한다.본데이터셋은객체바운딩박스,의미론적,인스턴스,파놉틱분할라벨을 포함하며, 다양한 환경 조건을 반영하여 해양 상황 인식 연구에 적합하도록 설계되었다. 또한, 최신 객체 탐지 및 파놉틱 분할 모델을 MV2에서 벤치마킹하여 해양 자율성 연구 발전에기여할수있음을실증하였다. 둘째, Joint Semantic Learning (JSL)을제안하여해양환경에서의강건한객체탐지를 가능하게 하는 프레임워크를 개발하였다. JSL은 해양 장면 분할과 객체 탐지를 결합하 여 탐지 네트워크의 전반적인 성능을 향상시킨다. 학습 시 분할 모듈을 추가하여 장면의 맥락을 학습하도록 유도하지만, 추론 시에는 분할 모듈을 제거하여 추가적인 연산 부담 없이 동작한다. 실험 결과, JSL을 적용한 모델은 SMD 및 SeaShips 데이터셋에서 높은 – iii – 성능향상을보였으며,특히안개,조명변화,모션블러등가혹한조건에서도뛰어난탐 지성능을유지하는것으로나타났다.또한, Cityscapes데이터셋을활용한실험에서도시 환경에서도효과적으로일반화됨을확인하였다. 셋째,우리는 Cross-Domain Feature Knowledge Distillation (CD-FKD)을제안하여도메 인변화에대한객체탐지모델의일반화성능을향상시킨다. CD-FKD는전역및인스턴 스단위의특징증류를활용하며,학생네트워크는손상된및축소된데이터를학습하고, 교사 네트워크는 원본 도메인 데이터를 학습하도록 설계되었다. 이 과정에서 학생 네트 워크는객체중심특징을보다효과적으로추출할수있으며,도메인변화에강인한탐지 성능을 갖출 수 있다. 다양한 실험을 통해 CD-FKD가 최첨단 방법론을 뛰어넘는 성능을 보이며,자율주행및감시시스템과같은도메인일반화가필수적인실제응용분야에서 효과적으로활용될수있음을검증하였다. 본연구에서제안하는기법들은다중시점인식,가혹한환경에서도강건한탐지성능, 도메인 변화에 대한 일반화 능력 향상이라는 핵심 문제를 해결한다. 이러한 연구 성과는 해양,교통,감시분야의자율시스템에서신뢰할수있는객체탐지를구현하는데중요한 기여를할것으로기대된다. |Reliable object detection is critical for autonomous systems operating in dynamic en- vironments, yet existing models face challenges in comprehensive multi-view perception, robustness to adverse conditions, and generalization across domain shifts. To address these limitations, we propose three key advancements: a large-scale multi-view maritime dataset, a joint learning framework for robust maritime object detection, and a cross-domain feature knowledge distillation method for improved generalization. First, we introduce the Multi-View Maritime Vision (MV2) dataset, comprising 159,386 visible-light images captured from six viewpoints around a vessel, providing a complete 360-degree perception. MV2 includes bounding boxes, semantic, instance, and panoptic segmentation labels, covering diverse environmental conditions to support maritime situational awareness. Benchmarks on state-of-the-art models validate its utility for advancing maritime autonomy research. Second, we present Joint Semantic Learning (JSL), a framework that enhances object detection in challenging maritime environments by integrating ocean scene segmentation into the detection network. JSL enables the model to extract both spatial and semantic information, improving robustness to fog, lighting variations, and motion blur. Extensive experiments on SMD and SeaShips datasets demonstrate that JSL significantly enhances detection performance, particularly under adverse conditions. Furthermore, experiments on Cityscapes confirm its ability to generalize to urban environments. Third, we propose Cross-Domain Feature Knowledge Distillation (CD-FKD) to enhance model generalization in single-domain training settings. CD-FKD leverages global and instance-wise feature distillation, training the student network with downscaled and cor- rupted data while maintaining the teacher network on the original domain. This approach enables the student to learn robust object-centric features, improving performance on unseen target domains. Experiments demonstrate that CD-FKD outperforms state-of-the-art methods in both source and target domain evaluations, making it particularly beneficial for applications in autonomous driving and surveillance. Together, these contributions provide a foundation for enhanced object detection in real- world scenarios, addressing the challenges of multi-view perception, robustness to adverse conditions, and domain generalization. Our findings offer promising directions for improving autonomy in maritime, transportation, and surveillance applications.