Learning for Visual Understanding: A Data-Centric Perspective

Abstract

Recent progress in visual understanding stems from the co-evolution of architectural scaling and massive-scale data curation. While advances in model design have substantially improved representation learning, the quality, diversity, and reliability of data still remain critical to achieving robust performance in real-world settings. This dissertation adopts a data-centric perspective to investigate how principled improvements in data generation and ambiguity-aware learning can enhance robustness in RGB-T object detection and dense prediction tasks. To this end, we introduce an open-source toolkit for synthetic RGB-T data generation for object detection research, and then present a large-scale benchmark for RGB-T multi-view aerial object detection, exposing key challenges such as limited diversity, viewpoint variation, and domain discrepancy. Finally, robust learning frameworks are proposed, which directly account for annotation ambiguity by injecting structured and stochastic noise into training supervision, thereby improving generalization under real-world uncertainty. Through extensive empirical evaluation and theoretical analysis, this dissertation demonstrates that improving viewpoint diversity and addressing label ambiguity are meaningful requirements for building more reliable visual understanding systems.|최근 시각 이해 분야의 발전은 아키텍처의 확장과 대규모 데이터 구축 간의 상호 발전에 기반을 두고 있다. 모델 설계의 진보는 표현 학습 성능을 크게 높였지만, 실세계 환경에서의 견고한 성능을 보장하기 위해서는, 데이터의 품질, 다양성, 신뢰성 역시 동일하게 중요하다. 본 학위논문은 데이터 중심의 관점에서, 체계적인 데이터 구축과 모호성을 고려한 훈련 기법의 개발이 RGB-T 객체 탐지 및 밀집 예측과 같은 시각 이해 태스크에서 어떻게 강건성을 향상시킬 수 있는지를 탐구한다. 이를 위해, 본 연구에서는 우선 객체 탐지 연구를 위한 가상의 RGB-T 데이터 생성을 위한 오폰소스 툴킷을 제안한다. 이어서, 이를 바탕으로, RGB-T 다중 항공 시점에서의 객체 탐지를 위한 대규모 벤치마크를 구축하고, 데이터 다양성, 시점 변화, 도메인 차이와 같은 요소가 이 태스크에 미치는 영향을 규명한다. 최종적으로, 본 논문은 주석의 모호성을 직접적으로 고려하는 강건한 표현 학습 프레임워크를 제안하며, 여기서 구조적 및 확률적 노이즈를 훈련용 레이블에 주입하는 것의 실세계 일반화 성능 향상 효과를 분석한다. 광범위한 실험적 검증 및 이론적 분석을 통해, 본 학위논문은 데이터 시점 다양성 확보와 레이블 모호성에 대한 고려가 더욱 신뢰할 수 있는 시각 이해 시스템 구축을 위한 유의미한 요소임을 보인다.