Loss-Aware Balancing Multimodal Learning for Action Recognition with Foundation Models Youmin Park College of Information and Computing Gwangju Institute of Science and Technology

Abstract

Human action recognition （HAR） has long been dominated by video-only approaches, and this video-centric paradigm has shaped much of the field’s progress to date. While recent vision foundation models such as DINOv2 and V-JEPA have markedly advanced uni-modal performance, the systems built upon them remain fundamentally video-only, and as a result they remain fragile under adverse real-world conditions. Such conditions include low-light or nighttime environments, heavy occlusion, cluttered backgrounds, and visually similar actions that are difficult to distinguish from appearance alone. This dissertation addresses these limitations by investigating how complementary modalities can be integrated with video to build more reliable action recognition systems. Specif- ically, it considers audio cues, which are robust to illumination changes, together with vision-language semantic features, which capture object relationships and high-level context, as two sources of information that video alone cannot provide. Existing audio-visual HAR systems exhibit three recurring shortcomings. First, they rely on backbones that are either trained from scratch or pre-trained on Ima- geNet, rather than on stronger modern foundation models. Second, they rarely incor- porate language-aligned features as a per-sample input. Third, they depend on full fine-tuning, which is prone to overfitting on small datasets. Beyond these architectural and training choices, joint multimodal training frequently suffers from modality col- lapse. In this phenomenon, a dominant modality reduces the training loss so rapidly that the weaker modalities are starved of learning signal, and consequently their rep- resentational capacity is never fully exploited. To overcome these challenges, this work proposes BLAM, a parameter-efficient tri- modal action recognition framework that jointly leverages video, audio, and language- aligned features. The framework makes three core contributions. First, BLAM unifies video and audio processing under a single frozen DINOv2-B backbone equipped with independent Rein adapters, so that both modalities share one strong backbone while retaining modality-specific adaptation. Second, it incorporates pre-extracted BLIP-2 Q-Former features as a language-aligned stream, which is fused with the other modal- ities through a Multimodal Feature Fusion Network. Third, it employs a hybrid anti- collapse training recipe that combines proactive regularization with a novel reactive mechanism. The proactive regularization consists of modality dropout, per-modality auxiliary heads, and inter-modal contrastive alignment, while the reactive mechanism is termed LAGB （Loss-Aware Gradient Balancing）. LAGB computes one-sided gradi- ent coefficients from the per-modality auxiliary losses in log-space, thereby amplifying gradients for under-trained modalities while leaving the well-performing modalities undisturbed. The proposed framework is evaluated on three public benchmarks as well as a cus- tom clinical dataset for behavioral and psychological symptoms of dementia （BPSD）. Under a unified ViT-B backbone, against which all baselines are re-evaluated for fair comparison, BLAM achieves the best performance while requiring only 49.4M train- able parameters. Ablation studies confirm that the proactive and reactive components are complementary rather than redundant, and an analysis of LAGB training dynamics demonstrates that the proposed scheme self-corrects per-modality imbalance through- out training without any manual scheduling. ©2026 Youmin Park ALL RIGHTS RESERVED – iii –|인간 행동 인식（Human Action Recognition, HAR）은 오랫동안 영상 단일 모달리티 기반 접근법이 주를 이루어 왔으며, 이러한 영상 중심 패러다임은 해당 분야의 발전 과 정을 폭넓게 규정해 왔다. DINOv2, V-JEPA와 같은 최신 비전 파운데이션 모델이 단일 모달리티성능을크게향상시켰음에도불구하고,이러한모델을기반으로구축된시스템 은본질적으로여전히영상단일모달리티에머물러있으며,그결과실제환경의열악한 조건에서 여전히 취약하다. 이러한 조건에는 저조도 및 야간 환경, 심한 가림, 복잡한 배 경, 그리고 외형만으로는 구분하기 어려운 시각적으로 유사한 행동 등이 포함된다. 본 학위논문은 이러한 한계를 해결하기 위해, 상호 보완적 모달리티를 영상과 통합함으로 써 보다 신뢰할 수 있는 행동 인식 시스템을 구축하는 방안을 탐구한다. 구체적으로는, 조명 변화에 강인한 음향 단서와 객체 간 관계 및 고수준 맥락을 포착하는 비전-언어 의미 특징을, 영상만으로는 제공할 수 없는 두 가지 정보원으로서 함께 고려한다. 기존 시청각 기반의 HAR 시스템은 세 가지 공통된 한계를 보인다. 첫째, 더 강력한 최신 파운데이션 모델 대신, 처음부터 학습되었거나 ImageNet으로 사전학습된 백본에 의존한다. 둘째, 언어 정렬 특징（language-aligned features）을 샘플 단위 입력으로 거의 활용하지 않는다. 셋째, 소규모 데이터셋에서 과적합되기 쉬운 전체 미세조정（full fine- tuning）에 의존한다. 이러한 구조적 ·학습적 선택을 넘어, 다중 모달리티 결합 학습은 종종 모달리티 붕괴（modality collapse） 문제를 겪는다. 이 현상에서는 지배적인 모달리 티가 학습 손실을 지나치게 빠르게 감소시켜 상대적으로 약한 모달리티가 학습 신호를 충분히 받지 못하며, 그 결과 약한 모달리티의 표현 능력이 충분히 활용되지 못한다. 이러한문제를해결하기위해본연구는영상,음향,언어정렬특징을함께활용하는 매개변수 효율적（parameter-efficient） 삼중 모달리티 행동 인식 프레임워크인 BLAM 을 제안한다. 본 프레임워크의 핵심 기여는 세 가지이다. 첫째, BLAM은 독립적인 Rein 어댑터를 갖춘 단일 고정（frozen） DINOv2-B 백본을 통해 영상과 음향 처리를 통합하며, 이로써두모달리티가하나의강력한백본을공유하면서도모달리티별적응을유지하도 록 한다. 둘째, 사전 추출된 BLIP-2 Q-Former 특징을 언어 정렬 스트림으로 도입하고, 이를 다중 모달리티 특징 융합 네트워크（Multimodal Feature Fusion Network）를 통해 다른 모달리티와 융합한다. 셋째, 능동적 정규화와 새로운 반응형 메커니즘을 결합한 하 이브리드 붕괴 방지 학습 기법을 채택한다. 능동적 정규화는 모달리티 드롭아웃, 모달리 티별 보조 헤드, 모달리티 간 대조 정렬（inter-modal contrastive alignment）로 구성되며, 반응형 메커니즘은 LAGB（Loss-Aware Gradient Balancing）라 명명한다. LAGB는 모 달리티별 보조 손실로부터 로그 공간（log-space）에서 단방향（one-sided） 기울기 계수를 산출하며,이를통해충분히학습된모달리티는그대로두면서학습이부족한모달리티의 기울기만을 증폭한다. 제안하는 프레임워크는 세 가지 공개 벤치마크（Kinetics-Sounds, AVE, UCF101）와 치매의 행동심리증상（Behavioral and Psychological Symptoms of Dementia, BPSD）을 위한 자체 임상 데이터셋에서 평가되었다. 공정한 비교를 위해 모든 비교 기법을 동일한 ViT-B 백본 조건에서 재평가하였으며, 그 결과 BLAM은 단 49.4M개의 학습 가능한 매개변수만으로 최고 성능을 달성하였다. 분석을 통해 능동적 구성요소와 반응형 구성 요소가 중복적이지 않고 상호 보완적임을 확인하였으며, LAGB의 학습 동역학 분석을 통해 제안 기법이 별도의 수동 스케줄링 없이 학습 전 과정에 걸쳐 모달리티별 불균형을 자가 보정함을 입증하였다. ©2026 박 유 민 ALL RIGHTS RESERVED