Self-Calibration for Detecting Out-of-Distribution in High-Fidelity Image Applications

Abstract

미학습 객체 탐지는 입력된 객체가 딥러닝 모델이 사전에 배운 카테고리에 속하는 지, 속하지 않는 지를 판별하는 작업으로, 딥러닝 모델의 경우 미학습 객체에 대해서도 사전에 배운 카테고리 중 하나로 높은 신뢰도를 가지고 분류하는 경향이 있으므로 딥러닝 어플리케이션의 안정성을 위해서 중요한 연구이다. 하지만 현재 제안된 미학습 객체 탐지 성능을 높이는 학습 방법 연구의 경우, 저해상도 이미지 벤치마크에 대해서 검증이 되어, 고해상도 이미지 어플리케이션의 성능이 검증되지 않았으며, 고해상도 이미지의 경우, 입력 차원이 굉장히 크기 때문에 기존에 저해상도 이미지 벤치마크를 위해 개발된 방법들이 쉽게 적용되기 어렵다는 문제점이 있다. 본 연구에서는 고해상도 이미지 어플리케이션에서의 미학습 객체 탐지 성능을 올리기 위한 자가 교정이라는 학습 방법을 제안한다. 본 연구에서는 두 가지의 연구에서 기초를 둔다: 첫번째로, 기존 미학습 객체 탐지 성능을 올리기 위한 학습 방법들이 딥러닝 모델을 학습 단계에서 미학습 객체에 노출을 시키고, 이에 대해 신뢰도를 낮추도록 훈련하는 방법을 사용하고 있는 것이며, 두번째로, 자가 증류 학습 방법으로 똑같은 아키텍처를 가진 두 모델을 교사-학생의 프레임워크로 학생 모델의 성능을 높이는 방법이다. 자가 교정 학습 방법은 이 두가지 방법을 조합하여, 학생 모델의 특징 차원에서 선택 경계의 외각에 있는 교사 모델의 특징에 학생 모델을 노출시키고, 교사 모델의 특징을 미학습 객체의 특징으로 생각하여 이에 대해 신뢰도를 낮추는 방법을 통해 학생 모델의 미학습 객체 탐지 성능을 높이고자 하였다. 이를 위해 교사 모델의 특징을 학생 모델의 선택 경계 외각으로 위치하게 하는 Center loss와 학생 모델에 교사 모델의 특징이 입력되었을 때의 신뢰도를 낮추는 Confidence loss가 제안되었으며, 고해상도 이미지로 이루어진 데이터셋을 사용한 새로운 벤치마크에 대해서 실험이 이루어졌다. ResNet34 아키텍처의 모델과 5개의 데이터셋을 사용한 실험 결과, 제안된 방법으로 학습된 학생 모델의 경우, 기존에 제안된 학습 방법이나 기존의 cross-entropy 방법으로 학습된 모델의 미학습 객체 탐지 성능보다 월등히 높은 성능을 보여주는 것을 확인하였다. 또한 제안된 방법은 기존에 제안된 방법과 달리 미학습 객체로 사용될 외부의 데이터셋을 필요로 하지 않으므로 실생활에 적용하기에 더 쉽다는 장점도 있다.|This study proposes a teacher-student framework that train the model which has superior out-of-distribution (OOD) detection performance than the other models. In Chapter 1, backgrounds and related works of OOD detection are described to introduce the idea of OOD detection to the reader. In Chapter 2, the proposed method, namely self-calibration, for training the model that has advantages in OOD detection is formulated. Inspirations of the proposed method: self-knowledge distillation and previous method are explained in the chapter. Based on these ideas, self-calibration, where the student is trained to have lower confidence on teacher’s features, is designed. Chapter 3 covers experimental setup for evaluating the model trained with self-calibration. In the Chapter 3, a novel benchmark consists of high-fidelity images that drawn from fine-grained dataset is explained. This novel benchmark is utilized for experiment to fill the gap between previous OOD benchmarks and real-world OOD situation. In Chapter 4, OOD benchmark comparison with the model trained with self-calibration and the other models (e.g., the model trained with previous methods, the model trained with standard training method) is presented. The experiment demonstrated that the proposed method outperforms other training method by large margin. For example, average relative performance improvement of TNR@TPR95 when using MSP method in detecting semantic shifted OOD is 54.11%, and average relative performance improvement in detecting semantic + non-semantic shifted OOD is 71.25%, compared to the model trained with standard method (i.e., cross-entropy loss). In Chapter 5, the effect of proposed loss term of self-calibration are demonstrated with visualization. Experimental results suggested that the proposed method is well designed and can outperform the other methods in high-fidelity OOD detection task. Also, this method does not require any auxiliary OOD samples like previous method and can be generally applicable to high-fidelity image applications