Knowledge Distillation for Object Detection Robust to Adverse Weather Condition

Abstract

본 연구는 악천후 조건에서도 강건한 객체 검출을 위한 지식 증류 방법을 제안한다. 사전 훈련된 모델에 추가로 새로운 클래스를 학습하기 위해 지역 제안의 지식 증류를 활용하여 파국적 망각을 줄이는 효과가 있다는 연구가 있었다. 이에 영감을 받아 악천후 조건에서 물체 탐지를 수행하기 위한 지역 제안 지식 증류 방법을 제안한다. Cityscapes 데이터셋으로 훈련된 교사 네트워크와 RainCityscapes 데이터셋으로 훈련된 학생 네트워크의 지역 제안의 객체 점수는 이진 교차 엔트로피 손실 함수로 계산되었다. 우리는 계산된 손실을 역전파하여 지역 제안에 대하나 지식을 전달했다. 제안된 방법은 Faster-RCNN에 적용되고 공개 데이터셋인 Cityscapes과 Rain Cityscapes 데이터셋에 대해 평가했다. 1) 우선적으로 RainCityscapes 데이터셋 중 일부를 사용하여 연구를 수행했다. RainCityscapes 데이터셋만으로 학습한 기준선과 비교하여 특징 지식 증류와 함께 우리가 제안한 지역 제안 지식 증류를 사용하여 객체 검출 성능이 향상되었다. IoU=0.50 및 IoU=0.50:0.95에서 기준선의 평균 정밀도는 26.3 및 16.6이고 우리가 제안한 모델은 그보다 높은 31.0 및 20.1을 얻었다. 2) RainCityscapes 데이터셋의 전부를 사용하여 학습 및 평가하였을 때 우리가 제안한 모델은 기준선의 평균정밀도인 43.6보다 높은 43.7의 성능을 얻었다. T-SNE를 통해 데이터셋의 특징 분포를 시각화하여 비교했다. 기준선보다 제안된 모델에서 Cityscapes와 RainCityscapes 데이터셋의 특징 분포가 더 잘 클러스터링 되어 도메인 적응 효과가 있음을 보였다. 또한 지역 제안 결과를 시각화 했을 때 교사 네트워크와 유사하게 지역 제안이 생성되어 지역 제안 증류의 방법이 효과가 있는 것을 보였다. 실험 결과를 토대로 제안하는 방법이 악천후 조건에 강건한 객체 탐지 모델을 훈련시키는데 효과적임을 보였다. 또한 최신 모델에 적용 가능하도록 모델 구조 변화 및 적용을 통해 최신 모델의 성능 향상이 가능할 것으로 기대한다.|This study proposes a knowledge distillation robust for object detection even in adverse weather conditions. To learn new classes additionally to the pre-trained model, existing research investigate knowledge distillation of region proposals has the effect of reducing catastrophic forgetting. Inspired this investigation, we proposed the method of region proposal knowledge distillation to perform object detection in adverse weather condition. The objectness of region proposals of the teacher network and the student network were calculated as binary cross-entropy loss. We transferred the knowledge of region proposals by backward-propagate the calculated loss to the model. The proposed method is applied on Faster-RCNN and evaluated on public datasets that are the Cityscapes and the RainCityscapes dataset. As the result, 1) when evaluate part of the RainCityscapes dataset, the object detection performance increased when apply the proposed region proposal distillation with feature distillation compare with baseline which is learned only the RainCityscapes dataset. Mean average precision of baseline get 26.3 and 16.6 and our model get 31.0 and 20.1 which are higher performance at IoU=0.50 and IoU=0.50:0.95. 2) when evaluate entire of the RainCityscapes dataset, baseline get 43.6 and our model get 43.7 which is higher performance at IoU=0.50. The feature distribution of the Cityscapes and the RainCityscapes was visualized and compared through t-SNE. When comparing the baseline and our model, the feature distributions of the Cityscapes dataset and the RainCityscapes clustered better. When the region proposal results were visualized, it was shown that the region proposal distillation was effective as the performance because the region proposal is generated similar to that of a teacher network trained with the Cityscapes which have better performance than baseline. Experimental results suggested that the proposed method is effective in training an object detection model robust to adverse weather conditions. Also, it is expected that improving performance is possible by applying the method which transform to be applicable to the state-of-the-art model.