Dark Image Object Detection using Patchwise Contrastive Learning

Abstract

어두운 이미지 객체 검출 모델은 전력 송전 터널과 같은 지하 터널 내 시설물을 로봇을 이용해 무인 진단하기 위해서 기본적으로 필요한 기술이다. 어두운 이미지는 밝은 이미지와는 다르게 조도 및 노이즈 등에 인한 객체 검출의 방해요소가 존재하지만 대부분의 객체 검출 모델은 밝은 이미지를 기준으로 연구되어졌다. 본 논문에서는 객체 감지를 위해 어두운 이미지에서도 밝은 이미지와 같이 객체의 특징을 잘 찾도록 학습하는 객체 감지 모델 방법을 제안한다. 제안하는 어두운 이미지 객체 검출 모델은 두 부분으로 나뉜다. 첫번째는 CycleGAN을 통해 어두운 이미지의 조도를 개선한다. CycleGAN의 주기 일관성 손실은 이미지 생성기 G를 도메인 X가 도메인 Y에 유사한 스타일이 되도록 학습시킨다. 이 후 도메인 Y 스타일이 된 도메인 X는 다시 원래의 도메인 X 스타일로 변환되도록 이미지 생성기 F가 학습된다. 이와 같은 주기 일관성 손실의 특징을 밝은 이미지와 어두운 이미지를 각각 어둡고 밝게 변환하는데 사용하여 어두운 이미지 데이터셋인 ExDark 데이터셋은 밝은 이미지 데이터셋인 COCO와 유사한 조도의 스타일로 변환시키고 밝은 이미지 데이터셋인 COCO는 ExDark 스타일인 어두운 이미지로 변환한다. 이처럼 CycleGAN을 이미지 조도 개선에 이용하는 것에 대한 장점은 짝이 없는 데이터셋으로도 복잡한 절차 없이 쉽게 이미지의 조도를 개선할 수 있다는 것이다. 두번째는 어둡고 밝은 이미지 쌍에서 추출된 특징 지도로부터 특정 위치의 패치 정보를 뽑아내 밝은 이미지의 표현을 어두운 이미지에서 잘 찾게 하기 위해 객체 검출 모델에 패치단위의 대조학습이 추가된다. 제안하는 객체 검출모델은 ResNet-50과 ResNet-101을 기초네트워크 및 패치단위 대조학습의 암호기로 사용하며 객체 검출 모델로는 Faster R-CNN과 RetinaNet을 사용한다. 제안하는 방식과 제안하는 방법을 사용하지 않는 일반 방법과의 객체 검출 성능을 비교한 결과 제안한 방법은 일반 방법보다 더 우수한 객체 검출 평균 정확도(AP)를 달성하였다. 서로 다른 데이터 세트를 통해 학습된 제안하는 방법은 일반 방법과 동일하거나 더 높은 평균 정확도를 달성하였다. CycleGAN으로 생성된 데이터셋으로 학습된 객체 검출 모델은 다른 방법으로 생성한 데이터셋보다 객체 감지 성능에서 더 높은 점수를 달성하였다. 제안하는 방법은 최신 방법 및 다른 어두운 이미지 객체 검출 연구 접근 방식에 비해 낮은 평균 정확도를 달성하였다. 그럼에도 불구하고 제안하는 방법은 기존의 어두운 이미지 객체 검출 연구의 접근 방식과는 다른 새로운 접근 방식을 제안한다. 제안하는 방법은 밝고 어두운 이미지 쌍의 데이터셋을 필요로 하지 않으며 가장 널리 사용되는 객체 감지 모델에 쉽게 적용할 수 있다는 장점이 있다.|This study proposes an object detection model approach that trains to find representations of objects well even in dark images for object detection. In Chapter 1, the backgrounds for this study are given by talking about the unmanned diagnosis of power transmission tunnels and related works for dark image object detection. In Chapter 2, the motivation of the proposed method, the low-light image enhancement method by CycleGAN, and the overall part of the proposed dark object detection model using Patchwise Contrastive Learning are described. In Chapter 3, a low-light image enhancement method using CycleGAN to generate images of dark and light image pairs is described. The cycle-consistency loss of CycleGAN trains a model to make two different datasets like each other. This can be used to darken and brighten the bright and dark datasets, respectively. This section describes the low-light enhancement method and the datasets and result images used in the experiments. In Chapter 4, Patchwise Contrastive Learning (PCL) is described, which extracts the corresponding patches from the bright and dark image pairs generated by CycleGAN so that the dark image can better find the representations of the bright image. Then, the performance of the object detection model using the proposed PCL method and other methods is compared. The proposed method is applied to Faster R-CNN, a widely used two-stage object detection model, and achieves a COCO Evaluation AP that is 0.5 to 1 better than the general object detection method as a baseline. Also, the proposed method trained on different datasets achieves the same or 0.8 higher AP than the baseline. However, the proposed method achieves a 2.5 lower AP compared to the state-of-the-art method and other dark image object detection research approaches. Nevertheless, the proposed method is a novel approach that uses CycleGAN as a low-light image enhancement method and PCL, unlike conventional approaches for dark image object detection tasks. Also, the proposed method is simple and easy to adapt to the most popular object detection models. It also doesn't need a set of images that are both bright and dark.