Development of Deep Learning Based Computational Hyperspectral Camera Using Microlens Array and Multilayer Thin Films Jioh Lee Gwangju Institute of Science and Technology

Abstract

초분광 이미징 시스템은 원격 감지, 의료 영상 및 진단을 포함한 다양한 연구 분야에 서광범위하게연구되어왔다.그러나기존초분광이미징시스템의큰부피와긴시간이 소요되는 이미지 획득 과정으로 인해 초분광 카메라의 모바일 기기로의 응용이 제한되 어 왔다. 이 연구에서는 마이크로렌즈 배열 (MLA)과 다층 박막 필터 배열을 통합하여 저비용/초소형의단노출시간에초분광이미징이가능한딥러닝기반계산초분광카메 라를 제안한다. 다층 구조의 필터 배열을 이미지 센서에 반복적으로 구현하여 투과율의 불일치를 야기하고 이미지 복원 과정의 복잡도를 높이는 대신, 이미지 센서에 단일 필터 배열과 MLA를 장착하여 초분광 이미지 복원 과정의 복잡도를 효과적으로 줄였다. 딥 러닝기반 point-wise스펙트럼복원방법을사용하여초분광이미지를복원했고,학습을 위하여 합성 스펙트럼 데이터 세트를 구성하였다. 실제 환경에서 측정 노이즈를 반영하 여 모델을 학습하기 위해 균일한 분포에서 샘플링한 노이즈 레벨을 사용하는 데이터 증강 방식을 제안한다. 실험 결과, 가장 성능이 좋은 모델을 통해 이미지 복원 속도가 17배 증가하고 제안된 데이터 증강 방식을 통해 복원의 오류가 2배 감소하였다. 제안된 시스템은 저비용/초소형의 하드웨어 구성 및 단노출 시간에 초분광 이미징이 가능한 구조와 효율적인 초분광 이미지 복원을 통해 실시간 감지 및 소비자 가전과 같은 모바일 응용에 효과적인 해법을 제공한다.|Hyperspectral (HS) imaging systems have been extensively studied across various research fields, including remote sensing, biomedical imaging, and medical diagnostics. However, the bulkiness and time-consuming imaging process of conventional HS imaging systems have hindered their integration into mobile applications. In this study, we present a deep learning (DL)-based computational HS camera that integrates a microlens array (MLA) and a multilayer thin film filter array, enabling snapshot HS imaging with compact and low-cost configuration. Instead of implementing multiple filter arrays with multilayer structures across the complementary metal-oxide semiconductor (CMOS) image sensor which leads to transmittance inconsistencies and complicates the recovery process, we mount an MLA onto a single filter array with a CMOS image sensor, effectively reducing reconstruction complexity. We employed DL-based point-wise spectral reconstruction methods to recover an HS image. A synthetic spectral dataset was used to train the model. To train the model by reflecting the measurement noise in the real environment, we propose a data augmentation scheme using noise levels sampled from a uniform distribution. Our experimental results by the best-performing model showed a 17-fold increase in reconstruction speed and a twofold reduction in reconstruction error with the proposed data augmentation scheme. By achieving snapshot structure and efficient reconstruction with compact and low-cost hardware configuration, the proposed system offers a promising solution for mobile applications such as on-site detection and consumer electronics.