From RGB image to hyperspectral image: Spectral synthesis via diffusion model

Abstract

국방 환경에서 적의 감시 및 정찰을 보다 정확하고 효율적으로 수행하기 위해 초분광 이미징(HSI)은 물질 식별 능력을 크게 향상시킬 수 있는 유용한 도구이다. 그러나 국방 환경에 적합한 초분광 이미지 데 이터는 매우 제한적이며, 이는 실질적인 적용에 어려움을 준다. 본 연구에서는 RGB 데이터를 기반으로 초분광 이미지를 생성하기 위해 디퓨전 모델을 활용하여 데이터 부족 문제를 해결하고자 한다. 특정 물질 에 대한 초분광 데이터는 라인스캔 방식의 초분광 카메라를 통해 수집하며, 동일한 각도에서 웹캠을 사용 해 RGB 이미지를 동시에 촬영한다. RGB 이미지는 세그멘테이션 작업을 통해 특정 물질에 대한 정보를 입력하는 데 활용되며, 이를 통해 디퓨전 모델이 해당 물질의 스펙트럼 데이터를 효과적으로 생성할 수 있도록 돕는다. 이 방법은 초분광 이미지 데이터 부족 문제를 해결할 뿐만 아니라, 국방 환경에서 필요한 특정 물질의 초분광 이미지를 원하는 만큼 생성할 수 있는 확장 가능한 솔루션을 제공한다. 이를 통해 국 방 환경에서의 감시 및 정찰 임무에서 초분광 이미지의 활용도를 크게 향상시킬 수 있다.