Development of Brain Connectome-Aware fMRI to visual image reconstruction model

Abstract

본 연구는 뇌 연결 구조를 반영한 기능적 자기공명영상 기반 시각 자극 복원을 위 한 인공지능 모델을 제안한다. 기존 연구들은 주로 생성 모델의 설계에 초점을 맞추어 뇌 영역의 구조적 ·기능적 특성을 충분히 고려하지 못했다. 특히 복셀 신호를 평탄화해 사용함으로써 시각 피질의 해부학적 ·기능적 조직을 온전히 활용하지 못했다. 이러한 한계를 극복하기 위해 영역 수준 잠재표현을 도입하고, 각 영역을 개별 토큰으로 처리 하는 트렌스포머 인코더를 통해 영역 간 상호작용을 명시적으로 학습한다. 또한 휴지기 기능적연결성을사전지식으로주입하여,기능적자기공명영상잠재표현과자연이미지 잠재공간간정렬을촉진한다.결과적으로,본연구는각뇌영역이고유한정보적기여를 지니며, 이를 영역 수준으로 보존하고 연결성 사전지식과 함께 모델에 제공할 때 복원이 유의하게 향상됨을 실증한다.|Recent deep-learning approaches have achieved significant improvements in recon- structing visual images from human brain activity. However, existing methods typi- cally represent brain activity as flattened voxel-wise signals, overlooking the detailed anatomical and functional organization of visual cortical regions. Here, we propose Con- necToMind, a novel decoding framework that employs a region-level fMRI embedding module and a Connectome-Transformer, in which resting-state functional connectiv- ity is incorporated as prior knowledge to better align the fMRI-derived embeddings with the latent space of visual generator. ConnecToMind achieves competitive perfor- mance in image retrieval tasks. Ablation analyses further reveal that low-level (e.g., V1–V3) and high-level (e.g., lateral occipital, fusiform) visual regions make distinct contributions to reconstruction quality, underscoring the importance of region-specific embeddings in visual reconstruction.