A Multiple Sequential Decoder Network for MEG Visual Object Classification

Abstract

뇌파를 분류하는 연구는 뇌 연구에 있어서 가장 많이 다뤄지고 있는 분야 중 하나이다. 이러한 뇌파 분류의 성능을 향상시키기 위해 최근 몇십 년간 다양한 장비들과 방법들이 개발되고 소개되었다. 우리는 뇌가 시각 객체를 인식하는 메커니즘에서 영감을 받아 설계한 복수의 시계열 디코더 네트워크 - ViperNet - 을 소개한다. 제안하는 본 방법은 보다 더 직접적으로 다양한 수준의 피처를 해석하게 해준다. 게다가 각 디코더에서 출력하는 손실 값을 스케일에 맞춰 조절 가능한 변수를 사용하여 합쳐줌으로써 각기 다른 수준의 피처를 협력적으로 고려하는 학습을 이루어냈다. 우리의 네트워크는 직접 획득한 MEG 데이터셋에 대해 최근 가장 좋은 성능을 보이는 순환 학습 모델과 합성곱과 순환학습을 복합적으로 사용하는 여러 모델보다 좋은 성능을 보여주었다. 또한 우리는 몇 개의 추가적인 실험을 통해 제안한 네트워크의 우수성을 보여주었다. 마지막으로 우리는 시각 자극 분류 연구를 위해 사용할 수 있는 거대한 MEG 데이터셋을 잘 설계된 실험 하에서 진행하여 획득하였다. 결과적으로 본 연구는 MEG를 통한 시각 객체 분류 연구에 대한 가능성을 제시하는 것으로 뇌공학 분야에 기여할 수 있다.|Classifying the brain activities is one of the most popular field in brain research. Many devices and methods have invented and introduced to improve the classification performance in recent decades. In this paper, we introduce a genuine architecture, ViperNet (VIsual PERception Network), which is consist of parallelly designed multiple sequential decoders inspired by a mechanism of how brain recognize a visual object. The proposed architecture enables interpret the various levels of feature in more direct scheme. In addition, we aggregated the losses from every decoder with a scalable variable to let the network performs an ensemble learning with the results from the various levels of feature. Our result outperformed state-of-the-art recurrent models and several complex models with convolution and recurrent cells on self-acquired MEG dataset. Furthermore, we clarified the advantages of our model in the aspect of structure by performing several additional studies. Lastly, we acquired the fist large scale MEG dataset which is recorded with well-designed experiment for visual object classification. As a result, our study can contribute to brain engineering field by providing the feasibility of visual object classification using MEG brain imaging.