Towards End-to-End Brain-Computer Interface for the Public: Improving Convenience and Reducing Performance Variation

Abstract

뇌-컴퓨터 인터페이스는 몸 움직임 대신 사람의 뇌파로 외부 환경과 소통할 수 있게하는 인터페이스를 지칭한다. 뇌-컴퓨터 인터페이스는 몸 움직임이 불편한 사람에게 뇌파로 컴퓨터를 조작할 수 있게 함으로써 의사소통, 엔터테이먼트, 그리고 재활에도 활발하게 사용되어 왔다. 몸이 불편한 사용자 층 뿐만 아니라 뇌-컴퓨터 인터페이스는 뇌파 기반 게임에도 활용되며 일반 사용자들의 관심을 받아왔으나, 대중화되기 위한 장애물이 존재한다. 뇌-컴퓨터 인터페이스를 이용하기 위해 시행되는 교정 단계에서 유발되는 불편함과 사람간의 특성의 큰 차이점에서 유발되는 뇌-컴퓨터 인터페이스 성능의 변동성은 뇌-컴퓨터 인터페이스의 대중화를 방해하는 가장 큰 문제점들이며, 뇌-컴퓨터 인터페이스 연구는 오랫동안 한계점을 극복하기 위한 방법론들을 제안해왔다. 본 연구에서는 해당 문제점들을 해결하기 위해 뇌-컴퓨터 인터페이스 별 한계점 극복을 위한 연구들을 제안했다. 첫 번째로, 뇌-컴퓨터 인터페이스의 메커니즘을 이해하고 성능을 예측하기 위해 P300 기반 스펠러의 바이오마커를 탐색하는 연구를 통해 P300 스펠러의 주요 뇌파 특성을 제시했다. 두 번째로, 뇌-컴퓨터 인터페이스를 교정 단계 없이 즉시 이용하기 위한 제로트레이닝 뇌-컴퓨터 인터페이스의 성능 향상을 위해 전이 학습 시 유의미한 학습 데이터를 사용자 수준에서 선정하는 방법을 제안 해 성능 향상을 달성했다. 마지막으로 외부 자극을 이용해 뇌파를 변화시켜 뇌-컴퓨터 인터페이스 성능을 향상시키는 실험을 설계하고 진동자극 및 경두개 직류 전기 자극을 이용해 뇌-컴퓨터 인터페이스 저성능자의 성능을 향상시키고 자극의 종류별 효과를 비교하는 연구를 수행했다.

본 연구에서 공통적으로 관찰한 결과는 뇌-컴퓨터의 저성능자와 고성능자의 뇌파 특성이 구별될 정도로 다르다는 점과 저성능자와 고성능자를 함께 이용하는 것보다 분리해 이용했을 때 뇌-컴퓨터 인터페이스의 성능을 향상시킬 수 있다는 점 이었다. 또한, 저성능자와 고성능자는 뇌-컴퓨터 인터페이스를 하는 동안의 뇌파 패턴 뿐만 아니라, 외부 자극에 대해서도 다른 효과를 보이는 것으로 나타나 궁극적으로 뇌-컴퓨터 인터페이스를 개선하기 위해서는 저성능자와 고성능자를 분리시켜 각각에 대한 심도깊은 연구가 필요한 것으로 짐작된다.|Brain-computer interface (BCI) refers to an interface that enables people to communicate with the external environment through the brain activity instead of the body movements. BCI has facilitated people who need them by providing a tool to control computers or machines using brain activity for communication, entertainment, and rehabilitation. In addition to the patients with movement disorders, BCI has received the attention from the public as it was applied to BCI based game, but the challenging issues still remain. The most challenging issues blocking the popularization of the BCI are discomfort from the calibration session before using the BCI and the performance variation caused by the substantial inter-subject variability, and the BCI researchers have proposed the solutions to address these issues. In this study, we have proposed the research to overcome the challenging issues for a specific BCI system. First, we quantified the key EEG characteristics of the P300 Speller through a study exploring the biomarkers of the P300-based speller to understand the mechanism of the brain-computer interface and predict its performance. Second, we proposed a method to select meaningful subjects as learning data during transfer learning for zero-training motor imagery based BCI that users can use immediately without the calibration phase and achieved the improved BCI performance. Finally, we designed the experiment for enhancing motor imagery based BCI performance of low BCI performers through external stimulation, including vibrotactile stimulation and transcranial direct current stimulation (tDCS), and compared the stimulation effects on the brain activity.

In this study, we commonly observed that the neurophysiological characteristics of inefficient BCI users and efficient BCI users were different enough to be classified, and subgroup analysis could enhance the BCI performance by dividing the subjects depending on the BCI performance and analyzing separately rather than applying the same method to all subjects. Moreover, we observed that inefficient BCI users and efficient BCI users showed different effects for the external stimulation as well as the brain patterns during the BCI task, indicating that in-depth investigation should be done for inefficient BCI users and efficient BCI users separately to improve the BCI.