Hand Gesture Recognition from Raw sEMG Signals using a Multi-Channel Deep Learning Architecture

Abstract

피부 표면에서 근육 활동을 쉽고 안전하게 측정할 수 있다는 장점이 있는 sEMG는 재활 보철물 개발에 사용되는 생체신호이다. 손 재활 보조기를 개발하는 과정에서 보다 정확한 손 동작을 인식하는 것이 중요하며, 높은 성능을 도출하기 위해 다양한 특징과 기계 학습 알고리즘이 적용된다. 그러나 수작업으로 이루어지는 특징 추출 과정은 많은 시간이 걸리기 때문에 실시간 제어가 필요한 보철 시스템에는 적합하지 않다. 본 연구에서는 손 제스처 인식 및 실시간 제어를 향상시키기 위해 원시 sEMG 신호를 직접 사용하는 딥러닝 구조를 제안한다. 분류기의 주요 구조는 자체적으로 유용한 특징을 추출하는 컨볼루션 신경망과 채널별 특징 응답을 적응적으로 재보정하여 네트워크 성능을 향상시킬 수 있는 압축 및 자극 블록이다. 제안된 구조의 성능은 자체 데이터셋을 사용할 때 특징 추출 및 기계 학습 알고리즘의 성능을 능가하였다. 압축 및 자극 블록을 사용한 구조는 심층 컨볼루션 레이어를 사용하는 것보다 훨씬 적은 파라미터 수로 높은 정확도를 도출함으로써 이 구조의 효율성을 입증하였다. 또한 제안된 알고리즘은 첫 번째 NinaPro 데이터베이스를 사용하여 52개의 손 동작에 대해 80.2%의 정확도를 보여 구조적 단순성과 매개변수 수 측면에서 효율적인 성능을 보였다. 본 연구 결과는 원시 sEMG 신호를 직접 사용하는 딥러닝 알고리즘이 보다 정확한 손 동작 인식을 통해 실시간 재활 보조기 제어 시스템 개발에 사용될 수 있음을 시사한다.|Surface electromyography (sEMG) is a bio-signal used in the development of prosthetics with the advantage of being able to easily and safely detect muscle activity on the skin surface. In the process of developing the hand rehabilitation orthosis, it is important to recognize more accurate hand gestures, and various features and machine learning algorithms are applied to derive high performance. However, the hand-crafted feature extraction process is time-consuming, it is not suitable for prosthetic systems that require real-time control. In this study, we propose a deep learning structure directly using raw sEMG signals to improve the hand gesture recognition and real-time control. The main structures of the classifier are convolutional neural network (CNN) that extracts usefule features on its own and squeeze-and-excitation (SE) block that can improve network performance by adaptively recalibrating the channel-wise feature response. The performance of the proposed structure outperformed that of feature extraction and machine learning algorithms when using in-house dataset. The structure using the SE block proved the efficiency of this structure by deriving high accuracy with much fewer parameters than using a deep convolution layer. In addition, the proposed algorithm using NinaPro Database 1 (DB1) showed an 80.2% accuracy for 52 hand gestures, showing efficient performance in terms of structural simplicity and number of parameters. The findings suggest that deep learning algorithms using raw sEMG signals directly can be used for the development of real-time rehabilitation orthosis control systems with more accurate hand motion recognition.