Gait Event Detection Based on Deep Learning

Abstract

보행은 가장 보편적인 이동수단으로 대부분의 일상활동에 큰 비중을 차지한다. 보행은 건강과 매우 밀접한 관계가 있기 때문에 보행에 문제가 발생할 경우 복합적인 이유로 건강에 악화된다. 반대로 건강상에 문제가 발생할 경우, 보행에 이상징후가 나타나기도 한다. 따라서 이러한 보행을 분석하여 건강을 진단하는 많은 연구들이 수행되어왔다. 일반적으로 보행분석은 대상자의 보행능력을 진단하고 평가하기 위해 cadence, step length, walking speed와 같은 보행지표(gait parameter)를 추출한다. 이러한 보행분석은 파킨슨 병(Parkinson's disease), 뇌졸중(Stroke), 소아마비(poliomyelitis) 와 같이 보행장애를 유발하는 신경질환을 앓는 환자의 건강상태를 진단하기 위해 주로 수행된다. 뿐만 아니라 일반인의 운동능력을 평가하는데 사용되기도 한다. 이러한 보행분석을 수행하기 위해서는 운동학적 데이터(Kinematic data)를 획득할 수 있는 보행분석시스템이 반드시 필요하다. \\

가장 대표적인 보행분석시스템으로는 Optical Motion Capture System이 있다. 이 시스템은 대상의 신체에 추적이 가능한 마커를 부착하고, 외부에 고정된 센서들을 통해 대상의 운동학적 데이터를 매우 정밀하게 측정할 수 있다. 이 시스템은 매우 비쌀 뿐 아니라 사용이 어렵기 때문에 보행분석을 위해 많은 시간과 노력이 요구된다. 이 시스템을 대체하기 위한 다양한 보행분석시스템들이 개발되어 왔다. 이러한 보행분석시스템 중 하나로 IMU, EMG, 압력센서같은 센서를 기반으로 보행분석을 수행하는 보행분석시스템들이 있다. 신발 형태의 시스템을 신거나, 하네스 형태의 시스템을 입거나 센서를 신체에 직접적으로 부착하는 등 다양한 방식이 있다. 이러한 보행분석시스템들은 Optical Motion Capture 장비에 비해 훨씬 저렴하고 이동성이 좋다. 하지만 센서를 착용하는 것이 보행에 영향을 미치거나 불편함을 야기할 수 있다. 또한 센서의 특성상 외부환경에 쉽게 영향을 받기 때문에 잦은 보정(Calibration)이 필요하다. RGB 카메라를 사용하는 보행분석시스템은 센서기반의 보행분석시스템들과 다르게 별도의 센서를 착용하지 않아 매우 편리한 측정이 가능하다. 하지만, RGB 이미지를 기반으로 운동학적 데이터를 획득하기 위해서 보정이 반드시 필요하고, 경우에 따라 여러 대의 카메라가 사용된기도 한다. 따라서 이 시스템을 구성하고 설치하는 데 많은 노력과 시간이 요구된다.\\

최근에는, RGB-D 카메라인 Kinect를 이용한 보행분석연구도 활발히 이루어지고 있다. 원래 Kinect는 X-box에서 신체의 움직임을 이용한 게임의 컨트롤러로 개발되었으나, 별도의 센서나 보정 없이 깊이 정보를 이용해 곧바로 운동학적 데이터를 획득하는 것이 가능하다. 따라서 다른 보행분석시스템들과 달리 시스템 설치와 측정이 모두 편리하다. 본 연구에서는 RGB-D 카메라인 Azure Kinect를 사용하여 편의성이 높은 보행분석시스템과 보행분석방법론을 제시한다. 이를 통해 일상적인 환경에서 손쉽게 보행분석을 수행하고 그 결과를 다양한 어플리케이션이 활용할 수 있을 것으로 기대한다. 또한, 센서나 마커를 착용하기 힘든 환자들의 부담을 덜어 환자에 대한 진료환경도 개선할 수 있을 것으로 기대한다.

보행분석시스템에서 보행분석을 수행하는 데 있어서 공통적으로 선행하는 과정은 바로 보행주기(Gait Cycle)을 분류하는 것이다. 이러한 보행주기 분류를 통해 다양한 보행패턴으로부터 보행지표를 추출하고 비교할 수 있게 된다. 보행주기는 크게 발이 땅에 닿는 입각기(Stance Phase)와 발이 땅에서 떨어진 유각기(Swing Phase) 두 가지로 구분하며, 필요에 따라 더욱 세분화하여 구분하기도 한다. 이러한 보행주기를 구분하는 기준이 되는 것을 보행이벤트라 한다. 발이 땅에 닿는 초기접지기(Intitial Contact)와 발이 땅으로부터 떨어지는 발끝떼기(Toe Off)가 입각기와 유각기를 구분하는 보행이벤트이다. 압력센서를 이용해 발에 가해지는 압력을 측정할 수 있는 보행분석시스템의 경우 이러한 보행이벤트를 감지하는 것이 매우 편리하다. 그 밖의 보행분석시스템들은 Foot Sensor와 같은 추가적인 센서를 이용해 직접적으로 보행이벤트를 측정하거나, 혹은 측정된 보행데이터를 기반으로 간접적으로 보행이벤트를 찾는 방식을 사용한다.

RGB-D 카메라를 사용하는 많은 보행분석시스템의 경우 Rule-based 방식으로 보행이벤트를 감지한다. Rule-based 방식은 획득한 운동학적 데이터를 바탕으로 보행이벤트를 감지하는 것으로, 특정한 임계값(Threshold) 또는 연산을 사용한다. 이러한 방식은 매우 간단하게 구현할 수 있다는 장점이 있지만, 임계값을 구하거나 연산을 최적화 하는 과정이 반드시 필요하다. 이렇게 최적화된 방식은 전형적인 패턴에서 벗어나는 보행에 대해서 제대로 동작하지 못하고, 다른 환경에서 사용할 경우 동일한 성능을 보장할 수 없다. 따라서 이러한 방식을 사용하는 연구들은 획득하는 데이터의 다양성을 최소화하기 위해 동일한 실험환경에서 보행분석을 수행하고, 경우에 따라 보행경로도 지정하여 측정을 수행한다. 따라서 이러한 Rule-based 방식은 일상에서 손쉽게 설치하기 위한 보행분석시스템에서 사용하기에 적합하지 않다.

본 연구는 딥러닝 기법을 활용하여 보행이벤트를 감지하는 방법을 제안한다. 본 연구는 동일한 실험환경이 아닌, 다양한 일상환경에서 Azure Kinect로 획득한 운동학적 데이터를 기반으로 보행이벤트감지를 수행한다. 이렇게 획득한 데이터에 대해서 제안하는 방식은 기존의 rule-based에 비해 훨씬 강건하게 동작한다. 또한, 시스템 셋업에 의존하는 운동학적 데이터를 그대로 사용하지 않고, 시스템 셋업에 대한 의존성이 낮은 각도와 거리 등의 특성으로 치환하여 사용함으로써 시스템 설치에 대한 제약을 줄였다. 제안하는 보행이벤트 감지 방법을 통해 손쉽게 보행분석시스템을 설치하고 보행분석을 수행하는 것이 가능해진다.|Walking is the most common form of locomotion and constitutes a major part of daily activities. As gait is closely related to health, gait disorders have a huge effect not only on health but also on quality of life. When health problems occur, gait disorders may appear. Therefore, there have been several studies on gait analysis to diagnose health conditions. In gait analysis, gait parameters such as cadence, step length, and walking speed are extracted. In general, gait analysis is performed on patients with neurological diseases such as Parkinson’s, stroke, and poliomyelitis, which greatly influence walking, to diagnose the health condition. Gait analysis is also performed on healthy people to evaluate athletic ability. Performing gait analysis requires a gait analysis system to obtain the necessary kinematic data.

A representative gait analysis system is an optical motion capture system that can acquire the kinematic data of a subject with high precision. This system is very expensive and difficult to use, requiring considerable time and effort. There have been many studies on other gait analysis systems to replace the optical motion capture system. One such system uses sensors such as internal measurement unit (IMU), electromyography (EMG), and pressure sensor. This type of gait analysis systems are far less expensive and more portable compared with the optical motion capture system. However, wearing sensor systems or attaching sensors to the body can affect gait and cause discomfort. In addition, these type of systems require frequent calibration because the IMU and pressure sensors are sensitive to the external environment. A gait analysis system using an RGB camera does not require wearing or attaching sensors. Although more convenient than sensor-based systems, this system still requires initial calibration to acquire the kinematic data with an RGB image. Moreover, the installation is time consuming, and the system is less portable.

Recently, there have been gait analysis studies using the RGB-D camera, Kinect. Kinect was originally developed as a controller for games using body movements. As Kinect can acquire kinematic data without additional sensors or markers, it is convenient to install, and gait analysis can be performed using Kinect. In this research, a gait analysis system is proposed using Azure Kinect. The proposed system can be used in many medical applications to relieve the burden on subjects, especially on patients who have difficulty in wearing sensors or markers. The gait cycle can be divided into two gait phases: the stance phase, in which the foot touches the ground, and swing phase, in which the foot is off the ground in the first step of the gait analysis. This makes it possible to extract gait parameters from various gait patterns. To detect gait events, initial contact (IC) and toe-off (TO) are necessary. Gait analysis systems that use pressure sensors can detect gait events very easily. Others use additional pressure sensors to detect gait events directly or based on acquired kinematic data.

In general, gait analysis studies using RGB-D cameras detect gait events by rule-based methods. A rule-based method uses specific thresholds and operations to detect gait events. This type of method is very simple to implement but requires optimization. Furthermore, in general, optimized rule-based methods do not work well for atypical data. Therefore, a rule-based method is not suitable for performing gait analysis in different environments.

This research proposes a gait event detection method based on deep learning. The proposed method detects gait events based on kinematic data, acquired by Azure Kinect in various environments, and is more robust compared with the commonly used rule-based method. In addition, the proposed method uses derived features that are less dependent on system setup, reducing restrictions on system configuration. Therefore, gait analysis with RGB-D camera becomes more convenient and robust with the proposed method.