Hybrid deep neural networks-based pathological gait classification model for smart health monitoring robot system

Abstract

인간의 보행은 감각, 운동, 인지 기능 등 다양한 신체 기능을 필요로 하기 때문에 건강 상태를 보여주는 중요한 지표로써 사용될 수 있다. 약화되거나 손상된 신체 부위는 불균형적이고 비정상적인 보행 패턴을 유발하므로 비정상적인 보행을 분류하여 문제가 있는 신체 부위를 찾을 수 있다. 따라서 다양한 센서를 이용한 병적 보행 분류 방법들이 제안되어 왔다. 센서를 이용하여 보행 데이터를 수집하고 병적 보행을 자동으로 분류할 수 있다면 병원을 방문하지 않고도 건강을 모니터링할 수 있을 것이다. 본 논문에서는 이동형 로봇과 하이브리드 심층 신경망 기반의 병적 보행 분류 모델을 사용하여 인간의 건강을 모니터링하는 새로운 방법을 제안한다. 제안하는 하이브리드 모델은 로봇에 설치된 깊이카메라를 통해 얻은 보행 파라미터, 관절 각도, 골격 데이터를 이용하여 병적 보행을 분류한다. 인공 신경망, 순환 신경망 및 그래프 합성곱 신경망은 각각 보행 파라미터, 관절 각도 및 골격 데이터를 효과적으로 처리하는 데 사용된다. 제안하는 하이브리드 모델은 walking gait 데이터, pathological gait 데이터, 실제 환자 데이터에서 각각 80.81%, 99.03%, 90.59%의 분류 정확도를 보여 골격 정보 기반 행동 분류를 위한 최첨단 모델들 중 최고의 성능을 달성했다. 병적 보행 분류 프로그램은 이동형 로봇에 설치되어 주기적으로 인간의 건강을 모니터링할 수 있다. 초광대역 기반 실내 위치 인식을 통해 로봇은 실내 환경에서도 능동적으로 보행 분석을 수행할 수 있다. 로봇은 초광대역 태그의 위치 정보를 이용하여 분석 대상에게 도달하고 보행 분석을 요청할 수 있다. 보행 분석 결과는 서버에 업로드되어 지속적으로 모니터링될 수 있고 로봇은 병적 보행이 감지되면 보행자에게 병원 방문을 제안할 수 있다. 로봇의 안내를 따르면 손쉽게 보행 분석을 진행할 수 있으므로 전문가나 다른 사람의 도움 없이 노인들도 스스로 보행 분석을 진행할 수 있다. 제안하는 로봇 기반 자동 보행 분석 시스템은 스마트 홈 케어 및 원격 의료를 위한 인프라 구축에 기여할 수 있고 건강 관련 삶의 질을 더욱 향상시킬 수 있다.|Human gait is an important indicator of health because it requires various body functions, such as sensory, motor, and cognitive functions. A weakened or damaged body part causes an abnormal gait pattern, so the problematic body part can be founded by classifying abnormal gaits. Therefore, many methods for pathological gait classification using various sensors have been proposed. If it is possible to collect gait data and classify pathological gaits automatically, human health can be monitored without visiting a hospital. In this thesis, a novel method to monitor human health using a mobile robot and hybrid deep neural networks-based pathological gait classification is proposed. The proposed hybrid model classifies pathological gaits by using gait parameters, joint-based angles, and skeleton data obtained through a depth camera installed in a robot. Artificial neural networks, recurrent neural networks, and graph convolutional networks are used to effectively process gait parameters, joint-based angles, and skeleton data, respectively. The hybrid model achieved the best performance on pathological gait classification among state-of-the-art models by showing 80.81%, 99.03%, and 90.59% of classification accuracy on the walking gait dataset, the pathological gait dataset, and the real patients dataset, respectively. The pathological gait classification program was installed in a mobile robot to monitor human health periodically. The ultrawideband-based localization enabled the robot to proactively perform the gait analysis in an indoor environment. The robot could reach the target human by using the positional information of the ultrawideband tags and ask for the gait analysis. The analysis results could be uploaded to the server and the robot can inform the walker of the necessity to visit a hospital if pathological gait is detected. The proposed robot-based automatic gait analysis system can contribute to the construction of infrastructure for smart home care and further improve the quality of life.