Piezo-resistive Tactile Sensing System with Artificial Intelligence for User Movement and Intention Recognition

Abstract

Human activity recognition plays an important role in the daily life of people because of its ability to learn extensive high-level information about human activity. With the advancement of deep learning, research in this area has been rapidly expanding. However, although understanding the forces and dynamics of movement is crucial for understanding human motion, most studies focus on kinematics rather than kinetics. Tactile sensors can be a solution to these problems. A tactile sensor can measure applied pressure and stress, similar to human skin. Therefore, it enables force-based monitoring of physiological signals and daily physical interactions to human recognition. Among the various types of tactile sensors, the piezo-resistive film is known as a more accessi- ble tactile sensor than others since it is cost-effective and can be manufactured in various shapes. However, recent research on piezo-resistive film-based tactile sensor has primarily aimed at object classification and enhancing robotic grasping capabilities. Studies focused on acquiring and utilizing human movement and intention-related information remain in the early stages. Therefore, in this thesis, we conducted research on Piezo-resistive Tactile Sensing System with Artificial Intelligence for User Movement and Intention Recognition. This doctoral dissertation aims to demonstrate the following key contributions. First, it shows that motion recognition using tactile sensors provides richer information about movement and enables a deeper understanding of human motion compared to conventional pose-based methods. Second, it demonstrates that continuous tracking of human motion using tactile sensors combined with artificial intelligence has the potential to interpret user intent and apply it to human-computer interaction (HCI) and human-robot interaction (HRI). To achieve this, the study presents a system utilizing a high-resolution piezo-resistive film, which allows users to compare their own movements with those of experts during exercise feedback, enabling them to adjust and refine their performance. Furthermore, the research proposes and validates a method for recognizing user motion and intent using both mat-type and custom high-resolution tactile sensors in combination with artificial intelligence. These capabilities are then applied to HCI and HRI scenarios. Through this process, the dissertation demonstrates that high-resolution tactile sensors based on piezo-resistive films are effective in understanding human movement. Moreover, by integrating these sensors with artificial intelligence, the system can recognize and interpret more complex human motions and intentions, extending its applicability across various interactive domains.|사람의 활동 인식(Human Activity Recognition, HAR)은 인간 활동에 대한 고차원 정보를 학습할 수 있다는 점에서 일상생활에서 중요한 역할을 한다. 딥러닝의 발전과 함께 이 분야의 연구는 빠르게 확장되고 있다. 그러나 인간의 움직임을 이해하기 위해서는 힘과 동역학에 대한 이해가 필수적임에도 불구하고, 대부분의 기존 연구는 운동학(kinematics)에 집중하고 있으며 운동역학(kinetics)은 상대적으 로 소홀히 다루어지고 있다. 이러한 한계를 극복할 수 있는 방법 중 하나로 촉각 센서(tactile sensor) 가 제안될 수 있다. 촉각 센서는 인간의 피부처럼 압력과 응력을 측정할 수 있어, 생리 신호나 일상적인 물리적 상호작용을 힘 기반으로 모니터링하고 이를 통해 사람을 인식할 수 있게 해준다. 다양한 유형의 촉각 센서 중에서도, 압저항 필름(piezo-resistive film)은 저비용이며 다양한 형태로 제작이가능하다는점에서접근성이높은센서로알려져있다. 그러나최근의압저항필름기반촉각센서 연구는 대부분 물체 분류나 로봇의 파지(grasping) 성능 향상에 집중되어 왔다. 인간의 움직임 및 의도와 관련된 정보를 수집하고 이를 활용하는 연구는 아직 초기 단계에 머물러 있다. 따라서 본 학위논문에서는 사용자 움직임 및 의도 인식을 위한 인공지능 기반 압저항 촉각 센서 시스템에 대해 연구를 수행하였다. 이 박사학위 논문은 다음과 같은 주요 기여를 목표로 한다. 첫째, 촉각 센서를 활용한 모션 인식이 기존의 자세 기반 방법보다 더 풍부한 움직임 정보를 제공하며 인간 움직임에 대한 더 깊은 이해를 가능 하게 함을 보인다. 둘째, 촉각 센서와 인공지능을 결합하여 인간의 움직임을 연속적으로 추적함으로써 사용자의도를해석하고,이를인간-컴퓨터상호작용(HCI)및인간-로봇상호작용(HRI)에적용할수있는 가능성을 입증한다. 이를 위해 본 연구는 고해상도 압저항 필름을 활용한 시스템을 제안하고, 사용자가 운동 피드백 과정에서 자신의 움직임을 전문가의 움직임과 비교하여 스스로의 운동을 수정해 나갈 수 있는 기능을 구현하고 이를 입증하였다. 또한, 매트형 및 커스터마이징된 부착형 고해상도 촉각 센서를 인공지능과 결합하여 사용자 모션 및 의도를 인식하는 방법을 제안하고, 이를 HCI 및 HRI 시나리오에 적용하여 성능을 검증하였다. 이 과정을 통해 본 논문은 압저항 필름 기반의 고해상도 촉각 센서가 인간 움직임 이해에 효과적임을 보여주며, 나아가 이를 인공지능과 결합함으로써 보다 복잡한 인간의 모션과 의도까지 인식하고 활용할 수 있는 시스템 구현 가능성을 제시한다. 이로써 다양한 상호작용 환경에서의 적용 가능성을 확장한다.