Investigating Thermal Perception and Emotional Responses Across the Human Body

Abstract

Thermal feedback has gained increasing attention in human-computer interaction （HCI） as a haptic modality capable of conveying both sensory and emotional experiences. Recent advances in wearable haptic technologies have expanded the use of thermal and vibro-thermal feedback across diverse body regions, enabling richer multisensory interaction in applications such as virtual reality, gaming, and affective interfaces. However, thermal perception and emotional responses across the human body remain insufficiently understood, particularly under cross-body-site vibro-thermal stimulation and varying thermal feedback design parameters.

This thesis investigates thermal perception and emotional responses across multiple body regions through two studies using thermal and vibro-thermal feedback.

In the first study, thermal referral and emotional responses were investigated under cross-body-site vibro-thermal stimulation, in which vibration and thermal stimuli were applied to different body sites across the hand, wrist, forearm, ankle, and neck. Experimental results showed that thermal referral primarily occurred between spatially proximal body-site combinations and was rarely observed between distant body-site combinations. In contrast, emotional responses remained relatively consistent across most body-site combinations. Thermal parameters mainly influenced valence responses, whereas vibrotactile parameters primarily influenced arousal responses. These findings suggest that stimulation parameters have a greater influence on emotional responses than body-site location.

However, the first study evaluated the amplitude of change （AoC） only under the extreme conditions of ±6°C, limiting a systematic investigation of thermal feedback design parameters. To address this limitation, the second study investigated the effects of amplitude of change （AoC）, rate of change （RoC）, and indoor temperature on perceived intensity and emotional responses across the dorsum of the hand, forearm, and upper arm. The results showed that AoC was the dominant factor affecting perceived intensity and arousal responses, whereas valence responses were additionally influenced by indoor temperature and body-site conditions. Based on the collected user study data, a deep learning-based prediction model was developed to estimate perceived intensity, valence, and arousal responses to thermal feedback. The proposed model effectively captured the nonlinear relationships between thermal feedback design parameters and user responses, outperforming conventional machine learning models. The results demonstrate that emotional responses are influenced more by stimulation parameters than by body-site location. They also show that thermal perception and emotional responses can be effectively predicted using a deep learning-based model. These findings contribute to a better understanding of thermal perception and emotional responses across the human body and provide design implications for wearable affective haptic systems using thermal and vibro-thermal feedback.|온도 피드백（thermal feedback）은 감각적 경험과 감정적 경험을 모두 전달할 수 있는 햅틱 상호작용 방식으로서 HCI（Human-Computer Interaction） 분야에서 많은 관심을 받고 있다. 최근 웨어러블 햅틱 기술의 발전은 온도 및 진동-온도（vibro-thermal） 피드백의 적용 범위를 다양한 신체 부위로 확장시키며, 가상현실, 게임, 감정 인터페이스와 같은 응용 분야에서 보다 풍부한 다감각 상호작용을 가능하게 하고 있다. 그러나 인체 전반에 걸친 열 지각 및 감정 반응은 여전히 충분히 이해되지 않았으며, 특히 cross-body-site 진동-온도 자극 환경과 다양한 온도 피드백 설계 변수에 따른 사용자 반응은 충분히 규명되지 않았다. 본 논문은 온도 및 진동-온도 피드백을 이용하여 다양한 신체 부위에서의 열 지각과 감정 반응을 탐구하기 위해 두 개의 연구를 수행하였다. 첫 번째 연구에서는 손, 손목, 전완, 발목, 목을 대상으로 서로 다른 신체 부위에 진동과 온도 자극을 각각 적용하는 cross-body-site 진동-온도 자극 환경에서 thermal referral과 감정 반응을 분석하였다. 실험 결과, thermal referral은 주로 공간적으로 인접한 신체 부위 조합에서 발생하였으며, 원거리 신체 부위 조합에서는 거의 관찰되지 않았다. 반면 감정 반응은 대부분의 신체 부위 조합에서 비교적 일관되게 나타났다. 열 자극 파라미터는 주로 valence 반응에 영향을 미쳤으며, 진동 자극 파라미터는 주로 arousal 반응에 영향을 미치는 것으로 나타났다. 이러한 결과는 감정 반응을 결정하는 데 있어 신체 부위보다 자극 파라미터가 더 중요한 역할을 함을 시사하였다.

그러나 첫 번째 연구에서는 amplitude of change（AoC）를 ±6°C의 극단적인 조건에서만 평가하여 온도 피드백 설계 변수의 영향을 체계적으로 분석하는 데 한계가 있었다. 이러한 한계를 보완하기 위해 두 번째 연구에서는 손등, 전완, 상완을 대상으로 amplitude of change（AoC）, rate of change（RoC）, 그리고 실내 온도가 지각된 강도와 감정 반응에 미치는 영향을 분석하였다. 실험 결과, AoC는 지각된 강도와 arousal 반응에 가장 큰 영향을 미치는 주요 변수로 나타났으며, valence 반응은 실내 온도와 신체 부위 조건의 영향을 추가적으로 받는 것으로 나타났다. 또한 수집된 사용자 실험 데이터를 기반으로 온도 피드백에 대한 지각된 강도, valence, arousal 반응을 예측하는 딥러닝 기반 예측 모델을 개발하였다. 제안된 모델은 온도 피드백 설계 변수와 사용자 반응 간의 비선형 관계를 효과적으로 학습하였으며, 기존 머신러닝 모델보다 우수한 예측 성능을 보였다. 연구 결과는 감정 반응이 신체 부위보다 자극 파라미터의 영향을 더 크게 받음을 보여주었다. 또한 딥러닝 기반 모델을 이용하여 온도 피드백에 대한 열 지각과 감정 반응을 효과적으로 예측할 수 있음을 확인하였다. 이러한 결과는 인체 전반에 걸친 열 지각 및 감정 반응에 대한 이해를 확장하며, 온도 및 진동-온도 피드백 기반의 웨어러블 감정 햅틱 시스템 설계를 위한 시사점을 제공한다.