Neural Synchronization and Social Interaction Measurement in Groups: An EEG Hyperscanning Approach

Abstract

사회적 상호작용은 인간 행동의 핵심 요소로, 사회적 신호의 지속적인 교환과 대인 간 동기화를 통해 일상생활 전반에 깊이 내재되어 있다. 그러나 이러한 실시간 상호작용을 뒷받침하는 역동적인 신경인지 메커니즘을 규명하 는 일은 여전히 인지신경과학 분야에서 주요한 도전 과제로 남아 있다. 전통적인 사회 행동 연구는 주관적 평가 나 제한된 행동 관찰에 주로 의존해 왔으며, 이로 인해 사회적 인지를 가능케 하는 복잡하고 동적인 뇌 신호의 실시간 특성을 포착하는 데 한계가 있었다. 최근 등장한 하이퍼스캐닝(hyperscanning) 기법은 여러 사람의 뇌 활 동을 동시에 측정할 수 있어 사회적 상호작용의 신경 기반을 탐색하는 유망한 방법으로 주목받고 있다. 그러나 기존 하이퍼스캐닝 연구는 대부분 2인 상호작용(dyadic interaction)에 집중되어 있으며, 세 명 이상의 집단 상호 작용 상황에서도 반복적인 1:1 분석에 그치는 경우가 많아 복잡한 집단 현상—예컨대 집단 의사결정, 응집력, 리 더십, 관계적 신념 변화 등—을 해석하는 데에는 한계가 존재한다. 본 학위논문은 이러한 연구적 공백을 해소하기 위해, EEG 기반 하이퍼스캐닝 데이터를 활용하여 집단 수준의 뇌 동기화와 사회적 인지 역학을 분석할 수 있는 새로운 계산적 접근법을 개발하고 검증하였다. 본 연구는 서로 밀접하게 연관된 세 가지 주요 연구를 중심으로 구성되어 있으며, 전통적인 pairwise 분석의 한계를 넘어선 집단 사회 인지 메커니즘의 신경과학적 이해를 확장하 는 것을 목표로 한다. 첫 번째 연구에서는 세 명 이상의 뇌 상호작용을 모델링하기 위해 다층 네트워크 (multilayer network) 분석 프레임워크를 도입하였다. 각 개인의 뇌는 하나의 네트워크 층(layer)으로 구성되고, 이 들 간의 기능적 연결(synchrony)은 층 간 연결로 표현되었다. 그래프 이론 지표(연결도, 강도, 클러스터링 계수, 특성 경로 길이 등)를 적용한 분석 결과, 실제 집단 상호작용 조건에서는 위계적으로 더 높은 클러스터링과 더 짧 은 경로 길이를 보였으며, 특히 알파 및 베타 주파수 대역에서 뚜렷한 차이가 나타났다. 이는 다층 네트워크 모델 이 기존 pairwise 분석보다 효과적으로 집단 수준의 뇌 동기화 특성을 정량화할 수 있음을 입증한다. 두 번째 연 구에서는 3인용 반복형 죄수의 딜레마 게임을 기반으로, 사회적 신념(relational belief)의 유지와 붕괴가 뇌 반응에 어떻게 반영되는지를 조사하였다. ERP 분석을 통해, 협력적 신념이 유지된 조건에서는 유의한 ERP 변화가 없었 으나, 신념이 붕괴된 조건에서는 N100 및 P300과 같은 초기 감각 및 인지적 평가 단계에서 유의미한 변화가 나 타났다. 다층 네트워크 기반 뇌 간 분석에서는 전체 협력 조건에서 가장 높은 동기화 및 통합성이 나타났으며, 배 신 이후에는 네트워크 지표가 급격히 감소하였다. 이는 사회적 신념 변화가 뇌 내·뇌 간 네트워크 구조를 실시간 으로 조절한다는 생리적 증거를 제시한다. 세 번째 연구에서는 EEG로부터 집단 상호작용 수준을 실시간으로 추 정·예측하기 위한 RNN 기반 심층 학습 프레임워크를 개발하였다. 1D 합성곱 및 자기상관 기반 시계열 특성 추출 과 LMS 기반 위상 예측을 결합하여, LSTM 모델이 시계열적으로 사회적 동기화 상태(on/off-state)를 분류하도록 학습되었다. 제안된 모델은 11개 집단에 대해 평균 73.61%의 정확도를 기록하였으며, 이는 EEG 위상 정보만으 로도 집단 내 사회적 상호작용 수준을 추론할 수 있음을 보여준다. 본 연구는 자연스러운 사회 환경에서도 실시 간 집단 상태 추적이 가능함을 입증하였으며, 교육, 협업, 인간-컴퓨터 상호작용 분야에서의 실용적 응용 가능성 을 제시한다. 결론적으로, 본 학위논문은 EEG 기반 하이퍼스캐닝, 다층 네트워크 분석, 신경망 기반 예측 모델을 융합하여 소그룹 내 사회적 인지 과정의 정량화 및 예측 가능성을 입증하였고, 이를 통해 사회적 신경과학 및 실 시간 상호작용 분석의 새로운 패러다임을 제시하였다.|Social interaction is a fundamental aspect of human behavior, deeply embedded in everyday life through the continuous exchange of social signals and the establishment of interpersonal synchrony. Despite its central role, understanding the dynamic neurocognitive mechanisms that underpin real-time social interactions remains an open challenge in cognitive neuroscience. Traditional methods for studying social behavior have relied heavily on subjective assessments or limited behavioral observations, often falling short of capturing the complex, dynamic nature of neural processes that drive social cognition. Hyperscanning—a technique that simultaneously records neural activity from multiple individuals—has emerged as a promising method to investigate the neural basis of social interaction. However, most hyperscanning studies have primarily focused on dyadic (two-person) interactions, and even in group scenarios, analyses have often been limited to repeated pairwise comparisons. This methodological limitation constrains understanding more complex group phenomena, such as collective decision-making, group cohesion, leadership, and belief dynamics. The present dissertation addresses these gaps by developing and validating novel computational approaches to analyzing group-level neural dynamics using EEG-based hyper scanning. The research is structured around three core studies, each targeting a distinct but interrelated aspect of group social cognition. It aims to advance the neuroscientific understanding of dynamic group interactions beyond traditional pairwise models. The first study introduces a multilayer network approach for modeling triadic brain interactions. Each brain is represented in this framework as a distinct network layer, while inter-brain synchrony is captured through inter-layer connections. This structure allows for modeling more complex social interaction dynamics among three or more individuals The constructed multilayer networks were analyzed using graph-theoretical metrics such as degree, strength, clustering coefficient, and characteristic path length. Results showed that authentic group interaction conditions exhibited significantly higher clustering and lower characteristic path lengths, particularly in the alpha and beta frequency bands, compared to pseudo-synchrony conditions. These findings validated the effectiveness of multilayer network modeling for capturing absolute group-level neural synchrony and offered a methodological advancement over traditional pairwise analysis. The second study extends the investigation to the dynamic neural mechanisms underlying relational belief formation and disruption during social interaction. A EEG dataset was collected during a three-player iterated Prisoner’s Dilemma (PD) game. Event-related potential (ERP) analyses revealed that maintaining cooperative beliefs did not significantly alter neural responses, but the broken of belief induced marked changes in early sensory (N100) and attentional-cognitive (P300) components. Multilayer network analysis demonstrated that full cooperation among triads resulted in the strongest inter-brain synchrony and network integration at the inter-brain level. These findings provide direct neurophysiological evidence that relational beliefs are not static but dynamically modulate intra- and inter-brain neural architectures. the third study developed a novel deep-learning framework based on EEG data to monitor and predict group social interaction levels sequentially. To capture the dynamic oscillatory phase structures underlying neural synchrony, a sequential feature extraction strategy was employed. The model achieved a total average classification accuracy of 73.61% across 11 triadic groups, demonstrating its capability to detect rapid transitions in cognitive engagement based solely on EEG phase dynamics. This approach highlights the potential for real-time tracking of group social states in naturalistic settings. In conclusion, this dissertation contributes to social cognitive neuroscience by offering innovative tools for quantifying dynamic group interactions. Bridging multilayer network, cognitive neuroscience, and deep learning the groundwork for future studies that seek to decode, predict, and even enhance human social behavior in increasingly complex, interactive environments.