Wav2vec 특징 기반의 한국어 음성감정인식

Abstract

최근self-supervised learning모델의출력을입력특징으로활용해서음성인식, 화자인식, 음성감정인식에높은성능을향상을보인바있다. 본논문은한국어음성감정인식데이터셋에대해self-supervisedlearning모델로써wav2vec 특징을기존의음향적 특징을 비교한다. 한국어 음성감정인식 데이터셋 Korean Emotion Speech Dataset에서 제공하는 성별, 화자, 문장,감정 라벨을 활용하여 t-SNE에 두 가지 특징을 살펴본다. 두 가지 특징에 대해 support vector machine 및 multi-layerperceptron 모델로 감정인식 성능 weighted average(WA)와 unweighted accuracy(UA)를 비교하였을 때, 두 모델에 대해wav2vec 특징이 더 높은 음성감정인식 성능을 보여주었다.