Robust Speaker Verification and Target Speaker Extraction via Exploitation and Restoration of Speaker Information

Abstract

Speaker information is an essential cue for distinguishing, verifying, and selectively extracting a desired from speech signals. However, accurately exploiting speaker information remains challenging in practical scenarios, where speech signals are often short, noisy, reverberant, or mixed with interfering speakers. In speaker verification (SV), short-duration utterances may provide insufficient speaker-discriminative cues, while background noise and reverberation can distort speaker characteristics and degrade verification performance. In target speaker extraction (TSE), the system must effectively utilize auxiliary speaker information, such as an enrollment utterance, to isolate the target speech from a complex mixture. This dissertation focuses on the exploitation and restoration of speaker information for robust speaker verification and target speaker extraction. First, this dissertation investigates short-segment speaker verification by incorporating multi-resolution time-domain information into the ECAPA-TDNN SV framework. A multi-resolution encoder is designed to extract speech features at different temporal resolutions utilizing the different kernel sizes, and the extracted features are used to guide adapter modules within the SV system. By exploiting complementary speaker cues from multiple temporal resolutions, the proposed method improves the discriminative capability of speaker embeddings, particularly when the input utterance is very short. Experimental results on the VoxCeleb dataset demonstrate that the proposed method outperforms recent SV approaches when the input duration is 2 seconds or shorter. Second, we addresses noise-robust speaker verification by introducing a speech enhancement front-end with a speech restoration module and consistency training. Although speech enhancement can suppress background noise, it may also attenuate speaker-discriminative information that is important for SV. To alleviate this issue, the proposed speech restoration module estimates and aggregates lost information from noisy and enhanced latent representations using multiple receptive-field scales. A loss function that penalizes speech attenuation is further employed to encourage the restoration of speaker-relevant information. In addition, consistency training is adopted to make the speaker embeddings extracted from noisy speech consistent with those from clean speech generated by a pre-trained SV model. Experimental results show that the proposed system significantly improves SV performance on the VoxCeleb dataset mixed with environmental noises and demonstrates generalization capability on the CHiME-4 dataset. Third, we proposes a two-stage target speaker extraction method that explicitly exploits enrollment-based speaker information through a physically interpretable fusion mechanism. In the first stage, a modified cross-attention block derives attention weights from the cross-correlation between the complex spectra of the enrollment and mixture signals. This formulation is analogous to the phase-sensitive mask and enables interpretable fusion of the enrollment and mixture features. The fused features are then fed into a speech extraction network to obtain a coarsely extracted target speech. In the second stage, a dual post-refinement structure is introduced to further improve the extracted speech. One branch refines the first-stage output using the enrollment information, while the other branch utilizes the mixture signal to compensate for possibly attenuated target components. Furthermore, low-dimensional speaker embeddings extracted from the enrollment and the first-stage output are incorporated into the second stage to enhance speaker discriminability. Experimental results on the Libri2Mix dataset under both clean and noisy conditions show that the proposed method consistently outperforms existing TSE methods in terms of perceptual evaluation of speech quality (PESQ), extended short-time objective intelligibility (ESTOI), and scale-invariant signal-to-distortion ratio (SI-SDR). Overall, this dissertation demonstrates that speaker information should not only be extracted as a compact representation, but also be preserved, restored, and explicitly exploited according to the objective of each task. The proposed methods improve the robustness of speaker verification under short-duration and noisy conditions, and enhance target speaker extraction by effectively utilizing enrollment-based speaker information. These findings contribute to the development of robust and reliable speaker-aware speech processing systems in real-world acoustic environments.|화자 정보는 음성 신호로부터 화자를 구별하고, 신원을 검증하며, 원하는 화자의 음성을 선택적으로 추출하기 위한 핵심 단서이다. 그러나 실제 환경에서는 음성 신호가 짧거나, 잡음 및 잔향에 의해 왜곡되거나, 다른 화자의 음성과 혼합되는 경우가 많기 때문에 화자 정보를 정확하게 활용하는 것은 여전히 어려운 문제이다. 화자 검증에서는 짧은 발화가 충분한 화자 식별 정보를 제공하지 못할 수 있으며, 배경 잡음과 잔향은 화자 특성을 왜곡하여 검증 성능을 저하시킬 수 있다. 목표 화자 추출에서는 등록 발화와 같은 보조 화자 정보를 효과적으로 활용하여 복잡한 혼합 음성으로부터 목표 화자의 음성을 분리해야 한다. 본 학위논문은 강인한 화자 검증과 목표 화자 추출을 위한 화자 정보의 활용 및 복원에 초점을 맞춘다. 첫째, 본 학위논문은 ECAPA-TDNN 기반 화자 검증 구조에 다중 해상도 시간 영역 정보를 결합하여 짧은 발화 조건에서의 화자 검증 문제를 다룬다. 이를 위해 서로 다른 시간 해상도에서 음성 특징을 추출하는 다중 해상도 인코더를 설계하고, 추출된 특징을 화자 검증 시스템 내의 어댑터 모듈을 조절하는 데 활용한다. 제안 방법은 여러 시간 해상도에서 얻어진 상호보완적인 화자 단서를 활용함으로써, 특히 입력 발화가 매우 짧은 경우에 화자 임베딩의 식별력을 향상시킨다. VoxCeleb 데이터셋을 이용한 실험 결과, 제안 방법은 입력 발화 길이가 2초 이하인 조건에서 최근 제안된 화자 검증 기법들보다 우수한 성능을 보였다. 둘째, 본 학위논문은 음성 향상 전처리부, 음성 복원 모듈, 그리고 일관성 학습을 결합한 잡음 강인 화자 검증 시스템을 제안한다. 음성 향상은 배경 잡음을 억제할 수 있지만, 화자 검증에 중요한 화자 식별 정보까지 함께 약화시킬 수 있다. 이 문제를 완화하기 위해, 제안하는 음성 복원 모듈은 다양한 수용 영역 크기를 이용하여 잡음 음성과 향상된 음성의 잠재 표현으로부터 손실된 정보를 추정하고 통합한다. 또한 화자 관련 정보의 복원을 유도하기 위해 음성 감쇠를 벌점화하는 손실 함수를 사용한다. 나아가 사전 학습된 화자 검증 모델로부터 얻은 깨끗한 음성의 화자 임베딩과 잡음 음성의 화자 임베딩이 서로 일관되도록 일관성 학습을 적용한다. 실험 결과, 제안 시스템은 환경 잡음이 혼합된 VoxCeleb 데이터셋에서 화자 검증 성능을 크게 향상시켰으며, CHiME-4 데이터셋을 이용한 실험에서도 일반화 성능을 보였다. 셋째, 본 학위논문은 물리적으로 해석 가능한 융합 메커니즘을 통해 등록 발화 기반 화자 정보를 명시적으로 활용하는 2단계 목표 화자 추출 기법을 제안한다. 첫 번째 단계에서는 등록 발화와 혼합 음성의 복소 스펙트럼 간 상호상관으로부터 attention 가중치를 도출하는 수정된 cross-attention 블록을 사용한다. 이 공식화는 phase-sensitive mask와 유사한 형태를 가지며, 등록 발화와 혼합 음성 특징의 해석 가능한 융합을 가능하게 한다. 융합된 특징은 이후 음성 추출 네트워크에 입력되어 대략적으로 추출된 목표 음성을 생성한다. 두 번째 단계에서는 추출된 음성을 더욱 개선하기 위해 이중 후처리 정제 구조를 도입한다. 하나의 분기는 등록 발화 정보를 이용하여 첫 번째 단계의 출력을 정제하고, 다른 분기는 혼합 음성을 활용하여 감쇠되었을 가능성이 있는 목표 음성 성분을 보완한다. 또한 등록 발화와 첫 번째 단계 출력으로부터 추출한 저차원 화자 임베딩을 두 번째 단계에 통합하여 화자 식별성을 강화한다. 깨끗한 조건과 잡음 조건의 Libri2Mix 데이터셋을 이용한 실험 결과, 제안 방법은 perceptual evaluation of speech quality (PSEQ), extended short-time objective intelligibility (ESTOI), scale-invariant signal-to-distortion ratio (SI-SDR) 측면에서 기존 목표 화자 추출 기법들보다 일관되게 우수한 성능을 보였다. 본 학위논문은 화자 정보가 단순히 압축된 표현으로 추출되는 것에 그치지 않고, 각 과제의 목적에 맞게 보존, 복원, 그리고 명시적으로 활용되어야 함을 보인다. 제안한 방법들은 짧은 발화 및 잡음 조건에서 화자 검증의 강인성을 향상시키고, 등록 발화 기반 화자 정보를 효과적으로 활용함으로써 목표 화자 추출 성능을 개선한다. 이러한 결과는 실제 음향 환경에서 강인하고 신뢰성 있는 화자 인지 음성 처리 시스템의 발전에 기여한다.