Modeling Consistent Relations between Persona and Response for Persona-based Dialogue

Abstract

Ensuring persona consistency while maintaining engaging and context-specific interactions is a critical task in persona-based dialogue. However, existing persona-based dialogue datasets lack explicit guidance on how persona sentences relate to the responses. Our analysis using natural language inference (NLI) shows that most persona sentences in these datasets are neutral with respect to the responses, while cases of entailment are occasionally observed and those of contradiction are rare. Such characteristics of these datasets present challenges for dialogue models, making it difficult to effectively capture persona consistency and produce engaging responses. To address these issues, we propose MoCoRP (Modeling Consistent Relations between Persona and Response), a framework that incorporates explicit relations into the language models. Specifically, we introduce an NLI expert, trained on NLI dataset, to produce explicit NLI relations between persona sentences and response. With the assistance of the NLI expert, the model can reference explicit NLI relations to incorporate appropriate persona information from the context into its responses. We further extend our approach to modern large language models through alignment tuning. Experimental results on the public datasets ConvAI2 and MPChat demonstrate that MoCoRP outperforms existing baselines, achieving superior persona consistency and engaging, context-aware dialogue generation. Furthermore, our model not only excels in quantitative metrics but also shows significant improvements in qualitative aspects, effectively capturing aspects that are challenging to measure by conventional evaluation metrics. These results highlight the effectiveness of explicitly modeling persona-response relations in persona-based dialogue.|페르소나 기반 대화에서 페르소나 일관성을 보장하면서 흥미롭고 맥락에 맞는 대화를 유지하는 것은 중요한 과제입니다. 그러나 기존 페르소나 기반 대화 데이터셋은 페르소나 문장과 응답 간의 관계에 대한 명확한 지침이 부족합니다. 또한, 자연어 추론을 사용하여 이러한 데이터셋을 분석한 결과, 대부분의 페르소나 문장이 응답과 중립적 관계를 가지며, 함의의 경우는 가끔 관찰되지만 모순의 경우는 드뭅니다. 이러한 데이터셋의 특성은 대화 모델에게 도전 과제를 제시하여, 페르소나 일관성을 효과적으로 포착하고 흥미로운 응답을 생성하기 어렵게 만듭니다. 이러한 문제를 해결하기 위해, 우리는 페르소나와 답변 간의 일관된 관계 모델링 (MoCoRP)을 제안합니다. 이는 언어 모델에 명시적인 관계를 통합하는 프레임워크입니다. 구체적으로, 우리는 자연어 추론 데이터셋으로 학습된 자연어 추론 전문가를 도입하여 페르소나 문장과 응답 간의 명시적인 자연어 추론 관계를 생성합니다. 자연어 추론 전문가의 도움을 받아, 모델은 명시적인 자연어 추론 관계를 참조하여 맥락에서 적절한 페르소나 정보를 응답에 통합할 수 있습니다. 또한, 우리는 정렬 튜닝을 통해 최신 대규모 언어 모델에 우리의 접근법을 확장합니다. 공개된 데이터셋인 ConvAI2와 MPChat에서의 실험 결과, MoCoRP는 기존의 베이스라인을 능가하며, 뛰어난 페르소나 일관성과 맥락에 맞는 흥미로운 대화 생성을 달성했음을 보여줍니다. 더 나아가, 우리의 모델은 정량적인 지표에서 우수한 성능을 보였을 뿐만 아니라, 기존의 평가 지표로는 측정하기 어려운 다양한 정성적인 측면에서도 유의미한 향상을 보여주었습니다. 이러한 결과는 페르소나-응답 관계를 명시적으로 모델링하는 접근 방식이 페르소나 기반 대화에서 효과적임을 강조합니다.