Supporting d/Deaf and Hard-of-Hearing Individuals in Elaborating Musical Intentions with a Generative AI Based Music Creation Guidance System

Abstract

Music Generative AI의 발전으로 음악적 전문지식이 없는 청각장애인도 음악을 만들 수 있는 가능성이 열렸다. 특히 Text to Music Model을 사용하여 가사와 음악 프롬프트를 작성하여 음악을 만드는 기능이 자주 사용된다. 하지만 역설적이게 프롬프트를 통해 자신이 생각하는 음악을 만들기 위해선 자신이 표현하고 싶은 음악적 의도를 구체적으로 표현하는 것이 중요하다. 본 연구는 이러한 간극을 줄이기 위해서 청각장애인의 음악적 의도를 잘 표현하도록 지원하는 시스템을 제안한다. 선행 연구들을 통해 조사되어진 문제를 바탕으로 시스템을 개발했다. 이 도구를 통해 청각장애인은 Conversation Agent의 구조적 가이드를 받으며 시스템에서 제공하는 음악적 요소의 설명과 기존 곡의 텍스트 설명을 통해 부족했던 음악적 지식을 쌓아 자신의 음악적 의도를 명확히 할 수 있다. 시스템 사용 결과, 이러한 기능들이 만들고 싶은 음악의 방향을 정하고 세부적으로 자신의 의도를 구체적으로 전달하는데 효과적이었다. 다만 설명형 인터페이스는 추가 안내의 필요성을 드러냈다. 본 연구는 이러한 결과를 바탕으로 청각장애인의 음악 의도 명확화를 지원하는 통합적 시스템 설계에 대한 시사점을 제시한다.|Recent advances in Music Generative AI have opened new possibilities for deaf and hard-of-hearing individuals to create music without requiring professional musical knowledge. In particular, Text-to-Music models—which generate music based on lyrics and textual music prompts—are frequently used. However, paradoxically, creating music through prompts requires users to clearly articulate their musical intentions, which can be challenging without sufficient musical literacy. To bridge this gap, this study proposes a system that supports deaf users in expressing their musical intentions more effectively. Based on issues identified in prior research, we developed a tool that provides structured guidance through a conversational agent, explanations of musical elements, and text-based descriptions of existing songs. Through these features, users can build the musical knowledge necessary to clarify their creative intentions. Results from user sessions indicate that the system helped users determine the overall direction of the music they wished to create and articulate their intentions in more detailed ways. However, the explanatory interface revealed a need for additional guidance. Based on these findings, this study offers design implications for developing integrated systems that support deaf individuals in refining and expressing their musical intentions.