Implementation of a Music Generation System Through Automatic Text Prompt Generation: Focusing on Emotion Analysis Through Music Analysis and Lyrics Analysis

• 발행기관: 한국컴퓨터게임학회
• 저자명: 김민진(Min-Jin Kim) 박진완(Jin-Wan Park)
• 간행물 정보: 『한국컴퓨터게임학회논문지』제37권 3호, 51~58쪽, 전체 8쪽
• 주제분류: 공학 > 컴퓨터학
• 파일형태: PDF
• 발행일자: 2024.09.30

국문 초록

현재 존재하는 인공지능 기반 음악 생성에 관한 여러 모델과 연구는 수동 텍스트(Text) 기반음악 생성에 대해 다루고 있다. 본 논문은 사용자의 편의성을 높이고, 창의적인 음악 생성 과정을 더욱 원활하게 할 수 있도록 텍스트(TEXT) 프롬프트(Prompt) 자동화를 통한 음악 생성시스템 방안을 제안한다. 그 방안으로 음원 파일을 통해 수집한 음악 분석 및 데이터화와 가사정보에서 추출한 키워드를 기반한 장르, 가수, 앨범 등의 정보가 포함된 데이터셋(Dataset)을 구축 후, 파이썬(Python)의 자연어 처리 방법인 Konlpy를 사용하여 가사 데이터를 토큰화하고, TF-IDF(Term Frequency-Inverse Document Frequency) 벡터화를 통해 중요한 단어를 추출한다. 또한, MFCC, 템포 등의 특징 데이터셋을 통하여 모델을 통한 감정을 예측하고, CNN모델 및 Chatgpt를 활용한 텍스트 프롬프트를 자동생성하는 방법을 구현하여, MusicGen 모델을 사용한 자동화 생성 프롬프트 기반 음악을 생성한다. 본 텍스트 프롬프트 자동 생성 화를 통한 음악 생성 연구의 결과는 음악 데이터 분석 및 생성 분야에 기여될 것으로 기대한다.

영문 초록

Current AI-based music generation models and research primarily focus on manual text-based music generation. This paper proposes a music generation system that automates text prompts to enhance user convenience and streamline the creative process. The study involves building a dataset that includes genre, artist, and album information by analyzing and processing music data collected from audio files and extracting keywords from lyrics. The lyrics data are tokenized using the KoNLPy natural language processing library in Python, and key terms are extracted through TF-IDF vectorization. Additionally, the study suggests a method for automatically generating text prompts using MFCC, tempo, and other feature data to predict emotions through a model that combines CNN and ChatGPT. These automatically generated text prompts are then input into the MusicGen model to automatically create new music that reflects the user's emotional state and musical preferences. The findings of this study are expected to contribute to the field of music data analysis and generation.

목차

1. Introduction

2. Literature Review

3. Methodology

4. Results and Analysis

5. Conclusion and Future Research

References

키워드

Music Generation Text Prompt Automation Emotion Analysis Deep Learning CNN LSTM Music Recommendation