시각장애인 악기 교육에서의 컴퓨터 비전 활용 연구 : YOLOv8s 모델을 통한 접근성 개선

• 영문명: Application of Computer Vision in Instrument Education for the Visually Impaired : Enhancing Accessibility with the YOLOv8s Model
• 발행기관: 한국시각장애교육재활학회
• 저자명: 김형운 오현진 장민호
• 간행물 정보: 『시각장애연구』제41권 제1호, 53~76쪽, 전체 24쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2025.03.31

국문 초록

연구 목적: 본 연구는 시각장애인 대상 악기 교육에서 기존 점자악보 중심 교육방식의 한계를 극복하고자, AI 기반 실시간 악기 교육 시스템을 설계하는 것을 목적으로 한다. 특히 컴퓨터 비전 기술과 YOLOv8s 모델을 활용하여 시각장애인의 악기 학습 접근성을 개선하는 방안을 연구하였다. 연구 방법: 본 연구에서는 다양한 조명 조건과 연주 환경에서 우쿨렐레 운지 이미지 데이터를 수집하고, 이미지 전처리 기법을 통해 손동작의 특징을 추출하였다. YOLOv8s 모델을 활용하여 우쿨렐레 주요 코드별 운지법을 학습시켰으며, 데이터 증강과 하이퍼파라미터 조정을 통해 모델 성능을 최적화하였다. 또한 시각장애인의 접근성을 고려하여 음성 피드백과 키보드 네비게이션 중심의 사용자 인터페이스를 구현하였다. 연구 결과: 성능 평가 결과, 본 연구에서 개발된 AI 기반 악기 교육 시스템은 우쿨렐레 코드 운지를 높은 정확도(0.988), 정밀도(0.987), mAP50(0.991)로 인식하였다. 또한 실시간 음성 피드백을 통해 연주자의 악기 운지를 즉각적으로 교정할 수 있었다. 이를 통해 시각장애인들이 점자악보 없이도 악기를 학습할 수 있는 AI 기반 실시간 악기 교육 시스템을 구축하였다. 결론: 본 연구는 AI 기술 중 컴퓨터 비전을 활용하여 시각장애인의 악기 교육 접근성을 효과적으로 개선하는 방안을 제안하였다. 향후 연구에서는 다양한 악기와 연주 스타일을 포함한 데이터셋 구축 및 학습자 맞춤형 피드백 기능을 통해 학습 효과를 보다 극대화하는 방안을 모색할 필요가 있다.

영문 초록

Purpose: The purpose of this study is to overcome the limitations of traditional braille-based music education methods for visually impaired individuals by implementing an AI-based real-time instrument education system. Specifically, the study aims to improve the accessibility of instrument learning for visually impaired individuals using computer vision technology and the YOLOv8s model. Method: This study collected ukulele fingering image data under various lighting conditions and playing environments. Image preprocessing techniques were applied to extract the features of hand gestures. The YOLOv8s model was used to train on the major ukulele chord fingerings, and the model's performance was optimized through data augmentation and hyperparameter tuning. Additionally, the user interface was specifically designed to enhance accessibility, focusing on voice feedback and keyboard navigation for visually impaired users. Results: The system demonstrated high performance in recognizing ukulele chord fingerings, achieving an accuracy of 0.988, a precision of 0.987, and an mAP50 of 0.991. Real-time voice feedback enabled users to correct finger placements immediately, allowing visually impaired individuals to learn instruments without relying on braille scores. Conclusion: It is expected that this study will contribute to overcoming the limitations of traditional braille-based music education for visually impaired individuals by demonstrating the effectiveness of AI and computer vision technology. Future research should focus on expanding datasets to include various instruments and playing styles and integrating personalized feedback tailored to learners' skill levels to further enhance learning outcomes.

목차

I. 서 론

Ⅱ. 프로그램 개발 절차

Ⅲ. 성능 평가 결과

Ⅳ. 논의 및 제언

참고 문헌

키워드

시각장애인 악기교육 인공지능 컴퓨터 비전 접근성 Visually Impaired Instrument Education Artificial Intelligence Computer Vision Accessibility