GAI와 CNN 기반 멀티모달 감정분석 실시간 상담 시스템 구현

• 영문명: Implementation of a Real-Time Multimodal Emotion Analysis Counseling System Using Generative AI and CNN
• 발행기관: 한국전자통신학회
• 저자명: 김민원(Min-Won Kim) 김남호(Nam-Ho Kim) 최광미(Gwang-Mi Choi)
• 간행물 정보: 『한국전자통신학회 논문지』제20권 제3호, 657~666쪽, 전체 10쪽
• 주제분류: 공학 > 전자/정보통신공학
• 파일형태: PDF
• 발행일자: 2025.06.30

국문 초록

본 연구는 실시간 감정 분석을 기반으로 상담 대화 생성과 IoT 기기 제어가 가능한 멀티모달 AI 시스템을 설계하고 구현하였다. 얼굴 표정은 face-api.js 기반의 CNN 모델을 통해 감정별로 인식하였으며, 텍스트 감정은 GPT API를 활용하여 분석하고 공감형 응답을 생성하였다. 프롬프트 엔지니어링과 파인튜닝을 적용해 대화의 일관성과 정서적 적합성을 높였고, 감정 및 대화 데이터를 Firestore에 저장함으로써 연속적인 상담 흐름을 지원하였다. 또한, AWS S3를 활용한 감정 이미지 저장, 감정 기반 음악 추천, IoT 장치 제어 기능을 통해 감정 중심의 인간–기계 상호작용을 효과적으로 구현하였다.

영문 초록

This study presents the design and implementation of a multimodal AI system capable of real-time emotion analysis, conversational counseling generation, and IoT device control. Facial expressions are recognized using a CNN model based on face-api.js, while textual emotions are analyzed and empathetic responses are generated through the GPT API. Conversation quality is enhanced through prompt engineering and fine-tuning, and both emotional and conversational data are stored in Firestore to support coherent dialogue flow. Additionally, emotion-tagged images are stored in AWS S3, and emotion-aware interaction is achieved through music recommendations and IoT device control, enabling a context-sensitive human–machine interaction experience.

목차

Ⅰ. 서 론

Ⅱ. 관련 기술 및 연구

Ⅲ. 시스템 설계 및 개발

Ⅳ. 성능평가

Ⅴ. 결론

References

키워드

사전학습 생성형 인공지능 모델 합성곱 신경망 챗봇 멀티모달 GPT CNN Chat-bot Multi Modal

참고문헌

• The Korea Contents Association
• J. of The Korea Institute of Electronic Communication Sciences
• International Journal of Information Management
• J. of The Korea Institute of Electronic Communication Sciences
• Multidisciplinary Digital Publishing Institute Computers
• J. of The Korea Institute of Electronic Communication Sciences
• J. of The Korea Institute of Electronic Communication Sciences
• Pusan National University Educational Development Institute