AI 기반 추천 시스템의 전략적 설계와 사용자 경험 변화 분석: MLOps 자동화를 통한 금융 앱 실험

• 영문명: Strategic Design of an AI-Based Recommendation System and Its Impact on User Experience: An MLOps-Driven Experimental Study in a Financial App
• 발행기관: 한국자료분석학회
• 저자명: 권혁민(HyokMin Kwon) 이상현(SangHyun Lee) 조용걸(YongGeol Jo)
• 간행물 정보: 『Journal of The Korean Data Analysis Society (JKDAS)』Vol.27 No.3, 823~840쪽, 전체 18쪽
• 주제분류: 자연과학 > 통계학
• 파일형태: PDF
• 발행일자: 2025.06.30

국문 초록

본 연구는 AI 개인화 추천 전략과 MLOps 기반 자동화 체계를 구축하고, 이를 통해 사용자 행동의 변화 가능성을 실증적으로 분석하고자 한다. 추천시스템은 사용자 니즈 예측(light gbm), 생성형 AI 기반 콘텐츠 생성, 노출 최적화 알고리즘(mab)을 유기적으로 통합하여 설계되었으며, 금융 전문가와의 FGI를 통해 고객 유형별 속성과 맥락을 반영하여 Feature Engineering과 모델 설계를 수행하였다. 이러한 설계를 바탕으로 금융 앱 환경에서 실제 운영 가능한 자동화 추천 시스템을 구현하고, 대규모 A/B Test를 통해 반복적 추천이 사용자의 의사결정에 미치는 영향을 정량적으로 검증하였다. 실험 결과, AI 추천을 받은 집단은 대조군 대비 클릭률이 71.43%, 전환율이 66.67% 증가하였고, 금융업계 평균 클릭률과 비교해도 92% 높게 나타났다. 또한 AI 추천이 반복 노출되어도 클릭률이 지속적으로 높게 유지되는 양상을 보였으며, 특정 인기 상품외에 다양한 상품군에 대한 클릭률이 6.67% 증가하였다. 더 나아가서 실험 종료 2개월 후 실험군의 앱 활동 유지율은 대조군 대비 23.88% 높아 장기적 효과도 확인되었다. 이러한 결과는 추천시스템의 전략적 설계와 자동화 운영이 사용자 경험을 구조화하고, 행동 확장 및 장기적인 고객관계 형성에 실질적으로 기여할 수 있음을 의미한다. 본 연구는 AI 추천 기술이 단순한 맞춤형 정보 제공을 넘어, 고객 생애가치를 높이는 전략적 수단이 될 수 있음을 실증적으로 보여준다.

영문 초록

This study examines the behavioral effects of AI-driven personalized recommendations built within an MLOps-based automation framework. The system integrates LightGBM for user need prediction, generative AI for content creation, and MAB algorithms for exposure optimization. Domain expert insights from FGIs informed feature engineering and model design. A large-scale A/B Test in a financial app showed that the AI group achieved a 71.43% higher CTR and a 66.67% higher conversion rate than the control group, with CTR 92% above the industry average. Click-through rates remained high despite repeated exposure, and clicks on diverse products rose by 6.67%. Two months later, the experimental group’s app retention rate was 23.88% higher. These findings suggest that strategic and automated AI recommendations can shape user experience, expand engagement, and support long-term customer relationships. The study demonstrates their value in enhancing customer lifetime value (LTV) beyond simple personalization.

목차

1. 서론

2. 선행 연구

3. Data 소개

4. 연구 방법

5. 대규모 사용자 테스트

6. 결론 및 시사점

References

키워드

생성형AI MLOps GenAI Recommender System Personalization Strategy Customer Retention