ChatGPT 사용자 경험 측정모형의 구성타당도와 이해타당도 평가

• 영문명: An Assessment of Construct Validity and Nomological Validity of the Measurement Model for ChatGPT UX Evaluation
• 발행기관: 한국디자인리서치학회
• 저자명: 정다운(Da Un Jeong) 나건(Ken Nah)
• 간행물 정보: 『한국디자인리서치』Vol9, No. 4(통권 33권), 108~122쪽, 전체 15쪽
• 주제분류: 예술체육 > 미술
• 파일형태: PDF
• 발행일자: 2024.12.31

국문 초록

본 연구의 목적은 ChatGPT UX 평가지표로 이루어진 측정모형의 타당도를 평가함에 있다. 이를 위하여 본 연구는 문헌고찰을 수행하여 총 36개의 UX 평가지표를 도출하였다. 그리고 N=16명이 참여한 델파이를 통해 얻어진 내용타당도 지수를 기반으로 성과기대와 노력기대, 유용성, 능력, 커뮤니케이션, 공동창작, 효과성, 혁신성, 상호작용 품질을 포함하는 9개의 ChatGPT UX 평가지표를 잠재적으로 선정하였다. 그 후 N=212명의 조사 대상자가 설문조사에 참여하여 총 56개의 설문문항을 평가하였다. 수집된 자료에 대해 탐색적 요인분석을 수행한 결과, 유용성과 효과성이 제외되어 UX 평가지표의 수는 총 7개로 축소되었다. ChatGPT UX의 측정모형에 관한 구성타당도를 평가하기 위하여 확인적 요인분석을 수행한 결과, 본 연구가 제시한 측정모형의 타당도 수준은 양호한 것으로 나타났다. 마지막으로, 1차 구성개념과 2차 구성개념 간의 이해타당도를 통계적 유의수준에서 검증한 결과, 7개의 UX 평가지표는 ChatGPT UX를 단일개념으로 구성하는 것으로 나타났다.

영문 초록

The present study aims to evaluate the construct validity and nomological validity of the measurement model for ChatGPT UX evaluation. A careful literature review leaded to the identification of a total of thirty-six UX evaluation metrics. N=16 respondents participated in Delphi and nine ChatGPT UX evaluation metrics were selected, including performance expectancy, effort expectancy, usability, capability, communication, co-creation, effectiveness, innovativeness, and interaction quality. A survey study was conducted and N=212 respondents rated their ChatGPT UX via fifty-six measurement items. An exploratory factor analysis was performed on the collected survey data and the result indicates that two UX metrics of usability and effectiveness were excluded. A confirmatory factor analysis was conducted to assess the construct validity of the measurement model, and the results reveal that the validity level of the measurement model proposed in the present work is fairly satisfactory. Lastly, the results from the test of nomological validity of the measurement model indicate that, the seven UX evaluation metrics collectively constitute a single second-order construct representing ChatGPT UX.

목차

1. 서론

2. 문헌고찰

3. 연구 방법

4. 연구 결과

5. 결론

참고문헌

키워드

챗지피티 인공지능 사용자 경험 이해타당도 ChatGPT Artificial intelligence UX Nomological validity

참고문헌

• 한국디자인문화학회지
• 한국콘텐츠학회논문 지
• IEEE Access
• Computers in Human Behavior Reports
• IAES International Journal of Artificial Intelligence
• Telematics and Informatics
• Asian Journal of Distance Education
• International Journal of Information Management
• MIS Quarterly
• Heliyon
• Cogent Business & Management
• Machine Learning with Applications
• Research Integrity and Peer Review
• PLoS ONE
• International Journal of Information and Learning Technology
• International Journal of Human­Computer Interaction
• Behavior Research Methods
• Technology in Society
• Journal of Travel & Tourism Marketing
• Sustainability
• Technovation
• Precision Agriculture
• Journal of Travel Research
• Global Business Review
• Telematics and Informatics
• Clothing and Textiles Research Journal
• Journal of Responsible Technology
• Technology in Society
• International Journal of Entrepreneurial Behavior & Research
• Behaviour & Information Technology
• Proceedings of the 5th international conference on conversational user interfaces