AI 번역 엔진 성능 평가 - 한국어 아랍어 의료대화를 중심으로

• 영문명: Performance Evaluation of AI Translation Engines : Focusing on Korean-Arabic Medical Conversations
• 발행기관: 한국이슬람학회
• 저자명: 안희연(Heeyeun Ann) 홍서연(Seoyeon Hong)
• 간행물 정보: 『한국이슬람학회논총』제35권 1호, 233~258쪽, 전체 26쪽
• 주제분류: 인문학 > 종교학
• 파일형태: PDF
• 발행일자: 2025.02.28

국문 초록

본 연구는 한-아 언어쌍에서 의료 담화를 중심으로 AI 번역 엔진(Papago, Google Translate, ChatGPT)의 성능을 평가하였다. 의료진과 환자 간의 의료 의사소통 문장 156개를 정량적 및 정성적으로 분석하였다. 정량적 분석 결과, Papago는 68건의 오류를 기록하며 세 번역 엔진 중 가장 많은 오류를 보였고, Google Translate와 ChatGPT는 각각 32건과 20건의 오류를 기록하였다. 정성적 분석에서는 Papago와 Google Translate가 대체(substitution) 및 편집(editorialization)에서 상당한 문제를 드러냈다. 반면, ChatGPT는 심각하지 않은 정도의 오류, 특히 편집과 대체 오류가 드물게 나타났으며 내용 전달에 미치는 영향은 낮았다. 특히 ChatGPT는 전반적으로 우수한 성능을 보여, 일반적인 의료 안내와 상담에서 효과적인 의사소통 도구로 활용될 가능성을 시사한다.

영문 초록

This study evaluates the performance of AI translation engines—Papago, Google Translate, and ChatGPT—for the Korean-Arabic language pair, focusing on their applicability in general medical conversation. A total of 156 medical conversation sentences between healthcare providers and patients were analyzed using both quantitative and qualitative methods. The quantitative analysis demonstrates that Papago exhibited 68 errors, the highest among the three engines, while Google Translate and ChatGPT recorded 32 and 20 errors, respectively. Qualitative analysis revealed that Papago and Google Translate encountered significant issues in substitution and editorialization. In contrast, ChatGPT exhibited a lower degree of arbitrariness, with editorialization and substitution errors that minimally impacted the overall conveyance of the intended content. Notably, ChatGPT exposed superior overall performance, suggesting its potential as an effective tool for general medical guidance and consultation.

목차

Ⅰ. 서론

Ⅱ. 선행연구

Ⅲ. 연구방법

Ⅳ. 분석 결과

Ⅴ. 결론

키워드

AI 번역 엔진 기계 번역 의료담화 번역 오류 분석 한국어-아랍어 언어 쌍 성능 평가 AI Translation Engines Medical Discourse Translation Error Analysis Korean-Arabic Language Pair Translation Performance Evaluation