Multimodal Reading Strategies in Native and Advanced L2 Korean Speakers: An Eye-Tracking Study of Text, Image, and Auditory Integration

• 발행기관: 한국언어청각임상학회
• 저자명: 임우열(Wooyeol Lim)
• 간행물 정보: 『Communication Sciences & Disorders』vol29. no.4, 811~829쪽, 전체 19쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2024.12.31

국문 초록

배경 및 목적: 본 연구는 들으면서 읽기(Reading-while-listening, RWL) 조건에서 청각 입력이 한국어 모어 화자(L1)와 고급 한국어학습자(L2)의 다중양식 텍스트 이해에 미치는 효과를 살펴보고, 이때 나타나는 읽기 전략과 작업 기억(working memory, WM)의 상호작용을 규명하는 데 목적이 있다. 방법: 28명의 참여자(한국어 모어 화자 14명, 고급 학습자 14명)를 대상으로 시선 추적 기법을 사용하여 글과 그림, 그리고 오디오로 구성된 다중양식 텍스트를 읽는 동안의 안구 운동 패턴을 시선 고정 시간과 고정 횟수, 이동 횟수 등을 통해 분석하였다. 또한, WM 용량을 측정하고, 특정 읽기 전략 채택에 미치는 영향을 살펴보았다. 결과: 분석 결과, L1과 L2 모두 시각 자료보다는 문자 정보에 더 많은 주의를 기울였다. 특히 L2 학습자의 경우 고정 횟수와 시간이 유의미하게 더 높아 인지 부하가 큰 것으로 나타났다. 전략 사용에 있어서는 L2 학습자는 주로 국지적 전략을 사용한 반면, L1 학습자는 통합적전략(content integration reading)을 더 많이 사용하였다. WM 분석 결과, L1 학습자의 경우 WM이 높을수록 핵심어 기반 시선 전환 전략(keyword-triggerd switching)을 덜 사용하고 통합적 전략을 더 많이 사용하는 경향이 확인되었으나, L2 학습자에게서는 이러한 효과가 뚜렷하게 드러나지 않았다. 논의 및 결론: 본 연구결과는 RWL 상황에서 청각 입력이 L2 학습자의 이해를 보조할 잠재력이 있으나, 여전히 인지 부하가 남아 있어 전략적 지원이 필요함을 시사한다. 특히 L2 학습자의 경우, WM 자원이 상대적으로 제한되거나 언어적 자동화가 충분히 이루어지지 않아 그림·텍스트 정보를 효율적으로 통합하지 못할 수 있으므로, 교수학습 현장에서 어휘 난이도 조정, 시각 자료 설계, 전략 교육 등을 통한 체계적 개입이 요구된다.

영문 초록

Objectives: This study investigates the impact of auditory input, specifically within the Reading While Listening (RWL) framework, on the comprehension of multimodal texts among native Korean speakers (L1) and advanced Korean learners (L2). Additionally, it explores differential reading strategies and the influence of working memory (WM) capacity on the processing of multimodal content. Methods: Eye-tracking technology was utilized to examine the eye movement patterns of 28 participants (14 L1, 14 L2) as they engaged with multimodal texts consisting of written, visual, and auditory components. Key metrics—including dwell time, fixation count, and saccadic movements—were analyzed to gain insights into the cognitive processing behaviors of both groups. Furthermore, WM capacity was assessed to determine its effect on the adoption of specific reading strategies. Results: The findings revealed that both L1 and L2 learners predominantly focused on textual rather than visual information, with L2 participants exhibiting significantly higher fixation counts and longer fixation durations, indicative of elevated cognitive load. In terms of strategy use, L2 learners relied more on localized, compensatory strategies (e.g., keyword triggered switching), whereas L1 participants more frequently employed integrative strategies such as content integration reading. Conclusion: The results suggest that while auditory input in RWL contexts can facilitate multimodal comprehension, it does not fully alleviate the heightened cognitive demands observed among L2 learners. Instructional approaches aiming to address these challenges may benefit from incorporating explicit strategy training and considering learners’ WM capacity to optimize multimodal reading outcomes.

목차

METHODS

RESULTS

DISCUSSION

CONCLUSION

REFERENCES

키워드

다중양식 텍스트 시선 추적 제2언어 습득 작업기억 읽기 전략 한국어 고급 학습자 Multimodal text Reading while listening (RWL) Eye-tracking Second language acquisition Working memory Reading strategies Advanced Korean learners