비용 효율적 맵리듀스 처리를 위한 클러스터 규모 설정

• 영문명: Scaling of Hadoop Cluster for Cost-Effective Processing of MapReduce Applications
• 발행기관: 한국전자통신학회
• 저자명: 류우석(Woo-Seok Ryu)
• 간행물 정보: 『한국전자통신학회 논문지』제15권 제1호, 107~113쪽, 전체 7쪽
• 주제분류: 공학 > 전자/정보통신공학
• 파일형태: PDF
• 발행일자: 2020.02.29

국문 초록

본 논문에서는 하둡 플랫폼에서 비용 효율적 빅데이터 분석을 수행하기 위한 클러스터 규모의 설정 방안을 연구한다. 의료기관의 경우 진료기록의 병원 외부 저장이 가능해짐에 따라 클라우드 기반 빅데이터 분석 요구가 증가하고 있다. 본 논문에서는 대중적으로 많이 사용되고 있는 클라우드 서비스인 아마존 EMR 프레임워크를 분석하고, 비용 효율적으로 하둡을 운용하기 위해 클러스터의 규모를 산정하기 위한 모델을 제시한다. 그리고, 다양한 조건에서의 실험을 통해 맵리듀스의 실행에 영향을 미치는 요인을 분석한다. 이를 통해 비용 대비 처리시간이 가장 효율적인 클러스터를 설정함으로써 빅데이터 분석시 효율성을 증대시킬 수 있다.

영문 초록

This paper studies a method for estimating the scale of a Hadoop cluster to process big data as a cost-effective manner. In the case of medical institutions, demands for cloud-based big data analysis are increasing as medical records can be stored outside the hospital. This paper first analyze the Amazon EMR framework, which is one of the popular cloud-based big data framework. Then, this paper presents a efficiency model for scaling the Hadoop cluster to execute a Mapreduce application more cost-effectively. This paper also analyzes the factors that influence the execution of the Mapreduce application by performing several experiments under various conditions. The cost efficiency of the analysis of the big data can be increased by setting the scale of cluster with the most efficient processing time compared to the operational cost.

목차

Ⅰ. 서 론

Ⅱ. 아마존 EMR 아키텍쳐

Ⅲ. 맵리듀스 실행의 효율성 모델

Ⅳ. 실 험

Ⅴ. 결 론

References

키워드

하둡 클러스터 효율성 맵리듀스 클라우드 Hadoop Cluster Efficiency Mapreduce Cloud