하둡 프레임워크 기반 분산시스템 내의 작은 파일들을 효율적으로 처리하기 위한 방법의 설계

• 영문명: The Design of Method for Efficient Processing of Small Files in the Distributed System based on Hadoop Framework
• 발행기관: 한국전자통신학회
• 저자명: 김승현(Seung-Hyun Kim) 김영근(Young-Geun Kim) 김원중(Won-Jung Kim)
• 간행물 정보: 『한국전자통신학회 논문지』제10권 제10호, 1115~1121쪽, 전체 7쪽
• 주제분류: 공학 > 전자/정보통신공학
• 파일형태: PDF
• 발행일자: 2015.10.30

국문 초록

하둡 프레임워크는 매우 큰 크기의 파일을 처리하기에 적합하도록 설계되었다. 반면 작은 크기의 파일을 처리할 경우, 분산 시스템의 자원 낭비와 분석 성능 저하가 발생하며 이는 작은 파일의 개수가 많을수록 현저하게 나타난다. 이 문제는 파일의 크기가 작기 때문에 발생하므로, 연관성 있는 작은 파일들의 병합을 통해 해결할 수 있다. 그러나 기존의 작은 파일 병합 방법들은 부차적인 한계점을 지니고 있다. 따라서 본 연구는 기존의 병합 방법의 문제점에 대하여 살펴보고, 작은 파일들의 효율적 처리를 위한 병합 방법을 설계하였다.

영문 초록

Hadoop framework was designed to be suitable for processing very large files. On the other hand, when processing the Small Files, it waste the resource of a distributed system, and occur performance degradation. It is shown noticeable the more the Small Files. This problem is caused by the Small Files, it can be solved through the merging of associated Small Files. But a way of merging of Small Files has some limited point. in this paper, examines existing limit of merging method, design merging method Small Files for effective process.

목차

Ⅰ. 서 론

Ⅱ. 관련연구

Ⅲ. 작은 파일들의 효율적 처리 방법 설계

Ⅳ. 결 론

키워드

Small Files HDFS HDFS Block NameNode Merging 작은 파일 하둡 분산 파일 시스템 하둡 분산 파일 시스템 블록 네임 노드 병합