래원

이번 글에서는 아래 그림과 같이 Hadoop MapReduce를 이용한 word count 실습에 대해 포스팅할 예정이다.    MapReduce에 대한 설명은 아래 링크에서 확인할 수 있다.[Hadoop] MapReduce와 YARN 실습에 사용한 환경본 글에서 설명하는 실습은 다음과 같은 환경에서 진행하였다.OSUbuntu 20.04Javaopenjdk-11-jdkHadoophadoop-3.4.0IDEVisual Studio Code 실습 시작실습에 큰 흐름은 다음과 같다.1.      HDFS에 txt 파일 저장2.      MapReduce 코드 작성3.      jar 파일 생성4.      실행5.      결과 확인  1. HDFS에 txt 파일 저장이 단계에서는 단어를 세고 싶은 txt 파..

이번 글에서는 MapReduce와 YARN에 대해 알아보자 이전 글과 이어지니 보고오는 것을 추천한다.[Hadoop] HDFS란?  What is MapReduce?  MapReduce는 2004년 Google에서 처음 제안한 대용량 데이터 처리 모델로, 분산 환경에서 데이터 처리 작업을 쉽게 수행할 수 있도록 설계되었다. 이러한 MapReduce는 HDFS에 저장된 대규모 데이터를 효율적으로 분석하고 처리할 수 있게 도와준다. 이름에서 볼 수 있듯 Map과 Reduce라는 두 단계로 나뉘게 된다. Map입력 데이터를 키-값 쌍으로 변환하여 병렬 처리가 가능하도록 데이터 구조를 단순화 하는 작업예를 들어, 위 그림에서는 각 단어를 키로 하고, 출현 횟수를 값으로 매핑Map 단계에서 다루는 Input 데이..

이번 글에서는 Apache Hadoop에 대한 소개를 하려고 한다. Hadoop을 이해하기 위해서는 빅데이터(Big Data)에 대한 이해가 필요하다. 빅데이터에 대해 먼저 알아보자 빅데이터(Big Data)?  21세기에 들어서면서 데이터 생성량이 기하급수적으로 증가하기 시작해 빅데이터라는 개념이 등장했다. 그렇다면 빅데이터는 뭘까? 빅데이터에 대한 정의는 다음과 같다.기존 DB 관리도구의 능력을 넘어서는 대량의 데이터(수십 TB(Terabyte)) 혹은 비정형의 데이터 집합  빅데이터는 3V(크기(Volume), 속도(Velocity), 다양성(Variety))라는 특징을 가지게 된다.크기(Volume): 방대한 데이터의 양을 특징으로 함, 단순히 데이터베이스나 단일 서버에서 처리할 수 없는 수준의 ..