래원

이번 글에서는 Hadoop 설치 과정에 대해 소개 할 예정이다. 글 시작하기에 앞서, 이전 글들을 보고 오는 것을 추천한다.[Hadoop] Apache Hadoop 소개[Hadoop] HDFS란?[Hadoop] MapReduce와 YARN 버전 정보본 글에서 사용하는 환경은 다음과 같다.OS: Ubuntu 20.04Java: openjdk-11-jdkHadoop: Hadoop 3.4.0  Java 설치Hadoop은 Java 기반으로 개발되었다.따라서, Hadoop의 실행과 관련된 모든 프로세스는 Java로 작성된 프로그램이므로 Java를 먼저 설치해주어야한다. 사용할 모든 노드에서 설치를 진행해야 한다. $ sudo apt update$ sudo apt list openjdk* # 모든 버전 목록 조회$..

이번 글에서는 Core Hadoop 모듈 중 하나인 HDFS (Hadoop Distributed File System)에 대해 소개하려고 한다. 이전 글과 이어지니 보고 오는 것을 추천한다.[Hadoop] Apach Hadoop 소개 [Hadoop] Apache Hadoop 소개이번 글에서는 Apache Hadoop에 대한 소개를 하려고 한다. Hadoop을 이해하기 위해서는 빅데이터(Big Data)에 대한 이해가 필요하다. 빅데이터에 대해 먼저 알아보자 빅데이터(Big Data)?  21세기에 들어laewonjeong.tistory.com What is HDFS (Hadoop Distribued File System)? HDFS는 대용랑 파일 분산 시스템으로 저비용 하드웨어에 배포 및 실행되도록 설계..

이번 글에서는 Apache Hadoop에 대한 소개를 하려고 한다. Hadoop을 이해하기 위해서는 빅데이터(Big Data)에 대한 이해가 필요하다. 빅데이터에 대해 먼저 알아보자 빅데이터(Big Data)?  21세기에 들어서면서 데이터 생성량이 기하급수적으로 증가하기 시작해 빅데이터라는 개념이 등장했다. 그렇다면 빅데이터는 뭘까? 빅데이터에 대한 정의는 다음과 같다.기존 DB 관리도구의 능력을 넘어서는 대량의 데이터(수십 TB(Terabyte)) 혹은 비정형의 데이터 집합  빅데이터는 3V(크기(Volume), 속도(Velocity), 다양성(Variety))라는 특징을 가지게 된다.크기(Volume): 방대한 데이터의 양을 특징으로 함, 단순히 데이터베이스나 단일 서버에서 처리할 수 없는 수준의 ..