Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 카프카
- 알고리즘
- 아파치 하둡
- KAFKA
- Python
- 오블완
- DP
- 코딩테스트
- 빅데이터
- 분산처리
- 티스토리챌린지
- Apache Spark
- heapq
- programmers
- 아파치 스파크
- 하둡
- String
- docker
- apache kafka
- 분산
- 아파치 카프카
- 우선순위큐
- 프로그래머스
- Data Engineering
- leetcode
- 이진탐색
- 도커
- 리트코드
- Apache Hadoop
- 파이썬
Archives
- Today
- Total
목록하둡 실습 (1)
래원
[Hadoop] Hadoop MapReduce를 이용한 Word Count 실습
이번 글에서는 아래 그림과 같이 Hadoop MapReduce를 이용한 word count 실습에 대해 포스팅할 예정이다. MapReduce에 대한 설명은 아래 링크에서 확인할 수 있다.[Hadoop] MapReduce와 YARN 실습에 사용한 환경본 글에서 설명하는 실습은 다음과 같은 환경에서 진행하였다.OSUbuntu 20.04Javaopenjdk-11-jdkHadoophadoop-3.4.0IDEVisual Studio Code 실습 시작실습에 큰 흐름은 다음과 같다.1. HDFS에 txt 파일 저장2. MapReduce 코드 작성3. jar 파일 생성4. 실행5. 결과 확인 1. HDFS에 txt 파일 저장이 단계에서는 단어를 세고 싶은 txt 파..
Data Engineering/Hadoop
2024. 12. 3. 20:18