Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- Apache Hadoop
- 파이썬
- 데이터 엔지니어링
- programmers
- 아파치 하둡
- Spark
- 알고리즘
- 우선순위큐
- Apache Spark
- 분산처리
- 스파크
- 이진탐색
- Hadoop
- docker
- 딕셔너리
- 티스토리챌린지
- 아파치 스파크
- 하둡
- 도커
- leetcode
- Data Engineering
- 빅데이터
- 코딩테스트
- Python
- HDFS
- 리트코드
- 분산
- 오블완
- 프로그래머스
- heapq
Archives
- Today
- Total
목록spark ecosystem (1)
래원
[Spark] Spark Ecosystem과 Spark Architecture
이전 글에서 간단히 Apache Spark에 대해 소개하였다. 이번 글에서는 Spark Ecosystem을 구성하는 주요 요소와 각각의 역할을 간단히 정리할 예정이다.또한 Spark Architecture와 실제 작업 흐름이 어떻게 돌아가는지 소개할 예정이다. Spark Ecosystem Spark Ecosystem은 크게 Spark Core, Libraries, Programming interface, Resource Management, Storage로 나뉜다. 각각에 대해 알아보자 Spark CoreSpark Core는 Apache Spark의 중심 컴포넌트로, 모든 추가 기능과 라이브러리들이 이 위에서 동작하며 분산 데이터 처리와 클러스터 자원 관리를 담당한다.특히, RDD(Resilient D..
Data Engineering/Spark
2024. 12. 6. 00:34