Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- Data Engineering
- 딕셔너리
- Python
- Hadoop
- 분산처리
- 알고리즘
- 데이터 엔지니어링
- 아파치 하둡
- 오블완
- 도커
- 스파크
- 프로그래머스
- 빅데이터
- 분산
- programmers
- Spark
- HDFS
- leetcode
- 티스토리챌린지
- docker
- heapq
- 이진탐색
- Apache Hadoop
- 하둡
- 파이썬
- 우선순위큐
- 코딩테스트
- 리트코드
- Apache Spark
- 아파치 스파크
Archives
- Today
- Total
목록spark 설치 (1)
래원
[Spark] Apache Spark 설치
이번 글에서는 Apache Spark 설치 과정을 소개할 예정이다. 큰 목차는 다음과 같다.1. 버전 정보2. SSH 설정3. Spark 설치4. 환경 변수 설정5. Apache Spark 클러스터 구성6. Spark 실행7. Spark 종료8. 마무리 버전 정보본 글에서 사용하는 환경은 다음과 같다.OS: Ubuntu 20.04Java: openjdk-11-jdkHadoop: Hadoop 3.4.0Spark: Spark 3.5.1 SSH 설정Spark는 Hadoop과 마찬가지로 노드 간 통신과 협력이 필요하기 때문에 SSH 설정을 필수적으로 해야한다.이미 되어 있다면 skip해도 된다. 먼저, 사용할 모든 노드의 /etc/hosts 파일에 사용할 노드들의 IP와 이름을 지정해준다. $ sudo vim..
Data Engineering/Spark
2024. 12. 9. 20:12