일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- docker
- Python
- Apache Spark
- 스파크
- leetcode
- 파이썬
- Spark
- HDFS
- 아파치 하둡
- 분산처리
- 티스토리챌린지
- 빅데이터
- 알고리즘
- 프로그래머스
- 분산
- 코딩테스트
- Apache Hadoop
- Hadoop
- 하둡
- 딕셔너리
- 이진탐색
- heapq
- 리트코드
- programmers
- 도커
- 우선순위큐
- 아파치 스파크
- 데이터 엔지니어링
- 오블완
- Data Engineering
- Today
- Total
목록2024/12/16 (2)
래원
이번 글에서는 spark에서 데이터를 불러와 spark sql을 사용해본 것에 대해 작성하려고 한다. 시작하기 앞서 zeppelin을 이용하여 실습을 진행했는데, 이에 대해 먼저 소개를 해야할 것 같다. 목차는 다음과 같다.1. Apache Zeppelin2. HDFS에서 데이터 불러오기3. SQL쿼리 실행4. 마무리 Apache Zeppelin 일단 Zeppelin은 Spark를 통한 데이터 분석의 불편함을 Web 기반의 notebook을 통해 해결해보고자 만들어진 툴이다. 기존의 Spark 환경에서는 명령어를 입력하고 결과를 출력하는 방식으로 작업이 진행되어 쿼리 결과나 분석 과정을 확인하는데 불편함이 있었다. 하지만 Zeppelin은 웹 인터페이스를 통해 이러한 문제를 해결하고 작업을 진행할 수 있..
난이도: Easy 문제 설명You are given an integer array nums, an integer k, and an integer multiplier.You need to perform k operations on nums. In each operation:Find the minimum value x in nums. If there are multiple occurrences of the minimum value, select the one that appears first.Replace the selected minimum value x with x * multiplier.Return an integer array denoting the final state of nums after pe..