워크플로우

이번 글에서는 `Apache Airflow`에 대해 정리하려고 한다. 최근 데이터 파이프라인의 복잡성이 증가함에 따라, 이를 효과적으로 관리하고 자동화할 수 있는 도구에 대한 수요가 높아지고 있다. 그 중 `Apache Airflow`가 있으며, 이는 다양한 곳에서 널리 사용되고 있다. 그렇다면 `Apache Airflow`는 무엇일까? What is Apache Airflow?먼저, `Apache Airflow`에 대해 공식 홈페이지는 아래와 같이 정의하고 있다. an open-source platform for developing, scheduling, and monitoring batch-oriented workflows  즉, `Airflow`는 배치 중심 워크플로우를 개발, 스케줄링 및 모니터링..