카테고리 없음
Apache Airflow란?
개발자국S2
2021. 9. 29. 20:42
Cloud Composer는 아파치 에어플로를 기반으로 한 워크플로우 서비스다.
그럼 어에플로는 뭘까? https://berrrrr.github.io/programming/2020/01/12/what-is-apache-airflow/
Apache airflow란?
에어비앤비에서 개발한 워크플로우 스케줄링, 모니터링 플랫폼 현재 아파치의 탑레벨 프로젝트
berrrrr.github.io
AirBnB에서 개발한 워크플로우 / 스케쥴링 / 모니터링 플랫폼이다.
1. DAG - 스케쥴링서비스다. 예전 리눅스에서 해봤던 crontab과 비슷한 역할을 한다.
파이선으로 스케쥴링 코드를 짜야한다.
위 사진처럼 태스크의 순서를 정해놓고, 설정한 흐름대로 실행시켜주는 것이다. DAG는 방향성 비순환 그래프를 의미한다.
2. Operator
Bash : Shell
k8s Pod : 도커
반응형