Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 알고리즘
- 리눅스 환경변수
- Spark Data Read
- BFS
- 앙상블
- git init
- Decision Tree
- SQL
- 네트워크
- Oracle ASSM
- 오라클 데이터 처리방식
- git 기본명령어
- 배깅
- Python
- airflow 정리
- 추천시스템
- Linux
- CF
- 통계분석
- enq: FB - contention
- eda
- 의사결정나무
- 랜덤포레스트
- Spark 튜닝
- Oracle 논리적 저장 구조
- Spark jdbc parallel read
- Collaborative filtering
- 데이터분석
- git stash
- 데이터 분석
Archives
- Today
- Total
목록Airflow Operator (1)
[Alex] 데이터 장인의 블로그
[Airflow] DAGs 사용 방법 정리
DAGs airflow에서는 워크플로우를 DAG(Directed Acyclic Graph)로 관리. DAGs : 비순환, 방향성을 가지고 있는 그래프를 뜻함. Airflow 웹서버에서 DAGs Task 확인. DAGs - Operator의 모음 DAGs는 Operator(Task) 의 모음이다. 개별 Task 상태 값을 확인하여 재실행, Failed 마킹, Success 마킹 등의 여러가지 개별 작업을 수행할 수 있다. DAGs 작성방법 (주의점) Scope 파이썬 파일 내에 DAG는 전역 스코프에 존재해야 함. dag_1 = DAG('this_dag_will_be_discovered') def my_function(): dag_2 = DAG('this_dag_will_not') my_function()..
Airflow
2022. 6. 12. 14:01