airflow_in_docker_compose

(★ 185)

Apache Airflow in Docker Compose (for both versions 1.10.* and 2.*)

파일 탐색기

최종 버전 다운로드 (.zip)

- - test_dag.py
  - test_dependency.py
- - airflow.cfg
  - airflow_celeryexecutor.cfg
  - docker-compose-celery-executor.yml
  - docker-compose-volume-packages.yml
  - docker-compose.yml
  - Dockerfile
  - packages.pth
- docker-compose-v1-with-celery-executor.yml
- - 2.0.png
  - flower.png
  - main.png
  - version.png
.dockerignore
.env
.gitignore
docker-compose-with-celery-executor-2-workers.yml
docker-compose.yml
LICENSE
poetry.lock
pyproject.toml
README.md

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/xnuinside/airflow_in_docker_compose

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd airflow_in_docker_compose

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Docker

쉬움 추천

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.

docker-compose -f docker-compose-2.0-with-celery-executor.yml up --build

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

docker-compose up --build

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

In normal behaviour - in docker-compose I added autorestarts so after 10-15 secs all servers will be up&run, but sometimes 3 retries can be not enough.

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

Those articles was created before release of official Apache Airflow Docker image and they use puckel/docker-airflow.

이 명령어를 터미널에 그대로 입력해 실행하세요.

Now, already exist official image apache/airflow. So this docker-compose files became 'legacy'

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install .

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

python <실행할 파일명>.py # README에서 정확한 실행 파일명을 확인하세요

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.