whirl
Fast iterative local development and testing of Apache Airflow workflows
파일 탐색기
최종 버전 다운로드 (.zip)- ci-verifier.md
- plugin.json
- create-environment
- create-example
- verify-ci-impact
- version-bumper
- SKILL.md
- SKILL.md
- ci_impact.sh
- SKILL.md
- SKILL.md
- whirl-ci.yml
- whirl-release.yml
- date_replacement.sh
- auth.json
- delete_all_airflow_connections.py
- Dockerfile
- entrypoint.sh
- harden.sh
- nginx-ssl.conf
- Dockerfile
- core-site.xml
- Dockerfile
- hive-site.xml
- init-hive.sh
- 01_add_connection_s3.sh
- 02_configure_logging_to_s3.sh
- .gitkeep
- .whirl.env
- docker-compose.yml
- .gitkeep
- .whirl.env
- docker-compose.yml
- 01_add_connection_s3server.sh
- .gitkeep
- .whirl.env
- docker-compose.yml
- pod_template.yaml
- .gitkeep
- registries.yaml
- 01_push_airflow_worker_image_to_local_registry.sh
- 02_clean_local_data_share.sh
- Dockerfile.worker
- 01_add_connection_s3server.sh
- 02_add_kubectl.sh
- 03_k8s_persistant_volume.sh
- .gitignore
- .whirl.env
- docker-compose.yml
- entrypoint.sh
- README.md
- 01_add_connection_api.sh
- .gitkeep
- .whirl.env
- docker-compose.yml
- 01_clean_pg_data_dir.sh
- 01_add_connection_s3.sh
- 02_add_connection_postgres.sh
- 03_add_spark_config.sh
- 04_install_dbt.sh
- .gitignore
- .gitkeep
- .whirl.env
- docker-compose.yml
- .whirl.env
- docker-compose.yml
- .gitkeep
- .whirl.env
- docker-compose.yml
- .gitkeep
- .whirl.env
- docker-compose.yml
- .gitkeep
- .whirl.env
- docker-compose.yml
- 01_enable_local_ssh.sh
- .whirl.env
- docker-compose.yml
- 01_add_connection_s3.sh
- 02_add_connection_postgres.sh
- 03_add_spark_config.sh
- .gitkeep
- .whirl.env
- docker-compose.yml
- 01_add_connection_s3.sh
- 02_add_connection_postgres.sh
- 03_add_spark_config.sh
- .whirl.env
- docker-compose.yml
- 01_add_connection_s3.sh
- 02_add_connection_postgres.sh
- 03_add_spark_config.sh
- .gitkeep
- .whirl.env
- docker-compose.yml
- 01_check_available_memory.sh
- 02_clean_s3_mount_dir.sh
- 01_add_connection_s3.sh
- 03_add_spark_config.sh
- .gitignore
- .gitkeep
- .whirl.env
- docker-compose.yml
- 01_check_available_memory.sh
- 02_clean_s3_mount_dir.sh
- core-site.xml
- delta-sharing.yml
- log4j.properties
- 01_add_connection_s3.sh
- 02_add_spark_config.sh
- 03_add_delta_config.sh
- .gitignore
- .gitkeep
- .whirl.env
- docker-compose.yml
- 01_check_available_memory.sh
- 02_clean_s3_mount_dir.sh
- core-site.xml
- delta-sharing.yml
- log4j.properties
- 01_add_connection_s3.sh
- 02_add_spark_config.sh
- 03_add_delta_config.sh
- .gitignore
- .gitkeep
- .whirl.env
- docker-compose.yml
- 01_check_available_memory.sh
- 02_clean_s3_mount_dir.sh
- 03_clean_pg_data_dir.sh
- core-site.xml
- delta-sharing.yml
- log4j.properties
- dev.sql
- 01_add_connection_s3.sh
- 02_add_spark_config.sh
- 03_add_delta_config.sh
- .gitignore
- .gitkeep
- .whirl.env
- docker-compose.yml
- 01_prepare_sftp.sh
- 02_prepare_mysql.sh
- .whirl.env
- docker-compose.yml
- mysql.env
- sftp.env
- dag_policy.py
- .gitkeep
- 01_configure_cluster_policies.sh
- .airflowignore
- .whirl.env
- dag.py
- README.md
- datasets.py
- 01_add_connection_api_and_mockdata.sh
- .airflowignore
- .whirl.env
- dataset-A-producer.py
- dataset-ABC-consumer.py
- dataset-ABCD-consumer.py
- dataset-B-producer.py
- dataset-C-producer.py
- dataset-D-producer.py
- dataset-E-producer.py
- README.md
- single-dataset-consumer.py
- single-dataset-producer.py
- .gitkeep
- .airflowignore
- .whirl.env
- dag.py
- README.md
- __init__.py
- api_check_operator.py
- __init__.py
- api_check_trigger.py
- __init__.py
- .gitkeep
- 01_add_connection_api_and_mockdata.sh
- .airflowignore
- .whirl.env
- dag.py
- README.md
- setup.py
- __init__.py
- fullmoon.py
- __init__.py
- setup.cfg
- setup.py
- .gitkeep
- 01_install_custom_timetable.sh
- .airflowignore
- .whirl.env
- dag.py
- README.md
- 01_add_connection_api_and_mockdata.sh
- .airflowignore
- .whirl.env
- dag.py
- README.md
- 02_clean_dbt_log.sh
- 01_show_dbt_log.sh
- .gitkeep
- airports_dbt.sql
- carriers_dbt.sql
- flights_dbt.sql
- schema.yml
- enriched_flights.sql
- flights_per_carrier.sql
- schema.yml
- .gitignore
- dbt_project.yml
- profiles.yml
- flights_data.zip
- s3topostgres.py
- .gitkeep
- 01_add_mockdata_to_s3.sh
- 02_install_postgres_dbt.sh
- .airflowignore
- .whirl.env
- dag.py
- README.md
- 02_clean_dbt_log.sh
- 01_show_dbt_log.sh
- airports_dbt.sql
- carriers_dbt.sql
- flights_dbt.sql
- schema.yml
- enriched_flights.sql
- flights_per_carrier.sql
- schema.yml
- .gitignore
- dbt_project.yml
- profiles.yml
- flights_data.zip
- s3tohive.py
- .gitkeep
- 01_add_mockdata_to_s3.sh
- 02_add_dbt.sh
- .airflowignore
- .whirl.env
- dag.py
- README.md
- .gitkeep
- .airflowignore
- .whirl.env
- dag.py
- README.md
- .gitkeep
- .airflowignore
- .whirl.env
- dag.py
- README.md
- .airflowignore
- .whirl.env
- dag.py
- README.md
- .gitkeep
- .airflowignore
- .whirl.env
- dag.py
- README.md
- mocked-data-#ds_nodash#.csv
- 00_install_airflow_providers.sh
- 01_cp_mock_data_to_sftp.sh
- .airflowignore
- .whirl.env
- dag.py
- README.md
- input.json
- readdeltasharing.py
- s3todelta-nonpartitioned.py
- s3todelta.py
- 01_add_mockdata_to_s3.sh
- .airflowignore
- .whirl.env
- dag.py
- README.md
- datasources.yml
- prometheus.yml
- tempo.yml
- input.json
- otel-collector-config.yaml
- s3topostgres.py
- 01_add_mockdata_to_s3.sh
- 03_install_airflow_providers.sh
- 04_install_spark_opentelemetry.sh
- .airflowignore
- .gitignore
- .whirl.env
- dag.py
- README.md
- input.json
- s3tohive.py
- 01_add_mockdata_to_s3.sh
- .airflowignore
- .whirl.env
- dag.py
- README.md
- input.json
- s3topostgres.py
- 01_add_mockdata_to_s3.sh
- 03_install_airflow_providers.sh
- .airflowignore
- .whirl.env
- dag.py
- README.md
- logo.py
- logo.svg
- README.md
- requirements.txt
- conftest.py
- test_dag_validation.py
- test_foundation.py
- test_setup_scripts.py
- .editorconfig
- .gitattributes
- .gitignore
- .whirl.env
- CLAUDE.md
- CONTRIBUTING.md
- LICENSE
- logo.png
- pyproject.toml
- README.md
- SECURITY.md
- uv.lock
- whirl
- whirl-youtube.png
# 설치 가이드
1. 코드 내려받기
git clone https://github.com/godatadriven/whirl
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd whirl
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. 공식 설치 스크립트
쉬움 추천사전 준비물
- Homebrew macOS/Linux용 패키지 매니저입니다.
brew install jq
Homebrew로 이미 빌드된 패키지를 바로 설치합니다. 소스 빌드가 필요 없습니다.
설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
3. Docker
쉬움사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
⚠️ 이 프로젝트는 규모가 큰 저장소라, 이 방법이 실제 핵심 제품이 아니라 내부 하위 패키지를 가리키는 것일 수 있습니다. README 전체를 함께 확인해보세요.
docker compose -f envs/airflow-s3-logging/docker-compose.yml up -d --build
compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.
터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.
4. Python
쉬움사전 준비물
pip install -r logo/requirements.txt
requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.
python <실행할 파일명>.py # README에서 정확한 실행 파일명을 확인하세요
파이썬 스크립트(또는 모듈)를 실행합니다.
에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.
// repository documentation
Was this content helpful?
(0 ratings)
