data-science-stack-cookiecutter
π³ππ€Cookiecutter template to launch an awesome dockerized Data Science toolstack (incl. Jupyster, Superset, Postgres, Minio, AirFlow & API Star)
νμΌ νμκΈ°
μ΅μ’ λ²μ λ€μ΄λ‘λ (.zip)- airflow_container.env
- airflow_database.env
- jupyter.env
- minio.env
- postgres.env
- shared_database.env
- superset_container.env
- superset_database.env
- app.py
- custom_routes.py
- Dockerfile
- Dockerfile
- 00_shared_create_user.sh
- 01_shared_create_db.sh
- 02_superset_create_user.sh
- 03_superset_create_db.sh
- 04_airflow_create_user.sh
- 05_airflow_create_db.sh
- example_dag.py
- example-minio-connection.ipynb
- example-postgres-connection.ipynb
- requirements.txt
- docker-compose.yml
- README.md
- architecture.png
- cookiecutter.json
- LICENSE
- README.md
# μ€μΉ κ°μ΄λ
1. μ½λ λ΄λ €λ°κΈ°
git clone https://github.com/jgoerner/data-science-stack-cookiecutter
κΉνλΈμμ νλ‘μ νΈ μ½λ μ 체λ₯Ό λ΄ μ»΄ν¨ν°λ‘ λ΄λ €λ°μ΅λλ€.
cd data-science-stack-cookiecutter
λ°©κΈ λ΄λ €λ°μ νλ‘μ νΈ ν΄λ μμΌλ‘ μ΄λν©λλ€.
2. Docker
μ¬μ μΆμ²μ¬μ μ€λΉλ¬Ό
- Git GitHubμμ νλ‘μ νΈ μ½λλ₯Ό λ΄λ €λ°μΌλ €λ©΄ νμν©λλ€.
- Docker Desktop 컨ν μ΄λλ₯Ό λΉλνκ³ μ€ννλ €λ©΄ νμν©λλ€. μ€μΉ ν μ€νν΄μ λ°±κ·ΈλΌμ΄λμ μΌλμΈμ.
docker compose -f {{cookiecutter.project_name}}/docker-compose.yml up -d --build
compose μ€μ νμΌμ μ μλ μλΉμ€λ€μ λμμΌλ‘ λͺ λ Ήμ μ€νν©λλ€.
ν°λ―Έλμ docker compose ps λ₯Ό μ
λ ₯ν΄ μ»¨ν
μ΄λλ€μ΄ Up μνμΈμ§ νμΈνμΈμ. READMEμ ν¬νΈ λ²νΈκ° μ νμλ€λ©΄ λΈλΌμ°μ μμ http://localhost:ν¬νΈλ²νΈ λ‘ μ μν΄λ³΄μΈμ.
3. Python
μ¬μμ¬μ μ€λΉλ¬Ό
β οΈ μ΄ νλ‘μ νΈλ κ·λͺ¨κ° ν° μ μ₯μλΌ, μ΄ λ°©λ²μ΄ μ€μ ν΅μ¬ μ νμ΄ μλλΌ λ΄λΆ νμ ν¨ν€μ§λ₯Ό κ°λ¦¬ν€λ κ²μΌ μ μμ΅λλ€. README μ 체λ₯Ό ν¨κ» νμΈν΄λ³΄μΈμ.
pip install -r {{cookiecutter.project_name}}/shared/requirements.txt
requirements.txt λ±μ λͺ μλ νμ΄μ¬ λΌμ΄λΈλ¬λ¦¬λ₯Ό μ€μΉν©λλ€.
jupyter notebook
λΈλΌμ°μ μμ λ ΈνΈλΆ(.ipynb) νμΌλ€μ μ΄λνκ³ μ€νν μ μλ Jupyter νλ©΄μ μΌλλ€.
μλ¬ λ©μμ§ μμ΄ μ€νλκ³ ν°λ―Έλμ μλ΄ λ¬Έκ΅¬κ° μΆλ ₯λλ©΄ μ μμ
λλ€.
// repository documentation
Was this content helpful?
(0 ratings)
