data-science-stack-cookiecutter
๐ณ๐๐คCookiecutter template to launch an awesome dockerized Data Science toolstack (incl. Jupyster, Superset, Postgres, Minio, AirFlow & API Star)
ํ์ผ ํ์๊ธฐ
์ต์ข ๋ฒ์ ๋ค์ด๋ก๋ (.zip)- airflow_container.env
- airflow_database.env
- jupyter.env
- minio.env
- postgres.env
- shared_database.env
- superset_container.env
- superset_database.env
- app.py
- custom_routes.py
- Dockerfile
- Dockerfile
- 00_shared_create_user.sh
- 01_shared_create_db.sh
- 02_superset_create_user.sh
- 03_superset_create_db.sh
- 04_airflow_create_user.sh
- 05_airflow_create_db.sh
- example_dag.py
- example-minio-connection.ipynb
- example-postgres-connection.ipynb
- requirements.txt
- docker-compose.yml
- README.md
- architecture.png
- cookiecutter.json
- LICENSE
- README.md
# ์ค์น ๊ฐ์ด๋
1. ์ฝ๋ ๋ด๋ ค๋ฐ๊ธฐ
git clone https://github.com/jgoerner/data-science-stack-cookiecutter
๊นํ๋ธ์์ ํ๋ก์ ํธ ์ฝ๋ ์ ์ฒด๋ฅผ ๋ด ์ปดํจํฐ๋ก ๋ด๋ ค๋ฐ์ต๋๋ค.
cd data-science-stack-cookiecutter
๋ฐฉ๊ธ ๋ด๋ ค๋ฐ์ ํ๋ก์ ํธ ํด๋ ์์ผ๋ก ์ด๋ํฉ๋๋ค.
2. Docker
์ฌ์ ์ถ์ฒ์ฌ์ ์ค๋น๋ฌผ
- Git GitHub์์ ํ๋ก์ ํธ ์ฝ๋๋ฅผ ๋ด๋ ค๋ฐ์ผ๋ ค๋ฉด ํ์ํฉ๋๋ค.
- Docker Desktop ์ปจํ ์ด๋๋ฅผ ๋น๋ํ๊ณ ์คํํ๋ ค๋ฉด ํ์ํฉ๋๋ค. ์ค์น ํ ์คํํด์ ๋ฐฑ๊ทธ๋ผ์ด๋์ ์ผ๋์ธ์.
docker compose -f {{cookiecutter.project_name}}/docker-compose.yml up -d --build
compose ์ค์ ํ์ผ์ ์ ์๋ ์๋น์ค๋ค์ ๋์์ผ๋ก ๋ช ๋ น์ ์คํํฉ๋๋ค.
ํฐ๋ฏธ๋์ docker compose ps ๋ฅผ ์
๋ ฅํด ์ปจํ
์ด๋๋ค์ด Up ์ํ์ธ์ง ํ์ธํ์ธ์. README์ ํฌํธ ๋ฒํธ๊ฐ ์ ํ์๋ค๋ฉด ๋ธ๋ผ์ฐ์ ์์ http://localhost:ํฌํธ๋ฒํธ ๋ก ์ ์ํด๋ณด์ธ์.
3. Python
์ฌ์์ฌ์ ์ค๋น๋ฌผ
โ ๏ธ ์ด ํ๋ก์ ํธ๋ ๊ท๋ชจ๊ฐ ํฐ ์ ์ฅ์๋ผ, ์ด ๋ฐฉ๋ฒ์ด ์ค์ ํต์ฌ ์ ํ์ด ์๋๋ผ ๋ด๋ถ ํ์ ํจํค์ง๋ฅผ ๊ฐ๋ฆฌํค๋ ๊ฒ์ผ ์ ์์ต๋๋ค. README ์ ์ฒด๋ฅผ ํจ๊ป ํ์ธํด๋ณด์ธ์.
pip install -r {{cookiecutter.project_name}}/shared/requirements.txt
requirements.txt ๋ฑ์ ๋ช ์๋ ํ์ด์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ค์นํฉ๋๋ค.
jupyter notebook
๋ธ๋ผ์ฐ์ ์์ ๋ ธํธ๋ถ(.ipynb) ํ์ผ๋ค์ ์ด๋ํ๊ณ ์คํํ ์ ์๋ Jupyter ํ๋ฉด์ ์ผญ๋๋ค.
์๋ฌ ๋ฉ์์ง ์์ด ์คํ๋๊ณ ํฐ๋ฏธ๋์ ์๋ด ๋ฌธ๊ตฌ๊ฐ ์ถ๋ ฅ๋๋ฉด ์ ์์
๋๋ค.
// repository documentation
Was this content helpful?
(0 ratings)
