docker-spark-iceberg

(★ 384)

No description available.

파일 탐색기

최종 버전 다운로드 (.zip)

- - check-notebooks.yml
  - docker-image.yml
  - stale.yml
- dependabot.yml
- .rat-excludes
- build-and-push-image.sh
- check-license
- .gitignore
- build.gradle
- docker-compose.yml
- gradlew
- README.md
- - Iceberg - An Introduction to the Iceberg Java API using Scala.ipynb
  - Iceberg - Berlin Buzzwords 2023.ipynb
  - Iceberg - Getting Started.ipynb
  - Iceberg - Integrated Audits Demo.ipynb
  - Iceberg - Table Maintenance Spark Procedures.ipynb
  - Iceberg - View Support.ipynb
  - Iceberg - Write-Audit-Publish (WAP) with Branches.ipynb
  - PyIceberg - Commits.ipynb
  - PyIceberg - Getting Started.ipynb
  - PyIceberg - Write support.ipynb
- .pyiceberg.yaml
- Dockerfile
- entrypoint.sh
- requirements.txt
- spark-defaults.conf
.dockerignore
.gitignore
.pre-commit-config.yaml
docker-compose.yml
LICENSE
README.md

🚀 설치 가이드

1. 코드 내려받기

git clone https://github.com/databricks/docker-spark-iceberg

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd docker-spark-iceberg

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Docker

쉬움 추천

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.

docker-compose up

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

docker exec -it spark-iceberg spark-shell

이 명령어를 터미널에 그대로 입력해 실행하세요.

docker exec -it spark-iceberg spark-sql

이 명령어를 터미널에 그대로 입력해 실행하세요.

docker exec -it spark-iceberg pyspark

이 명령어를 터미널에 그대로 입력해 실행하세요.

docker image rm tabulario/spark-iceberg && docker-compose pull

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Gradle (Java/Kotlin)

보통

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
JDK (Java) Java/Kotlin 프로젝트를 빌드/실행하려면 필요합니다.
Gradle 레포에 포함된 gradlew(Gradle Wrapper)를 쓰면 Gradle을 따로 설치할 필요가 없습니다.

cd flink-example

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

./gradlew build

Gradle로 빌드를 진행합니다.

✅ BUILD SUCCESSFUL 메시지가 뜨면 성공입니다. build/ 폴더에 결과물이 생성됩니다.

4. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install -r spark/requirements.txt

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

jupyter notebook

브라우저에서 노트북(.ipynb) 파일들을 열람하고 실행할 수 있는 Jupyter 화면을 켭니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.