bigdata-playground

(★ 210)

A complete example of a big data application using : Kubernetes (kops/aws), Apache Spark SQL/Streaming/MLib, Apache Flink, Scala, Python, Apache Kafka, Apache Hbase, Apache Parquet, Apache Avro, Apache Storm, Twitter Api, MongoDB, NodeJS, Angular, GraphQL

파일 탐색기

최종 버전 다운로드 (.zip)
  • .gitignore
  • LICENSE
  • README.md

# 설치 가이드

1. 코드 내려받기
git clone https://github.com/Chabane/bigdata-playground

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd bigdata-playground

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Docker

쉬움 추천
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker network create vnet

이 명령어를 터미널에 그대로 입력해 실행하세요.

cd docker

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

docker-compose -f mongo.yml -f zookeeper.yml -f kafka.yml -f hadoop-hbase.yml -f flink.yml up -d

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

docker-compose -f dev/webapp.yml up -d

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

docker-compose -f dev/batch-spark.yml up -d

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Maven (Java)

보통
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • JDK (Java) Java 프로젝트를 빌드/실행하려면 필요합니다.
  • Maven mvn 명령어를 쓰기 위한 빌드 도구입니다.
cd batch/hadoop && mvn clean package && cd ../..

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

cd streaming/storm && mvn clean package && cd ../..

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

✅ BUILD SUCCESS 메시지가 뜨면 성공입니다. target/ 폴더에 결과물이 생성됩니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

4. Node.js

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Node.js npm 명령어를 쓰려면 Node.js가 설치되어 있어야 합니다. LTS(장기지원) 버전을 추천합니다.
npm install yarn -g

package.json에 명시된 라이브러리들을 내려받아 설치합니다.

cd webapp && yarn && cd client && yarn && cd ../server && yarn && cd ../ && npm run build:dev && cd ../

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

✅ 명령어 실행 후 터미널에 나타나는 주소(보통 http://localhost:3000 형태)를 브라우저에서 열어보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

오늘의 추천 프로젝트

Scrapling ★ 75,655

🕷️ 단일 요청부터 대규모 크롤링까지 모든 것을 처리하는 적응형 Web Scraping 프레임워크입니다!

Python
ohmyzsh ★ 189,291

🙃 zsh 구성을 관리하기 위한, 활기찬 커뮤니티 기반(2,500명 이상의 기여자 참여)의 멋진 프레임워크입니다. 300개 이상의 선택형 플러그인(rails, g

Shell
hoppscotch ★ 80,069

오픈소스 API 개발 생태계 • https://hoppscotch.io • 오프라인, 온프레미스 및 클라우드 지원 • 웹, 데스크톱 및 CLI • Postman

TypeScript
localsend ★ 88,885

AirDrop의 오픈 소스 크로스 플랫폼 대안

Dart
claw-code ★ 195,094

Rust로 구축되고 Gajae-Code / LazyCodex를 사용하는 에이전트 관리형 박물관 전시물 — 인간의 개입 없이 개발 및 유지 관리됩니다.

Rust
awesome-vue ★ 73,543

🎉 Vue.js와 관련된 멋진 자료들을 모아놓은 큐레이티드 리스트입니다.
// repository documentation