bigdata-playground

(★ 210)

A complete example of a big data application using : Kubernetes (kops/aws), Apache Spark SQL/Streaming/MLib, Apache Flink, Scala, Python, Apache Kafka, Apache Hbase, Apache Parquet, Apache Avro, Apache Storm, Twitter Api, MongoDB, NodeJS, Angular, GraphQL

파일 탐색기

최종 버전 다운로드 (.zip)
  • .gitignore
  • LICENSE
  • README.md

# 설치 가이드

1. 코드 내려받기
git clone https://github.com/Chabane/bigdata-playground

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd bigdata-playground

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Docker

쉬움 추천
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker network create vnet

이 명령어를 터미널에 그대로 입력해 실행하세요.

cd docker

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

docker-compose -f mongo.yml -f zookeeper.yml -f kafka.yml -f hadoop-hbase.yml -f flink.yml up -d

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

docker-compose -f dev/webapp.yml up -d

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

docker-compose -f dev/batch-spark.yml up -d

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Maven (Java)

보통
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • JDK (Java) Java 프로젝트를 빌드/실행하려면 필요합니다.
  • Maven mvn 명령어를 쓰기 위한 빌드 도구입니다.
cd batch/hadoop && mvn clean package && cd ../..

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

cd streaming/storm && mvn clean package && cd ../..

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

✅ BUILD SUCCESS 메시지가 뜨면 성공입니다. target/ 폴더에 결과물이 생성됩니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

4. Node.js

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Node.js npm 명령어를 쓰려면 Node.js가 설치되어 있어야 합니다. LTS(장기지원) 버전을 추천합니다.
npm install yarn -g

package.json에 명시된 라이브러리들을 내려받아 설치합니다.

cd webapp && yarn && cd client && yarn && cd ../server && yarn && cd ../ && npm run build:dev && cd ../

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

✅ 명령어 실행 후 터미널에 나타나는 주소(보통 http://localhost:3000 형태)를 브라우저에서 열어보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

오늘의 추천 프로젝트

mermaid ★ 89,874

마크다운과 유사한 방식으로 텍스트로부터 순서도나 시퀀스 다이어그램 등의 다이어그램을 생성합니다.

TypeScript
crawl4ai ★ 78,856

🚀🤖 Crawl4AI: 오픈소스 LLM 친화적 웹 크롤러 & 스크레이퍼. 망설이지 말고 참여하세요: https://discord.gg/jP8KfhDhyN

Python
awesome-design-md ★ 109,537

인기 브랜드 디자인 시스템을 분석한 DESIGN.md 파일 모음입니다. 프로젝트에 파일을 추가하면 코딩 에이전트가 그에 맞는 UI를 생성해 줍니다.
FreeDomain ★ 194,714

DigitalPlat FreeDomain: Free Domain For Everyone

Markdown
claude-mem ★ 91,420

모든 에이전트를 위한 세션 간 지속형 컨텍스트(Persistent Context) – 에이전트가 세션 동안 수행하는 모든 작업을 캡처하고, AI로 압축한 다음,

JavaScript
awesome-llm-apps ★ 133,464

100개 이상의 AI Agents, Agent Skills 및 RAG Apps - 무료 오픈소스.

Python
// repository documentation