QStreaming
A simplified, lightweight ETL pipeline framework for build stream/batch processing applications on top of Apache Spark
파일 탐색기
최종 버전 다운로드 (.zip)- settings.xml
- cassandra.md
- elasticsearch.md
- hbase.md
- hdfs.md
- hudi.md
- jdbc.md
- kafka.md
- mongo.md
- redis.md
- architecture.png
- wechat.png
- architecture.md
- pom.xml
- Sql.g4
- DateFormat.scala
- StreamConstraints.scala
- Connector.scala
- package.scala
- PipelineConfig.scala
- RowFormat.scala
- Schema.scala
- Settings.scala
- statements.scala
- exceptions.scala
- KafkaLagListener.scala
- ParserHelper.scala
- PipelineListener.scala
- PipelineParser.scala
- SqlDataType.scala
- TableParser.scala
- BatchWriter.scala
- StreamWriter.scala
- Writer.scala
- FileStreamReader.scala
- KafkaStreamReader.scala
- RedisStreamReader.scala
- BatchReader.scala
- Reader.scala
- StreamReader.scala
- WaterMarker.scala
- CreateFunctionTranslator.scala
- CreateViewTranslator.scala
- InsertStatementTranslator.scala
- PipelineTranslator.scala
- SinkTableTranslator.scala
- SourceTableTranslator.scala
- SparkSqlTranslator.scala
- StatementTranslator.scala
- VerifyStatementTranslator.scala
- ScalaDynamicUDF.scala
- Regex2Json.scala
- StreamOptions.scala
- PipelineContext.scala
- PipelineRunner.scala
- Streaming.scala
- PipelineParserTest.scala
- pom.xml
- entrypoint-master.sh
- entrypoint-submit.sh
- entrypoint-worker.sh
- finish-submit.sh
- Dockerfile
- log4j.properties
- spark-defaults.conf
- spark-env.sh
- Dockerfile
- pom.xml
- org.apache.spark.sql.sources.DataSourceRegister
- ElasticSearchSourceProvider.scala
- es.dsl
- log4j.properties
- ESStreamWriteSuite.scala
- ESWriteTestSource.scala
- pom.xml
- org.apache.spark.sql.sources.DataSourceRegister
- HBaseSourceProvider.scala
- HBaseStreamWriter.scala
- MyHBaseIntegrationTest.java
- hbase.dsl
- log4j.properties
- HBaseStreamWriteSuite.scala
- HBaseWriteTestSource.scala
- Test.scala
- pom.xml
- pom.xml
- k2k.dsl
- user_behavior.jsonl
- behavior_cnt.jsonl
- consumer_test.sh
- kafka_seed.sh
- wait_for_topic.sh
- docker-compose.yml
- test.sh
- org.apache.spark.sql.sources.DataSourceRegister
- JdbcSourceProvider.scala
- JdbcStreamWriter.scala
- JdbcUtil.scala
- jdbc.dsl
- log4j.properties
- JdbcStreamWriteSuite.scala
- JdbcWriteTestSource.scala
- pom.xml
- org.apache.spark.sql.sources.DataSourceRegister
- MongoMapFunctions.scala
- MongoSourceProvider.scala
- MongoStreamWriter.scala
- mongo.dsl
- log4j.properties
- MongoStreamWriteSuite.scala
- MongoWriteTestSource.scala
- pom.xml
- pom.xml
- pom.xml
- Logging.scala
- pom.xml
- .gitignore
- .travis.yml
- CONTRIBUTING.md
- LICENSE
- Makefile
- pom.xml
- README.md
# 설치 가이드
1. 코드 내려받기
git clone https://github.com/qiniu/QStreaming
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd QStreaming
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. Docker
쉬움 추천사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
⚠️ 이 프로젝트는 규모가 큰 저장소라, 이 방법이 실제 핵심 제품이 아니라 내부 하위 패키지를 가리키는 것일 수 있습니다. README 전체를 함께 확인해보세요.
docker compose -f stream-it/k2k/docker-compose.yml up -d --build
compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.
터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.
3. Maven (Java)
보통사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- JDK (Java) Java 프로젝트를 빌드/실행하려면 필요합니다.
- Maven mvn 명령어를 쓰기 위한 빌드 도구입니다.
mvn clean install
Maven으로 의존성 설치와 빌드를 진행합니다.
BUILD SUCCESS 메시지가 뜨면 성공입니다. target/ 폴더에 결과물이 생성됩니다.
4. Make
보통사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Make Linux/macOS는 보통 기본 설치되어 있습니다. Windows는 별도 설치(예: MSYS2, WSL)가 필요합니다.
make
생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.
에러 없이 끝나면 성공입니다. 생성된 실행 파일을 직접 실행해보세요.
// repository documentation
Was this content helpful?
(0 ratings)
