bulker

(★ 224)

Service for bulk-loading data to databases with automatic schema management (Redshift, Snowflake, BigQuery, ClickHouse, Postgres, MySQL)

파일 탐색기

최종 버전 다운로드 (.zip)

- - bulker-summary.excalidraw.png
  - stream-batch.excalidraw.png
- - data_types.md
  - http.md
- db-feature-matrix.md
- http-api.md
- server-config.md
- - tag-release.yml
  - test-build-image.yml
- app.go
- config.go
- failover_reprocessor.go
- go.mod
- go.sum
- k8s_client.go
- kafka.go
- main.go
- reprocessing_db.go
- reprocessing_db_schema.go
- REPROCESSING_K8S.md
- router.go
- router_reprocessing_handler.go
- types.go
- - abstract_batch_consumer.go
  - abstract_consumer.go
  - app.go
  - app_config.go
  - batch_consumer.go
  - configuration_source.go
  - cron.go
  - fast_store.go
  - http_configuration_source.go
  - integration_test.go
  - load_test.go
  - metrics_server.go
  - multi_configuration_source.go
  - postgres_configuration_source.go
  - producer.go
  - redis_configuration_source.go
  - repository.go
  - retry_consumer.go
  - router.go
  - stream_consumer.go
  - topic_manager.go
  - topic_manager_test.go
- - metrics.go
- default.pgo
- go.mod
- go.sum
- main.go
- - file.go
  - flattener.go
  - google_cloud_storage.go
  - s3.go
- - avro.go
  - converter.go
  - datatype.go
  - datatype_test.go
  - error.go
  - marshaller.go
  - object.go
  - schema.go
  - sqltype.go
- bulker.go
- bulker_state_test.go
- go.mod
- go.sum
- loader.go
- options.go
- app.go
- config.go
- go.mod
- main.go
- router.go
- - cmdparser.go
  - doc.go
  - go.mod
  - inferschema.go
  - LICENCE
  - protocol.go
  - README.md
  - safewriter.go
  - source.go
  - sourceRunner.go
  - trackers.go
- - firebase.go
  - firebase_test.go
  - go.mod
  - go.sum
  - main.go
- firebase.Dockerfile
- firebasebuild.sh
- - redis.go
- ch_events_log.go
- events_log.go
- events_log_config.go
- events_log_test.go
- go.mod
- go.sum
- metrics.go
- redis_events_log.go
- app.go
- backup_logger.go
- config.go
- consumer_monitor.go
- default.pgo
- destination_types.go
- filters.go
- go.mod
- go.sum
- main.go
- metrics.go
- metrics_server.go
- repository.go
- router.go
- router_batch_handler.go
- router_batch_handler_test.go
- router_classic_handler.go
- router_ingest_handler.go
- router_pixel_handler.go
- router_script_handler.go
- router_segment_settings_handler.go
- script_repository.go
- types.go
- app.go
- config.go
- go.mod
- go.sum
- k8s.go
- main.go
- manager.go
- router.go
- - abstract_repository.go
  - app_base.go
  - http_repository.go
  - router_base.go
  - router_base_test.go
  - service_base.go
- - interface.go
- - types.go
- - adapter.go
  - any.go
  - any_array.go
  - any_bool.go
  - any_float.go
  - any_int32.go
  - any_int64.go
  - any_invalid.go
  - any_nil.go
  - any_number.go
  - any_object.go
  - any_str.go
  - any_uint32.go
  - any_uint64.go
  - config.go
  - example_test.go
  - iter.go
  - iter_array.go
  - iter_float.go
  - iter_int.go
  - iter_object.go
  - iter_skip.go
  - iter_skip_sloppy.go
  - iter_skip_sloppy_test.go
  - iter_skip_strict.go
  - iter_str.go
  - jsoniter.go
  - LICENSE
  - pool.go
  - README.md
  - reflect.go
  - reflect_array.go
  - reflect_dynamic.go
  - reflect_extension.go
  - reflect_json_number.go
  - reflect_json_raw_message.go
  - reflect_map.go
  - reflect_marshaler.go
  - reflect_native.go
  - reflect_optional.go
  - reflect_slice.go
  - reflect_struct_decoder.go
  - reflect_struct_encoder.go
  - stream.go
  - stream_float.go
  - stream_int.go
  - stream_str.go
  - stream_test.go
- - adapter.go
  - any.go
  - any_array.go
  - any_bool.go
  - any_float.go
  - any_int32.go
  - any_int64.go
  - any_invalid.go
  - any_nil.go
  - any_number.go
  - any_object.go
  - any_str.go
  - any_uint32.go
  - any_uint64.go
  - config.go
  - example_test.go
  - iter.go
  - iter_array.go
  - iter_float.go
  - iter_int.go
  - iter_object.go
  - iter_skip.go
  - iter_skip_sloppy.go
  - iter_skip_sloppy_test.go
  - iter_skip_strict.go
  - iter_str.go
  - json_test.go
  - jsoniter.go
  - LICENSE
  - list.go
  - orderedmap.go
  - orderedset.go
  - pool.go
  - README.md
  - reflect.go
  - reflect_array.go
  - reflect_dynamic.go
  - reflect_extension.go
  - reflect_json_number.go
  - reflect_json_raw_message.go
  - reflect_map.go
  - reflect_marshaler.go
  - reflect_native.go
  - reflect_optional.go
  - reflect_orderedmap.go
  - reflect_slice.go
  - reflect_struct_decoder.go
  - reflect_struct_encoder.go
  - stream.go
  - stream_float.go
  - stream_int.go
  - stream_str.go
  - stream_test.go
- - types.go
- - dual.go
  - global_logger.go
  - level.go
  - object_logger.go
  - proxy.go
  - query_logger.go
  - rolling_writer.go
  - string_writer.go
  - task_logger.go
  - utils.go
  - writer_mock.go
- - pgpool.go
- - safego.go
  - safego_test.go
- - format.go
  - timestamp.go
  - timestamp_test.go
- - json.go
  - json_test.go
  - LICENSE
  - README.md
  - set.go
- - arrays.go
  - bool.go
  - bytes.go
  - bytes_test.go
  - cache.go
  - crypto.go
  - crypto_test.go
  - errors.go
  - hash.go
  - maps.go
  - net.go
  - numbers.go
  - objects.go
  - sets.go
  - strings.go
  - time.go
- - uuid.go
- go.mod
- go.sum
- main.go
- failover_config.go
- failover_logger.go
- failover_logger_test.go
- go.mod
- go.sum
- kafka_config.go
- metrics.go
- producer.go
- utils.go
- go.mod
- go.sum
- main.go
- README.md
- repository.go
- app.go
- config.go
- db_schema.go
- go.mod
- go.sum
- job_runner.go
- k8s.go
- main.go
- README.md
- router.go
- task.go
- task_manager.go
- - db.go
- go.mod
- go.sum
- main.go
- read.go
- README.md
- spec_catalog.go
- types.go
.dockerignore
.gitignore
all.Dockerfile
allbuild.sh
bulker.Dockerfile
bulkerbuild.sh
CONTRIBUTING.md
go.work
go.work.sum
GOWORK.md
ingest.Dockerfile
ingestbuild.sh
LICENSE
README.md
release.sh
reprocessing-worker-build.sh
reprocessing-worker.Dockerfile
sidecar.Dockerfile
sidecarbuild.sh
syncctl.Dockerfile
syncctlbuild.sh
TODO.md

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/jitsucom/bulker

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd bulker

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Docker

쉬움 추천

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.

⚠️ 이 프로젝트는 규모가 큰 저장소라, 이 방법이 실제 핵심 제품이 아니라 내부 하위 패키지를 가리키는 것일 수 있습니다. README 전체를 함께 확인해보세요.

docker compose -f bulkerapp/app/testcontainers/kafka/docker-compose.yml up -d --build

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

3. Go

보통

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Go Go 언어 컴파일러 및 도구 모음입니다.

cd admin

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

go build ./...

Go 프로그램을 컴파일해 실행 파일을 만듭니다.

go run .

따로 빌드하지 않고 바로 Go 프로그램을 실행합니다.

✅ 빌드가 에러 없이 끝나면 성공입니다. go run . 을 썼다면 터미널 출력을 확인하세요.

bulker

파일 탐색기

# 설치 가이드

2. Docker

3. Go

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

bulker

파일 탐색기

# 설치 가이드

2. Docker

3. Go

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README