raydp
RayDP provides simple APIs for running Spark on Ray and integrating Spark with AI libraries.
파일 탐색기
최종 버전 다운로드 (.zip)- bug_report.md
- config.yml
- feature_request.md
- pypi.yml
- pypi_release.yml
- ray_nightly_test.yml
- raydp.yml
- pull_request_template.md
- raydp-submit
- Agent.java
- StaticLoggerBinder.java
- pom.xml
- ExternalShuffleServiceUtils.java
- RayAppMasterUtils.java
- RayDPUtils.java
- RayExecutorUtils.java
- SparkOnRayConfigs.java
- org.apache.spark.scheduler.ExternalClusterManager
- ApplicationDescription.scala
- ApplicationInfo.scala
- ApplicationState.scala
- AppMasterEntryPoint.scala
- AppMasterJavaBridge.scala
- Messages.scala
- RayAppMaster.scala
- RayDPDriverAgent.scala
- RayExternalShuffleService.scala
- SparkSubmit.scala
- RayDPExecutor.scala
- RayDatasetRDD.scala
- RayObjectRefRDD.scala
- RayClusterManager.scala
- RayCoarseGrainedSchedulerBackend.scala
- ObjectStoreReader.scala
- ObjectStoreWriter.scala
- DependencyUtils.scala
- RayDPException.scala
- TestRayCoarseGrainedSchedulerBackend.java
- pom.xml
- CommandLineUtilsBridge.scala
- SparkShimLoader.scala
- SparkShimProvider.scala
- SparkShims.scala
- RayDPExecutorBackendFactory.scala
- pom.xml
- com.intel.raydp.shims.SparkShimProvider
- SparkShimProvider.scala
- SparkShims.scala
- SparkSubmitUtils.scala
- RayDPSpark322ExecutorBackendFactory.scala
- SparkSqlUtils.scala
- TaskContextUtils.scala
- pom.xml
- com.intel.raydp.shims.SparkShimProvider
- SparkShimProvider.scala
- SparkShims.scala
- SparkSubmitUtils.scala
- RayCoarseGrainedExecutorBackend.scala
- RayDPSpark330ExecutorBackendFactory.scala
- SparkSqlUtils.scala
- TaskContextUtils.scala
- pom.xml
- com.intel.raydp.shims.SparkShimProvider
- SparkShimProvider.scala
- SparkShims.scala
- SparkSubmitUtils.scala
- RayCoarseGrainedExecutorBackend.scala
- RayDPSpark340ExecutorBackendFactory.scala
- SparkSqlUtils.scala
- TaskContextUtils.scala
- pom.xml
- com.intel.raydp.shims.SparkShimProvider
- SparkShimProvider.scala
- SparkShims.scala
- SparkSubmitUtils.scala
- RayCoarseGrainedExecutorBackend.scala
- RayDPSpark350ExecutorBackendFactory.scala
- SparkSqlUtils.scala
- TaskContextUtils.scala
- pom.xml
- com.intel.raydp.shims.SparkShimProvider
- SparkShimProvider.scala
- SparkShims.scala
- SparkSubmitUtils.scala
- RayCoarseGrainedExecutorBackend.scala
- RayDPSpark400ExecutorBackendFactory.scala
- SparkSqlUtils.scala
- TaskContextUtils.scala
- pom.xml
- com.intel.raydp.shims.SparkShimProvider
- SparkShimProvider.scala
- SparkShims.scala
- SparkSubmitUtils.scala
- RayCoarseGrainedExecutorBackend.scala
- RayDPSpark410ExecutorBackendFactory.scala
- SparkSqlUtils.scala
- TaskContextUtils.scala
- pom.xml
- pom.xml
- javastyle-suppressions.xml
- javastyle.xml
- pom.xml
- scalastyle.xml
- mpi.md
- spark_on_ray.md
- build-docker.sh
- Dockerfile
- legacy.yaml
- README.md
- data_process.py
- fake_nyctaxi.csv
- horovod_nyctaxi.py
- pytorch_dlrm.ipynb
- pytorch_nyctaxi.py
- random_nyctaxi.py
- raydp-submit.py
- raytrain_nyctaxi.py
- README.md
- tensorflow_nyctaxi.py
- tensorflow_titanic.ipynb
- test_pyfile.py
- test_pyfiles_main.py
- test_raydp_submit_pyfiles.py
- xgboost_ray_nyctaxi.py
- __init__.py
- network.proto
- network_pb2.py
- network_pb2_grpc.py
- __init__.py
- constants.py
- mpi_job.py
- mpi_worker.py
- utils.py
- __init__.py
- dataset.py
- interfaces.py
- parallel_iterator_worker.py
- ray_cluster.py
- ray_cluster_master.py
- conftest.py
- test_from_spark.py
- test_mpi.py
- test_read_parquet.py
- test_spark_cluster.py
- test_spark_master_memory.py
- test_spark_utils.py
- test_tf.py
- test_torch.py
- test_torch_sequential.py
- test_versions.py
- test_xgboost.py
- __init__.py
- estimator.py
- __init__.py
- config.py
- estimator.py
- torch_metrics.py
- torch_ml_dataset.py
- __init__.py
- estimator.py
- __init__.py
- context.py
- estimator.py
- ray_cluster_resources.py
- services.py
- utils.py
- versions.py
- MANIFEST.in
- pylintrc
- setup.py
- healthcare-dataset-stroke-data.csv
- pytorch_example.ipynb
- raytrain_example.ipynb
- .gitignore
- build.sh
- CONTRIBUTING.md
- LICENSE
- README.md
- SECURITY.md
# 설치 가이드
1. 코드 내려받기
git clone https://github.com/ray-project/raydp
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd raydp
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. 공식 설치 스크립트
쉬움 추천사전 준비물
- Python 3 pip 명령어를 쓰려면 Python이 필요합니다.
pip install raydp
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install --pre raydp
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install dist/raydp*.whl
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
3. Docker
쉬움사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker build -f docker/Dockerfile -t raydp .
Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.
docker run -p 8080:80 raydp
빌드된 이미지를 실제 컨테이너로 실행합니다.
터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.
4. Maven (Java)
보통사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- JDK (Java) Java 프로젝트를 빌드/실행하려면 필요합니다.
- Maven mvn 명령어를 쓰기 위한 빌드 도구입니다.
cd core/agent
이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.
mvn clean install
Maven으로 의존성 설치와 빌드를 진행합니다.
BUILD SUCCESS 메시지가 뜨면 성공입니다. target/ 폴더에 결과물이 생성됩니다.
5. Python
쉬움사전 준비물
pip install raydp
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install --pre raydp
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install dist/raydp*.whl
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
// repository documentation
Was this content helpful?
(0 ratings)