OpenDiloco
OpenDiLoCo: An Open-Source Framework for Globally Distributed Low-Communication Training
파일 탐색기
최종 버전 다운로드 (.zip)- check-style.yml
- push-docker-image.yml
- config_14m.json
- config_150m.json
- config_1b.json
- config_2m.json
- config_60m.json
- .gitignore
- __init__.py
- ckpt_utils.py
- fixed_key.pem
- hivemind_diloco.py
- init_weights.py
- run_training.sh
- train_diloco_torch.py
- train_fsdp.py
- utils.py
- pull-c4.sh
- pull-model.py
- config.json
- generation_config.json
- model.safetensors
- test_train.py
- test_diloco_hivemind.py
- .dockerignore
- .gitignore
- .gitmodules
- .pre-commit-config.yaml
- CONTRIBUTING.md
- Dockerfile
- LICENSE
- pyproject.toml
- README.md
- requirements-dev.txt
- requirements.txt
# 설치 가이드
1. 코드 내려받기
git clone https://github.com/PrimeIntellect-ai/OpenDiloco
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd OpenDiloco
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. 공식 설치 스크립트
쉬움 추천사전 준비물
- Python 3 pip 명령어를 쓰려면 Python이 필요합니다.
pip install .
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install --pre torchdata --index-url https://download.pytorch.org/whl/nightly/cpu
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install flash-attn>=2.5.8
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
3. Docker
쉬움사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker pull primeintellect/open_diloco:main
이 명령어를 터미널에 그대로 입력해 실행하세요.
docker run -d --name open-diloco --ipc=host --network=host --gpus=all primeintellect/open_diloco:main
빌드된 이미지를 실제 컨테이너로 실행합니다.
docker exec -it open-diloco bash
이 명령어를 터미널에 그대로 입력해 실행하세요.
터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
4. Python
쉬움사전 준비물
python -m venv .venv
파이썬 스크립트(또는 모듈)를 실행합니다.
pip install .
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install --pre torchdata --index-url https://download.pytorch.org/whl/nightly/cpu
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install flash-attn>=2.5.8
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
// repository documentation
Was this content helpful?
(0 ratings)