petals

(★ 10,505)

🌸 LLMs을 BitTorrent 방식으로 집에서 실행하세요. 오프로딩보다 최대 10배 빠른 파인튜닝과 추론

파일 탐색기

최종 버전 다운로드 (.zip)

- - check-style.yaml
  - push-docker-image.yaml
  - run-tests.yaml
- benchmark_forward.py
- benchmark_inference.py
- benchmark_training.py
- prompt-tuning-personachat.ipynb
- prompt-tuning-sst2.ipynb
- - __init__.py
  - constants.py
  - data_structures.py
  - dht_utils.py
- bootstrap.id
- conftest.py
- server2.id
- test_aux_functions.py
- test_block_exact_match.py
- test_cache.py
- test_chained_calls.py
- test_dtype.py
- test_full_model.py
- test_optimized_layers.py
- test_peft.py
- test_priority_pool.py
- test_remote_sequential.py
- test_sequence_manager.py
- test_server_stats.py
- test_speculative_generation.py
- test_tensor_parallel.py
- test_utils.py
.gitignore
Dockerfile
LICENSE
pyproject.toml
README.md
setup.cfg

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/bigscience-workshop/petals

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd petals

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천

사전 준비물

Python 3 pip 명령어를 쓰려면 Python이 필요합니다.
Homebrew macOS/Linux용 패키지 매니저입니다.

pip install git+https://github.com/bigscience-workshop/petals

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

brew install python

Homebrew로 이미 빌드된 패키지를 바로 설치합니다. 소스 빌드가 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Docker

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.

sudo docker run -p 31330:31330 --ipc host --gpus all --volume petals-cache:/cache --rm \

빌드된 이미지를 실제 컨테이너로 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

4. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install git+https://github.com/bigscience-workshop/petals

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

python -m petals.cli.run_server meta-llama/Meta-Llama-3.1-405B-Instruct

파이썬 스크립트(또는 모듈)를 실행합니다.

python -m petals.cli.run_server --port 31330 meta-llama/Meta-Llama-3.1-405B-Instruct

파이썬 스크립트(또는 모듈)를 실행합니다.

python3 -m pip install git+https://github.com/bigscience-workshop/petals

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

python3 -m petals.cli.run_server meta-llama/Meta-Llama-3.1-405B-Instruct

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

petals

파일 탐색기

# 설치 가이드

2. 공식 설치 스크립트

3. Docker

4. Python

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

petals

파일 탐색기

# 설치 가이드

2. 공식 설치 스크립트

3. Docker

4. Python

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README