petals

(β˜… 10,505)

🌸 Run LLMs at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than offloading

파일 탐색기

μ΅œμ’… 버전 λ‹€μš΄λ‘œλ“œ (.zip)
  • .gitignore
  • Dockerfile
  • LICENSE
  • pyproject.toml
  • README.md
  • setup.cfg

# μ„€μΉ˜ κ°€μ΄λ“œ

1. μ½”λ“œ λ‚΄λ €λ°›κΈ°
git clone https://github.com/bigscience-workshop/petals

κΉƒν—ˆλΈŒμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œ 전체λ₯Ό λ‚΄ μ»΄ν“¨ν„°λ‘œ λ‚΄λ €λ°›μŠ΅λ‹ˆλ‹€.

cd petals

방금 내렀받은 ν”„λ‘œμ νŠΈ 폴더 μ•ˆμœΌλ‘œ μ΄λ™ν•©λ‹ˆλ‹€.

2. 곡식 μ„€μΉ˜ 슀크립트

쉬움 μΆ”μ²œ
사전 μ€€λΉ„λ¬Ό
  • Python 3 pip λͺ…λ Ήμ–΄λ₯Ό μ“°λ €λ©΄ Python이 ν•„μš”ν•©λ‹ˆλ‹€.
  • Homebrew macOS/Linux용 νŒ¨ν‚€μ§€ λ§€λ‹ˆμ €μž…λ‹ˆλ‹€.
pip install git+https://github.com/bigscience-workshop/petals

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

brew install python

Homebrew둜 이미 λΉŒλ“œλœ νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ λΉŒλ“œκ°€ ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

βœ… μ„€μΉ˜ ν›„ μƒˆ 터미널을 μ—΄κ³ , ν”„λ‘œκ·Έλž¨μ˜ 버전 확인 λͺ…λ Ή(예: --version)으둜 정상 μ„€μΉ˜λλŠ”μ§€ ν™•μΈν•˜μ„Έμš”.

이 레포의 README에 적힌 μ‹€μ œ λͺ…λ Ήμ–΄λ₯Ό κ·ΈλŒ€λ‘œ κ°€μ Έμ™”μŠ΅λ‹ˆλ‹€.

3. Docker

쉬움
사전 μ€€λΉ„λ¬Ό
  • Git GitHubμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œλ₯Ό λ‚΄λ €λ°›μœΌλ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€.
  • Docker Desktop μ»¨ν…Œμ΄λ„ˆλ₯Ό λΉŒλ“œν•˜κ³  μ‹€ν–‰ν•˜λ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€. μ„€μΉ˜ ν›„ μ‹€ν–‰ν•΄μ„œ λ°±κ·ΈλΌμš΄λ“œμ— μΌœλ‘μ„Έμš”.
sudo docker run -p 31330:31330 --ipc host --gpus all --volume petals-cache:/cache --rm \

λΉŒλ“œλœ 이미지λ₯Ό μ‹€μ œ μ»¨ν…Œμ΄λ„ˆλ‘œ μ‹€ν–‰ν•©λ‹ˆλ‹€.

βœ… 터미널에 docker compose ps λ₯Ό μž…λ ₯ν•΄ μ»¨ν…Œμ΄λ„ˆλ“€μ΄ Up μƒνƒœμΈμ§€ ν™•μΈν•˜μ„Έμš”. README에 포트 λ²ˆν˜Έκ°€ μ ν˜€μžˆλ‹€λ©΄ λΈŒλΌμš°μ €μ—μ„œ http://localhost:포트번호 둜 μ ‘μ†ν•΄λ³΄μ„Έμš”.

이 레포의 README에 적힌 μ‹€μ œ λͺ…λ Ήμ–΄λ₯Ό κ·ΈλŒ€λ‘œ κ°€μ Έμ™”μŠ΅λ‹ˆλ‹€.

4. Python

쉬움
사전 μ€€λΉ„λ¬Ό
  • Git GitHubμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œλ₯Ό λ‚΄λ €λ°›μœΌλ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€.
  • Python 3 μ„€μΉ˜ μ‹œ 'Add Python to PATH' μ˜΅μ…˜μ„ κΌ­ μ²΄ν¬ν•˜μ„Έμš” (Windows).
pip install git+https://github.com/bigscience-workshop/petals

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

python -m petals.cli.run_server meta-llama/Meta-Llama-3.1-405B-Instruct

파이썬 슀크립트(λ˜λŠ” λͺ¨λ“ˆ)λ₯Ό μ‹€ν–‰ν•©λ‹ˆλ‹€.

python -m petals.cli.run_server --port 31330 meta-llama/Meta-Llama-3.1-405B-Instruct

파이썬 슀크립트(λ˜λŠ” λͺ¨λ“ˆ)λ₯Ό μ‹€ν–‰ν•©λ‹ˆλ‹€.

python3 -m pip install git+https://github.com/bigscience-workshop/petals

requirements.txt 등에 λͺ…μ‹œλœ 파이썬 라이브러리λ₯Ό μ„€μΉ˜ν•©λ‹ˆλ‹€.

python3 -m petals.cli.run_server meta-llama/Meta-Llama-3.1-405B-Instruct

파이썬 슀크립트(λ˜λŠ” λͺ¨λ“ˆ)λ₯Ό μ‹€ν–‰ν•©λ‹ˆλ‹€.

βœ… μ—λŸ¬ λ©”μ‹œμ§€ 없이 μ‹€ν–‰λ˜κ³  터미널에 μ•ˆλ‚΄ 문ꡬ가 좜λ ₯되면 μ •μƒμž…λ‹ˆλ‹€.

이 레포의 README에 적힌 μ‹€μ œ λͺ…λ Ήμ–΄λ₯Ό κ·ΈλŒ€λ‘œ κ°€μ Έμ™”μŠ΅λ‹ˆλ‹€.

였늘의 μΆ”μ²œ ν”„λ‘œμ νŠΈ

FreeDomain β˜… 193,649

DigitalPlat FreeDomain: Free Domain For Everyone

Markdown
tabby β˜… 73,948

더 ν˜„λŒ€μ μΈ μ‹œλŒ€λ₯Ό μœ„ν•œ 터미널

TypeScript
daytona β˜… 71,995

DaytonaλŠ” AIκ°€ μƒμ„±ν•œ μ½”λ“œλ₯Ό μ‹€ν–‰ν•˜κΈ° μœ„ν•œ μ•ˆμ „ν•˜κ³  ν™•μž₯ κ°€λŠ₯ν•œ μΈν”„λΌμž…λ‹ˆλ‹€.
crawl4ai β˜… 78,364

πŸš€πŸ€– Crawl4AI: μ˜€ν”ˆμ†ŒμŠ€ LLM μΉœν™”μ  μ›Ή 크둀러 & 슀크레이퍼. 망섀이지 말고 μ°Έμ—¬ν•˜μ„Έμš”: https://discord.gg/jP8KfhDhyN

Python
godot β˜… 115,749

Godot Engine – λ©€ν‹°ν”Œλž«νΌ 2D 및 3D κ²Œμž„ 엔진

C++
clean-code-javascript β˜… 94,761

JavaScript ν™˜κ²½μ— 맞게 적용된 Clean Code κ°œλ…λ“€

JavaScript
// repository documentation