KO | EN

GitLite

Minimalist Open Source Repository Search Engine

gitlite — search

#typescript #ai-agents #developer-tools #cli #codex #claude-code #react #mcp #open-source #deepseek-harness #dsh-plugin #ai

exo

★ 46,854 Open GitHub ↗

프론티어 AI를 로컬에서 실행하세요.

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

![exo logo](/docs/imgs/exo-logo-transparent.png)
exo: 로컬에서 최첨단 AI를 실행하세요. [exo labs](https://x.com/exolabs)에서 유지보수합니다.

[![Discord](https://img.shields.io/badge/Discord-Join%20Server-5865F2?logo=discord&logoColor=white)](https://discord.gg/TJ4P57arEm)
[![X](https://img.shields.io/twitter/follow/exolabs?style=social)](https://x.com/exolabs)
[![License: Apache-2.0](https://img.shields.io/badge/License-Apache2.0-blue.svg)](https://www.apache.org/licenses/LICENSE-2.0.html)

---
exo는 사용자의 모든 디바이스를 연결하여 AI 클러스터를 구축합니다. exo는 단일 디바이스에 맞지 않는 더 큰 모델을 실행할 수 있게 해줄 뿐만 아니라, [RDMA over Thunderbolt 지원(Day-0)](https://x.com/exolabs/status/2001817749744476256?s=20)을 통해 디바이스를 추가할수록 모델 실행 속도가 빨라집니다.
## 주요 기능
- \*\*자동 디바이스 검색\*\*: exo를 실행 중인 디바이스들은 수동 설정 없이 서로를 자동으로 검색합니다.
- \*\*RDMA over Thunderbolt\*\*: exo는 [RDMA over Thunderbolt 5 지원(Day-0)](https://x.com/exolabs/status/2001817749744476256?s=20)을 기본 제공하여 디바이스 간 지연 시간을 99%까지 줄여줍니다.
- \*\*토폴로지 인식 자동 병렬화\*\*: exo는 디바이스 토폴로지의 실시간 뷰를 바탕으로 사용 가능한 모든 디바이스에 모델을 가장 효율적으로 분할하는 방법을 파악합니다. 각 링크 간의 디바이스 리소스와 네트워크 지연 시간/대역폭을 고려합니다.
- \*\*텐서 병렬성\*\*: exo는 모델 샤딩을 지원하며, 2대의 디바이스에서 최대 1.8배, 4대의 디바이스에서 최대 3.2배의 속도 향상을 제공합니다.
- \*\*MLX 지원\*\*: exo는 [MLX](https://github.com/ml-explore/mlx)를 추론 백엔드로 사용하며, 분산 통신을 위해 [MLX distributed](https://ml-explore.github.io/mlx/build/html/usage/distributed.html)를 사용합니다.
- \*\*다중 API 호환성\*\*: OpenAI Chat Completions API, Claude Messages API, OpenAI Responses API, Ollama API와 호환되므로 기존 도구와 클라이언트를 그대로 사용할 수 있습니다.
- \*\*커스텀 모델 지원\*\*: HuggingFace 허브에서 커스텀 모델을 로드하여 사용 가능한 모델의 범위를 확장할 수 있습니다.
## 대시보드
exo에는 클러스터 관리 및 모델과의 채팅을 위한 내장 대시보드가 포함되어 있습니다.

![exo dashboard - cluster view showing 4 x M3 Ultra Mac Studio with DeepSeek v3.1 and Kimi-K2-Thinking loaded](docs/imgs/dashboard-cluster-view.png)

*DeepSeek v3.1(8비트) 및 Kimi-K2-Thinking(4비트)이 실행 중인 4 × 512GB M3 Ultra Mac Studio*

## 벤치마크
Tensor Parallel RDMA가 적용된 4 × M3 Ultra Mac Studio에서의 Qwen3-235B (8비트)
![Benchmark - Qwen3-235B (8-bit) on 4 × M3 Ultra Mac Studio with Tensor Parallel RDMA](docs/benchmarks/jeffgeerling/mac-studio-cluster-ai-full-1-qwen3-235b.jpeg)

**출처:** [Jeff Geerling: 15 TB VRAM on Mac Studio – RDMA over Thunderbolt 5](https://www.jeffgeerling.com/blog/2025/15-tb-vram-on-mac-studio-rdma-over-thunderbolt-5)

Tensor Parallel RDMA가 적용된 4 × M3 Ultra Mac Studio에서의 DeepSeek v3.1 671B (8비트)
![Benchmark - DeepSeek v3.1 671B (8-bit) on 4 × M3 Ultra Mac Studio with Tensor Parallel RDMA](docs/benchmarks/jeffgeerling/mac-studio-cluster-ai-full-2-deepseek-3.1-671b.jpeg)

**출처:** [Jeff Geerling: 15 TB VRAM on Mac Studio – RDMA over Thunderbolt 5](https://www.jeffgeerling.com/blog/2025/15-tb-vram-on-mac-studio-rdma-over-thunderbolt-5)

Tensor Parallel RDMA가 적용된 4 × M3 Ultra Mac Studio에서의 Kimi K2 Thinking (네이티브 4비트)
![Benchmark - Kimi K2 Thinking (native 4-bit) on 4 × M3 Ultra Mac Studio with Tensor Parallel RDMA](docs/benchmarks/jeffgeerling/mac-studio-cluster-ai-full-3-kimi-k2-thinking.jpeg)

**출처:** [Jeff Geerling: 15 TB VRAM on Mac Studio – RDMA over Thunderbolt 5](https://www.jeffgeerling.com/blog/2025/15-tb-vram-on-mac-studio-rdma-over-thunderbolt-5)

---
## 빠른 시작
exo를 실행 중인 디바이스들은 수동 설정 없이 서로를 자동으로 검색합니다. 각 디바이스는 클러스터와 상호작용하기 위한 API와 대시보드를 제공합니다 (`http://localhost:52415`에서 실행됨).
exo를 실행하는 방법에는 두 가지가 있습니다:
### 소스에서 실행 (macOS)
[Nix](https://nixos.org/)가 설치되어 있는 경우, 아래 단계의 대부분을 건너뛰고 exo를 직접 실행할 수 있습니다:
```bash
nix run .#exo
```
\*\*참고:\*\* Cachix 바이너리 캐시를 수락하고 (Xcode Metal ToolChain을 우회하기 위해), `/etc/nix/nix.conf`에 다음 내용을 추가하세요:
```
trusted-users = root (or your username)
experimental-features = nix-command flakes
```
그런 다음 Nix 디먼을 재시작합니다: `sudo launchctl kickstart -k system/org.nixos.nix-daemon`
\*\*사전 요구 사항:\*\*
- [Xcode](https://developer.apple.com/xcode/) (MLX 컴파일에 필요한 Metal ToolChain 제공)
- [brew](https://github.com/Homebrew/brew) (macOS용 간편 패키지 관리)
```bash
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
```
- [uv](https://github.com/astral-sh/uv) (Python 의존성 관리용)
- [node](https://github.com/nodejs/node) (대시보드 빌드용)
```bash
brew install uv node
```
- [rust](https://github.com/rust-lang/rustup) (Rust 바인딩 빌드용, 현재는 nightly 버전 필요)
```bash
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
rustup toolchain install nightly
```
- [macmon](https://github.com/vladkens/macmon) (Apple Silicon 하드웨어 모니터링용)
Homebrew의 `macmon` 대신 이 리포지토리에서 사용하는 고정된 포크 리비전을 설치하세요.
Homebrew의 `macmon 0.6.1`은 여전히 Apple M5에서 충돌을 일으킵니다.
```bash
cargo install --git https://github.com/vladkens/macmon \
--rev a1cd06b6cc0d5e61db24fd8832e74cd992097a7d \
macmon \
--force
```
리포지토리를 복제하고, 대시보드를 빌드한 후 exo를 실행합니다:
```bash
# Clone exo
git clone https://github.com/exo-explore/exo
# Build dashboard
cd exo/dashboard && npm install && npm run build && cd ..
# Run exo
uv run exo
```
이 명령어는 http://localhost:52415/에서 exo 대시보드와 API를 시작합니다.
\*MacOS >=26.2에서 이 기능을 활성화하려면 RDMA 관련 섹션을 참고하세요!\*
### 소스에서 실행 (Linux)
\*\*사전 요구 사항:\*\*
- [uv](https://github.com/astral-sh/uv) (Python 의존성 관리용)
- [node](https://github.com/nodejs/node) (대시보드 빌드용) - 버전 18 이상
- [rust](https://github.com/rust-lang/rustup) (Rust 바인딩 빌드용, 현재는 nightly 버전 필요)
\*\*설치 방법:\*\*
\*\*옵션 1: 시스템 패키지 매니저 사용 (Ubuntu/Debian 예시):\*\*
```bash
# Install Node.js and npm
sudo apt update
sudo apt install nodejs npm
# Install uv
curl -LsSf https://astral.sh/uv/install.sh | sh
# Install Rust (using rustup)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
rustup toolchain install nightly
```
\*\*옵션 2: Linux에서 Homebrew 사용 (선호하는 경우):\*\*
```bash
# Install Homebrew on Linux
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
# Install dependencies
brew install uv node
# Install Rust (using rustup)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
rustup toolchain install nightly
```
\*\*참고:\*\* `macmon` 패키지는 macOS 전용이며 Linux에서는 필요하지 않습니다.
리포지토리를 복제하고, 대시보드를 빌드한 후 exo를 실행합니다:
```bash
# Clone exo
git clone https://github.com/exo-explore/exo
# Build dashboard
cd exo/dashboard && npm install && npm run build && cd ..
# Run exo
uv run exo
```
이 명령어는 http://localhost:52415/에서 exo 대시보드와 API를 시작합니다.
\*\*Linux 사용자 참고 사항:\*\* 현재 Linux에서 exo는 CPU로 실행됩니다. Linux 플랫폼용 GPU 지원은 개발 중에 있습니다. 특정 Linux 하드웨어에 대한 지원이 필요하다면 [기존 기능 요청을 검색](https://github.com/exo-explore/exo/issues)하거나새로 작성해 주세요.
\*\*설정 옵션:\*\*
- `--no-worker`: 워커 컴포넌트 없이 exo를 실행합니다. 네트워킹과 오케스트레이션을 처리하지만 추론 작업은 실행하지 않는 코디네이터 전용 노드에 유용합니다. GPU 리소스는 부족하지만 네트워크 연결이 좋은 머신에 도움이 됩니다.
```bash
uv run exo --no-worker
```
- `--legacy-daemon`: 이중 포크 데몬화(double-fork daemonization)를 사용하여 레거시 SysV 스타일 백그라운드 데몬으로 exo를 실행합니다. 이는 레거시 init 스크립트용이며, systemd 및 launchd는 이 플래그 없이 포그라운드에서 exo를 실행해야 합니다.
```bash
uv run exo --legacy-daemon
```
\*\*파일 위치 (Linux):\*\*
exo는 Linux에서 [XDG Base Directory Specification](https://specifications.freedesktop.org/basedir-spec/basedir-spec-latest.html)을 따릅니다:
- \*\*설정 파일\*\*: `~/.config/exo/` (또는 `$XDG\_CONFIG\_HOME/exo/`)
- \*\*데이터 파일\*\*: `~/.local/share/exo/` (또는 `$XDG\_DATA\_HOME/exo/`)
- \*\*캐시 파일\*\*: `~/.cache/exo/` (또는 `$XDG\_CACHE\_HOME/exo/`)
- \*\*로그 파일\*\*: `~/.cache/exo/exo\_log/` (자동 로그 로테이션 포함)
- \*\*커스텀 모델 카드\*\*: `~/.local/share/exo/custom\_model\_cards/`
해당 XDG 환경 변수를 설정하여 이러한 위치를 재정의할 수 있습니다.
### macOS 앱
exo는 Mac에서 백그라운드로 실행되는 macOS 앱을 제공합니다.
![exo macOS App - running on a MacBook](docs/imgs/macos-app-one-macbook.png)
macOS 앱을 사용하려면 macOS Tahoe 26.2 이상이 필요합니다.
최신 빌드는 여기에서 다운로드하세요: [EXO-latest.dmg](https://assets.exolabs.net/EXO-latest.dmg).
Homebrew를 사용하여 최신 빌드를 설치할 수도 있습니다:
```bash
brew install --cask exo
```
앱이 시스템 설정 수정 및 새로운 네트워크 프로필 설치에 대한 권한을 요청합니다. 이 부분은 지속적으로 개선되고 있습니다.
\*\*클러스터 격리를 위한 커스텀 네임스페이스:\*\*
macOS 앱에는 동일 네트워크상의 다른 exo 클러스터로부터 내 클러스터를 격리할 수 있는 커스텀 네임스페이스 기능이 포함되어 있습니다. 이는 `EXO\_LIBP2P\_NAMESPACE` 설정을 통해 구성됩니다:
- \*\*사용 사례\*\*:
- 동일 네트워크상에서 여러 개의 개별 exo 클러스터 실행
- 개발/테스트 클러스터를 프로덕션 클러스터로부터 격리
- 실수로 클러스터에 합류하는 것 방지
- \*\*설정\*\*: 앱의 고급 설정에서 이 설정에 액세스할 수 있습니다 (또는 소스에서 실행할 때 `EXO\_LIBP2P\_NAMESPACE` 환경 변수 설정).
디버깅을 위해 네임스페이스는 시작 시 로그에 기록됩니다.
#### macOS 앱 제거
권장되는 제거 방법은 앱 내에서 진행하는 것입니다: 메뉴 바 아이콘 클릭 → 고급(Advanced) → 제거(Uninstall). 이렇게 하면 모든 시스템 컴포넌트가 깔끔하게 제거됩니다.
이미 앱을 삭제한 경우, 독립형 제거 스크립트를 실행할 수 있습니다:
```bash
sudo ./app/EXO/uninstall-exo.sh
```
이 스크립트는 다음 항목들을 제거합니다:
- 네트워크 설정 LaunchDaemon
- 네트워크 설정 스크립트
- 로그 파일
- "exo" 네트워크 위치
\*\*참고:\*\* 시스템 설정 → 일반 → 로그인 항목에서 EXO를 수동으로 제거해야 합니다.
---
### macOS에서 RDMA 활성화하기
RDMA는 macOS 26.2에 추가된 새로운 기능입니다. Thunderbolt 5를 지원하는 모든 Mac(M4 Pro Mac Mini, M4 Max Mac Studio, M4 Max MacBook Pro, M3 Ultra Mac Studio)에서 작동합니다.
즉각적인 문제 해결을 위해 주의사항을 참고하시기 바랍니다.
macOS에서 RDMA를 활성화하려면 다음 단계를 따르세요:
1. Mac을 종료합니다.
2. 부팅 메뉴가 나타날 때까지 전원 버튼을 10초 동안 누릅니다.
3. 복구 모드에 진입하기 위해 "옵션(Options)"을 선택합니다.
4. 복구 UI가 나타나면 유틸리티 메뉴에서 터미널을 엽니다.
5. 터미널에 다음을 입력합니다:
```
rdma\_ctl enable
```
그리고 Enter 키를 누릅니다.
6. Mac을 재부팅합니다.
그 후에는 macOS에서 RDMA가 활성화되며 나머지는 exo가 알아서 처리합니다.
\*\*중요한 주의사항\*\*
1. RDMA 클러스터의 일원이 되려는 디바이스는 클러스터 내의 다른 모든 디바이스와 연결되어 있어야 합니다.
2. 케이블은 TB5를 지원해야 합니다.
3. Mac Studio에서는 이더넷 포트 옆에 있는 Thunderbolt 5 포트를 사용할 수 없습니다.
4. 소스에서 실행하는 경우 `tmp/set\_rdma\_network\_config.sh`에 있는 스크립트를 사용해 주세요. 이 스크립트는 Thunderbolt 브리지를 비활성화하고 각 RDMA 포트에 dhcp를 설정합니다.
5. macOS 버 버전이 다를 경우 RDMA 포트가 서로를 감지하지 못할 수 있습니다. 모든 디바이스의 OS 버전(베타 버전 번호까지 포함)이 정확히 일치하는지 확인하세요.
---
## 환경 변수
exo는 설정을 위해 여러 환경 변수를 지원합니다:
| 변수명 | 설명 | 기본값 |
|----------|-------------|---------|
| `EXO\_DEFAULT\_MODELS\_DIR` | 모델 다운로드 및 캐시를 위한 기본 디렉토리. 쓰기 가능한 디렉토리 목록 중 항상 첫 번째입니다. | `~/.local/share/exo/models` (Linux) 또는 `~/.exo/models` (macOS) |
| `EXO\_MODELS\_DIRS` | 모델 다운로드를 위한 콜론으로 구분된 추가 쓰기 가능 디렉토리. 기본값 다음 순서로 확인하며, 충분한 여유 공간이 있는 첫 번째 디렉토리가 사용됩니다. | 없음 |
| `EXO\_MODELS\_READ\_ONLY\_DIRS` | 미리 다운로드된 모델을 검색하기 위한 콜론으로 구분된 읽기 전용 디렉토리 (예: NFS 마운트, 공유 스토리지). 여기에 있는 모델은 삭제할 수 없습니다. | 없음 |
| `EXO\_OFFLINE` | 인터넷 연결 없이 실행 (로컬 모델만 사용) | `false` |
| `EXO\_ENABLE\_IMAGE\_MODELS` | 이미지 모델 지원 활성화 | `false` |
| `EXO\_LIBP2P\_NAMESPACE` | 클러스터 격리를 위한 커스텀 네임스페이스 | 없음 |
| `EXO\_FAST\_SYNCH` | MLX\_METAL\_FAST\_SYNCH 동작 제어 (JACCL 백엔드용) | Auto |
| `EXO\_TRACING\_ENABLED` | 성능 분석을 위한 분산 추적(tracing) 활성화 | `false` |
\*\*사용 예시:\*\*
```bash
# NFS 마운트의 미리 다운로드된 모델 사용 (읽기 전용)
EXO\_MODELS\_READ\_ONLY\_DIRS=/mnt/nfs/models:/opt/ai-models uv run exo
# 외장 SSD에 모델 다운로드 (공간이 부족하면 기본 디렉토리로 대체)
EXO\_MODELS\_DIRS=/Volumes/ExternalSSD/exo-models uv run exo
# 오프라인 모드로 실행
EXO\_OFFLINE=true uv run exo
# 이미지 모델 활성화
EXO\_ENABLE\_IMAGE\_MODELS=true uv run exo
# 클러스터 격리를 위한 커스텀 네임스페이스 사용
EXO\_LIBP2P\_NAMESPACE=my-dev-cluster uv run exo
```
---
### API 사용하기
exo는 기존 도구들과의 최대 호환성을 위해 여러 API 호환 인터페이스를 제공합니다:
- \*\*OpenAI Chat Completions API\*\* - OpenAI 클라이언트와 호환
- \*\*Claude Messages API\*\* - Anthropic의 Claude 포맷과 호환
- \*\*OpenAI Responses API\*\* - OpenAI의 Responses 포맷과 호환
- \*\*Ollama API\*\* - Ollama 및 OpenWebUI 같은 도구와 호환
API를 통해 exo와 상호작용하는 것을 선호한다면, 소형 모델(`mlx-community/Llama-3.2-1B-Instruct-4bit`) 인스턴스를 생성하고 채팅 완성(chat completions) 요청을 보낸 뒤 인스턴스를 삭제하는 예시는 다음과 같습니다.
---
\*\*1. 인스턴스 배치 미리보기\*\*
`/instance/previews` 엔드포인트는 모델에 대한 모든 유효한 배치(placement)를 미리 보여줍니다.
```bash
curl "http://localhost:52415/instance/previews?model\_id=llama-3.2-1b"
```
응답 예시:
```json
{
"previews": [
{
"model\_id": "mlx-community/Llama-3.2-1B-Instruct-4bit",
"sharding": "Pipeline",
"instance\_meta": "MlxRing",
"instance": {...},
"memory\_delta\_by\_node": {"local": 729808896},
"error": null
}
// ...possibly more placements...
]
}
```
이 요청은 해당 모델에 대한 모든 유효한 배치를 반환합니다. 마음에 드는 배치를 선택하세요.
첫 번째 배치를 선택하려면 `jq`로 파이프 처리합니다:
```bash
curl "http://localhost:52415/instance/previews?model\_id=llama-3.2-1b" | jq -c '.previews[] | select(.error == null) | .instance' | head -n1
```
---
\*\*2. 모델 인스턴스 생성\*\*
원하는 배치를 `instance` 필드에 담아 `/instance`로 POST 요청을 보냅니다(전체 페이로드는 1단계에서 복사할 수 있는 `CreateInstanceParams`와 타입이 일치해야 합니다):
```bash
curl -X POST http://localhost:52415/instance \
-H 'Content-Type: application/json' \
-d '{
"instance": {...}
}'
```
응답 예시:
```json
{
"message": "Command received.",
"command\_id": "e9d1a8ab-...."
}
```
이 명령어는 비동기로 작동합니다. 추론 요청을 보내기 전에 API가 이 모델의 새 인스턴스를 인식할 때까지 기다리세요:
```bash
curl -N "http://localhost:52415/instance/await?model\_id=mlx-community/Llama-3.2-1B-Instruct-4bit"
```
이 엔드포인트는 SSE 스트림을 반환합니다. 대기가 성공하면 `"type": "ready"`와 일치하는 인스턴스가 포함된 메시지를 출력하고, 타임오프가 발생하면 `"type": "timeout"`을 출력합니다.
기본적으로 무한 대기합니다. 대기 시간을 제한하려면 `timeout\_seconds`를 양수로 설정하세요.
---
\*\*3. 채팅 완성 요청 보내기\*\*
이제 `/v1/chat/completions`로 POST 요청을 보냅니다 (OpenAI API와 동일한 형식):
```bash
curl -N -X POST http://localhost:52415/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "mlx-community/Llama-3.2-1B-Instruct-4bit",
"messages": [
{"role": "user", "content": "What is Llama 3.2 1B?"}
],
"stream": true
}'
```
---
\*\*4. 인스턴스 삭제\*\*
작업이 끝나면 ID로 인스턴스를 삭제합니다 (`/state` 또는 `/instance` 엔드포인트를 통해 찾을 수 있음):
```bash
curl -X DELETE http://localhost:52415/instance/YOUR\_INSTANCE\_ID
```
### Claude Messages API 호환성
`/v1/messages` 엔드포인트와 함께 Claude Messages API 형식을 사용하세요:
```bash
curl -N -X POST http://localhost:52415/v1/messages \
-H 'Content-Type: application/json' \
-d '{
"model": "mlx-community/Llama-3.2-1B-Instruct-4bit",
"messages": [
{"role": "user", "content": "Hello"}
],
"max\_tokens": 1024,
"stream": true
}'
```
### OpenAI Responses API 호환성
`/v1/responses` 엔드포인트와 함께 OpenAI Responses API 형식을 사용하세요:
```bash
curl -N -X POST http://localhost:52415/v1/responses \
-H 'Content-Type: application/json' \
-d '{
"model": "mlx-community/Llama-3.2-1B-Instruct-4bit",
"messages": [
{"role": "user", "content": "Hello"}
],
"stream": true
}'
```
### Ollama API 호환성
exo는 OpenWebUI 같은 도구와의 호환성을 위해 Ollama API 엔드포인트를 지원합니다:
```bash
# Ollama chat
curl -X POST http://localhost:52415/ollama/api/chat \
-H 'Content-Type: application/json' \
-d '{
"model": "mlx-community/Llama-3.2-1B-Instruct-4bit",
"messages": [
{"role": "user", "content": "Hello"}
],
"stream": false
}'
# List models (Ollama format)
curl http://localhost:52415/ollama/api/tags
```
### HuggingFace에서 커스텀 모델 로드하기
HuggingFace 허브에서 커스텀 모델을 추가할 수 있습니다:
```bash
curl -X POST http://localhost:52415/models/add \
-H 'Content-Type: application/json' \
-d '{
"model\_id": "mlx-community/my-custom-model"
}'
```
\*\*보안 참고 사항:\*\*
설정에서 `trust\_remote\_code`가 필요한 커스텀 모델은 보안상의 이유로 명시적으로 활성화해야 합니다 (기본값은 false). 모델의 원격 코드 실행을 신뢰하는 경우에만 활성화하세요. 모델은 HuggingFace에서 가져와 로컬에 커스텀 모델 카드로 저장됩니다.
\*\*기타 유용한 API 엔드포인트\*:\*\*
- 모든 모델 목록: `curl http://localhost:52415/models`
- 다운로드된 모델만 목록 표시: `curl http://localhost:52415/models?status=downloaded`
- HuggingFace 검색: `curl "http://localhost:52415/models/search?query=llama&limit=10"`
- 인스턴스 ID 및 배포 상태 검사: `curl http://localhost:52415/state`
자세한 내용은 다음을 참고하세요:
- [docs/api.md](docs/api.md)의 API 문서.
- [src/exo/master/api.py](src/exo/master/api.py)의 API 타입 및 엔드포인트.
---
## 벤치마킹
`exo-bench` 도구는 다양한 배치 구성에서 모델의 프리필(prefill) 및 토큰 생성 속도를 측정합니다. 이를 통해 모델 성능을 최적화하고 개선 사항을 검증할 수 있습니다.
\*\*사전 요구 사항:\*\*
- 벤치마킹 전에 노드가 `uv run exo`로 실행 중이어야 합니다.
- 이 도구는 `/bench/chat/completions` 엔드포인트를 사용합니다.
\*\*기본 사용법:\*\*
```bash
uv run bench/exo\_bench.py \
--model Llama-3.2-1B-Instruct-4bit \
--pp 128,256,512 \
--tg 128,256
```
\*\*주요 매개변수:\*\*
- `--model`: 벤치마크할 모델 (단축 ID 또는 HuggingFace ID)
- `--pp`: 프롬프트 크기 힌트 (쉼표로 구분된 정수)
- `--tg`: 생성 길이 (쉼표로 구분된 정수)
- `--max-nodes`: 배치를 N개 노드로 제한 (기본값: 4)
- `--instance-meta`: `ring`, `jaccl`, 또는 `both`로 필터링 (기본값: both)
- `--sharding`: `pipeline`, `tensor`, 또는 `both`로 필터링 (기본값: both)
- `--repeat`: 구성별 반복 횟수 (기본값: 1)
- `--warmup`: 배치당 웜업 실행 횟수 (기본값: 0)
- `--json-out`: 결과 출력 파일 (기본값: bench/results.json)
\*\*필터 사용 예시:\*\*
```bash
uv run bench/exo\_bench.py \
--model Llama-3.2-1B-Instruct-4bit \
--pp 128,512 \
--tg 128 \
--max-nodes 2 \
--sharding tensor \
--repeat 3 \
--json-out my-results.json
```
이 도구는 초당 프롬프트 토큰 수(prompt\_tps), 초당 생성 토큰 수(generation\_tps), 그리고 각 구성별 피크 메모리 사용량을 포함한 성능 지표를 출력합니다.
---
## 하드웨어 가속기 지원
macOS에서 exo는 GPU를 사용합니다. Linux에서 exo는 현재 CPU로 실행됩니다. 당사는 하드웨어 가속기 지원을 확대하기 위해 노력하고 있습니다. 새로운 하드웨어 플랫폼에 대한 지원을 원하신다면 [기존 기능 요청을 검색](https://github.com/exo-explore/exo/issues)하고 엄지척(thumbs up)을 눌러 커뮤니티에 어떤 하드웨어가 중요한지 알려주세요.
---
## 기여하기
exo에 기여하는 방법에 대한 지침은 [CONTRIBUTING.md](CONTRIBUTING.md)를 참고하세요.

exo

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README