OpenLLM - GitLite

KO | EN

gitlite — search

#javascript #python #hacktoberfest #ai #android #rust #docker #nodejs #java #cli #pytorch #mcp #openai #open-source

OpenLLM

(★ 12,502)

DeepSeek 및 Llama와 같은 모든 오픈 소스 LLM을 클라우드에서 OpenAI 호환 API 엔드포인트로 실행해 보세요.

파일 탐색기

최종 버전 다운로드 (.zip)

- - bug_report.yml
  - config.yml
  - feature_request.yml
- - create-releases.yml
  - dependabot-auto-merge.yml
- CODE_OF_CONDUCT.md
- CODEOWNERS
- dependabot.yml
- SECURITY.md
- - __init__.py
  - __main__.py
  - accelerator_spec.py
  - analytic.py
  - clean.py
  - cloud.py
  - common.py
  - local.py
  - model.py
  - py.typed
  - repo.py
  - venv.py
.editorconfig
.envrc.template
.git-blame-ignore-revs
.git_archival.txt
.gitattributes
.gitignore
.pre-commit-config.yaml
.python-version-default
.ruff.toml
CITATION.cff
DEVELOPMENT.md
gen_readme.py
LICENSE
pyproject.toml
pyrightconfig.json
README.md
README.md.tpl
release.sh
SECURITY.md
uv.lock

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

<div align="center">

<h1>🦾 OpenLLM: 간편한 LLM 셀프 호스팅</h1>

[![License: Apache-2.0](https://img.shields.io/badge/License-Apache%202-green.svg)](https://github.com/bentoml/OpenLLM/blob/main/LICENSE)
[![Releases](https://img.shields.io/pypi/v/openllm.svg?logo=pypi&label=PyPI&logoColor=gold)](https://pypi.org/project/openllm)
[![CI](https://results.pre-commit.ci/badge/github/bentoml/OpenLLM/main.svg)](https://results.pre-commit.ci/latest/github/bentoml/OpenLLM/main)
[![X](https://badgen.net/badge/icon/@bentomlai/000000?icon=twitter&label=Follow)](https://twitter.com/bentomlai)
[![Community](https://badgen.net/badge/icon/Community/562f5d?icon=slack&label=Join)](https://l.bentoml.com/join-slack)

</div>

OpenLLM을 사용하면 개발자가 단 한 줄의 명령어로 **모든 오픈 소스 LLM**(Llama 3.3, Qwen2.5, Phi3 및 [기타 모델](#supported-models)) 또는 **커스텀 모델**을 **OpenAI 호환 API**로 실행할 수 있습니다. [내장된 채팅 UI](#chat-ui), 최첨단 추론 백엔드, 그리고 Docker, Kubernetes, [BentoCloud](#deploy-to-bentocloud)를 사용하여 엔터프라이즈급 클라우드 배포를 생성하기 위한 간소화된 워크플로우를 제공합니다.

[OpenLLM의 디자인 철학](https://www.bentoml.com/blog/from-ollama-to-openllm-running-llms-in-the-cloud)을 알아보세요.

## 시작하기

다음 명령어를 실행하여 OpenLLM을 설치하고 대화형으로 탐색해 보세요.

```bash
pip install openllm  # or pip3 install openllm
openllm hello
```

![hello](https://github.com/user-attachments/assets/5af19f23-1b34-4c45-b1e0-a6798b4586d1)

## 지원되는 모델

OpenLLM은 다양한 최첨단 오픈 소스 LLM을 지원합니다. 또한 OpenLLM에서 [커스텀 모델을 실행하기 위한 모델 저장소](#set-up-a-custom-repository)를 추가할 수도 있습니다.

<table>
  <tr>
    <th>모델</th>
    <th>매개변수</th>
    <th>필요 GPU</th>
    <th>서버 시작</th>
  </tr>
  <tr>
    <td>deepseek</td>
    <td>r1-671b</td>
    <td>80Gx16</td>
    <td><code>openllm serve deepseek:r1-671b</code></td>
  </tr>
  <tr>
    <td>gemma2</td>
    <td>2b</td>
    <td>12G</td>
    <td><code>openllm serve gemma2:2b</code></td>
  </tr>
  <tr>
    <td>gemma3</td>
    <td>3b</td>
    <td>12G</td>
    <td><code>openllm serve gemma3:3b</code></td>
  </tr>
  <tr>
    <td>jamba1.5</td>
    <td>mini-ff0a</td>
    <td>80Gx2</td>
    <td><code>openllm serve jamba1.5:mini-ff0a</code></td>
  </tr>
  <tr>
    <td>llama3.1</td>
    <td>8b</td>
    <td>24G</td>
    <td><code>openllm serve llama3.1:8b</code></td>
  </tr>
  <tr>
    <td>llama3.2</td>
    <td>1b</td>
    <td>24G</td>
    <td><code>openllm serve llama3.2:1b</code></td>
  </tr>
  <tr>
    <td>llama3.3</td>
    <td>70b</td>
    <td>80Gx2</td>
    <td><code>openllm serve llama3.3:70b</code></td>
  </tr>
  <tr>
    <td>llama4</td>
    <td>17b16e</td>
    <td>80Gx8</td>
    <td><code>openllm serve llama4:17b16e</code></td>
  </tr>
  <tr>
    <td>mistral</td>
    <td>8b-2410</td>
    <td>24G</td>
    <td><code>openllm serve mistral:8b-2410</code></td>
  </tr>
  <tr>
    <td>mistral-large</td>
    <td>123b-2407</td>
    <td>80Gx4</td>
    <td><code>openllm serve mistral-large:123b-2407</code></td>
  </tr>
  <tr>
    <td>phi4</td>
    <td>14b</td>
    <td>80G</td>
    <td><code>openllm serve phi4:14b</code></td>
  </tr>
  <tr>
    <td>pixtral</td>
    <td>12b-2409</td>
    <td>80G</td>
    <td><code>openllm serve pixtral:12b-2409</code></td>
  </tr>
  <tr>
    <td>qwen2.5</td>
    <td>7b</td>
    <td>24G</td>
    <td><code>openllm serve qwen2.5:7b</code></td>
  </tr>
  <tr>
    <td>qwen2.5-coder</td>
    <td>3b</td>
    <td>24G</td>
    <td><code>openllm serve qwen2.5-coder:3b</code></td>
  </tr>
  <tr>
    <td>qwq</td>
    <td>32b</td>
    <td>80G</td>
    <td><code>openllm serve qwq:32b</code></td>
  </tr>
</table>

전체 모델 목록은 [OpenLLM 모델 저장소](https://github.com/bentoml/openllm-models)를 참조하세요.

## LLM 서버 시작하기

로컬에서 LLM 서버를 시작하려면 `openllm serve` 명령어를 사용하고 모델 버전을 지정하세요.

> [!NOTE]
> OpenLLM은 모델 가중치(weights)를 로컬에 미리 저장하지 않습니다. 게이트된(gated) 모델을 사용하려면 Hugging Face 토큰(HF_TOKEN)이 필요합니다.
>
> 1. [여기](https://huggingface.co/settings/tokens)에서 Hugging Face 토큰을 생성하세요.
> 2. [meta-llama/Llama-3.2-1B-Instruct](https://huggingface.co/meta-llama/Llama-3.2-1B-Instruct)와 같은 게이트된 모델에 대한 액세스 권한을 요청하세요.
> 3. 다음 명령어를 실행하여 토큰을 환경 변수로 설정하세요:
>    ```bash
>    export HF_TOKEN=<your token>
>    ```

```bash
openllm serve llama3.2:1b
```

서버는 [http://localhost:3000](http://localhost:3000/)에서 액세스할 수 있으며, 상호 작용을 위한 OpenAI 호환 API를 제공합니다. OpenAI 호환 API를 지원하는 다양한 프레임워크 및 도구를 사용하여 엔드포인트를 호출할 수 있습니다. 일반적으로 다음 사항을 지정해야 할 수 있습니다:

- **API 호스트 주소**: 기본적으로 LLM은 [http://localhost:3000](http://localhost:3000/)에서 호스팅됩니다.
- **모델 이름**: 사용하는 도구에 따라 이름이 다를 수 있습니다.
- **API 키**: 클라이언트 인증에 사용되는 API 키입니다. 이 옵션은 선택 사항입니다.

다음은 몇 가지 예시입니다:

<details>

<summary>OpenAI Python 클라이언트</summary>

```python
from openai import OpenAI

client = OpenAI(base_url='http://localhost:3000/v1', api_key='na')

# Use the following func to get the available models
# model_list = client.models.list()
# print(model_list)

chat_completion = client.chat.completions.create(
    model="meta-llama/Llama-3.2-1B-Instruct",
    messages=[
        {
            "role": "user",
            "content": "Explain superconductors like I'm five years old"
        }
    ],
    stream=True,
)
for chunk in chat_completion:
    print(chunk.choices[0].delta.content or "", end="")
```

</details>

<details>

<summary>LlamaIndex</summary>

```python
from llama_index.llms.openai import OpenAI

llm = OpenAI(api_bese="http://localhost:3000/v1", model="meta-llama/Llama-3.2-1B-Instruct", api_key="dummy")
...
```

</details>

## 채팅 UI

OpenLLM은 http://localhost:3000/chat 에 실행된 LLM 서버의 `/chat` 엔드포인트에서 채팅 UI를 제공합니다.

<img width="800" alt="openllm_ui" src="https://github.com/bentoml/OpenLLM/assets/5886138/8b426b2b-67da-4545-8b09-2dc96ff8a707">

## CLI에서 모델과 채팅하기

CLI에서 채팅 대화를 시작하려면 `openllm run` 명령어를 사용하고 모델 버전을 지정하세요.

```bash
openllm run llama3:8b
```

## 모델 저장소

OpenLLM의 모델 저장소는 실행 가능한 LLM 목록 카탈로그를 나타냅니다. OpenLLM은 Llama 3, Mistral, Qwen2와 같은 최신 오픈 소스 LLM을 포함하는 기본 모델 저장소를 제공하며, 이는 [이 GitHub 저장소](https://github.com/bentoml/openllm-models)에 호스팅되어 있습니다. 기본 저장소 및 추가된 저장소의 모든 사용 가능한 모델을 보려면 다음 명령어를 사용하세요:

```bash
openllm model list
```

로컬 모델 목록이 연결된 모든 저장소의 최신 업데이트와 동기화되도록 하려면 다음을 실행하세요:

```bash
openllm repo update
```

모델 정보를 확인하려면 다음을 실행하세요:

```bash
openllm model get llama3.2:1b
```

### 기본 모델 저장소에 모델 추가하기

다른 사람들이 사용할 수 있도록 새로운 모델을 추가하여 기본 모델 저장소에 기여할 수 있습니다. 여기에는 LLM의 Bento를 생성하고 제출하는 작업이 포함됩니다. 자세한 내용은 [풀 리퀘스트 예시](https://github.com/bentoml/openllm-models/pull/1)를 확인해 보세요.

### 커스텀 저장소 설정하기

커스텀 모델이 포함된 자체 저장소를 OpenLLM에 추가할 수 있습니다. 그렇게 하려면 커스텀 LLM을 저장할 `bentos` 디렉토리가 있는 기본 OpenLLM 모델 저장소의 형식을 따르세요. [BentoML로 Bento를 빌드](https://docs.bentoml.com/en/latest/guides/build-options.html)하여 모델 저장소에 제출해야 합니다.

먼저, [BentoML의 Bento 빌드 가이드라인](https://docs.bentoml.com/en/latest/guides/build-options.html)에 따라 `bentos` 디렉토리에 커스텀 모델을 준비합니다. 예시는 [기본 모델 저장소](https://github.com/bentoml/openllm-repo)를 참조하고, 자세한 내용은 [개발자 가이드](https://github.com/bentoml/OpenLLM/blob/main/DEVELOPMENT.md)를 읽어보세요.

그런 다음, OpenLLM에 커스텀 모델 저장소를 등록합니다:

```bash
openllm repo add <repo-name> <repo-url>
```

**참고**: 현재 OpenLLM은 공개(public) 저장소 추가만 지원합니다.

## BentoCloud에 배포하기

OpenLLM은 통합 모델 서빙 프레임워크인 BentoML과 엔터프라이즈 AI 팀을 위한 AI 추론 플랫폼인 BentoCloud를 통해 LLM 클라우드 배포를 지원합니다. BentoCloud는 오토스케일링, 모델 오케스트레이션, 관측 가능성(observability) 등을 갖춘 LLM 추론에 최적화된 완전 관리형 인프라를 제공하여 클라우드에서 모든 AI 모델을 실행할 수 있도록 지원합니다.

무료로 [BentoCloud에 가입](https://www.bentoml.com/)하고 [로그인](https://docs.bentoml.com/en/latest/bentocloud/how-tos/manage-access-token.html)하세요. 그런 다음 `openllm deploy`를 실행하여 BentoCloud에 모델을 배포합니다:

```bash
openllm deploy llama3.2:1b --env HF_TOKEN
```

> [!NOTE]
> 게이트된 모델을 배포하는 경우, 환경 변수에 HF_TOKEN이 설정되어 있는지 확인하세요.

배포가 완료되면 BentoCloud 콘솔에서 모델 추론을 실행할 수 있습니다:

<img width="800" alt="bentocloud_ui" src="https://github.com/bentoml/OpenLLM/assets/65327072/4f7819d9-73ea-488a-a66c-f724e5d063e6">

## 커뮤니티

OpenLLM은 BentoML 팀에 의해 활발히 유지 관리되고 있습니다. 언제든지 저희에게 연락하여 LLM을 더 접근하기 쉽고 사용하기 편리하게 만드는 여정에 동참해 주세요 👉 [Slack 커뮤니티 가입하기!](https://l.bentoml.com/join-slack)

## 기여하기

오픈 소스 프로젝트로서 새로운 기능, 버그 수정, 문서 작성 등 모든 종류의 기여를 환영합니다. 기여할 수 있는 방법은 다음과 같습니다:

- [GitHub 이슈 생성](https://github.com/bentoml/OpenLLM/issues/new/choose)을 통해 버그를 보고합니다.
- [풀 리퀘스트 제출](https://github.com/bentoml/OpenLLM/compare) 또는 다른 개발자의 [풀 리퀘스트](https://github.com/bentoml/OpenLLM/pulls) 리뷰를 돕습니다.
- 다른 사용자가 모델을 실행할 수 있도록 OpenLLM 기본 모델 저장소에 LLM을 추가합니다. [풀 리퀘스트 템플릿](https://github.com/bentoml/openllm-models/pull/1)을 참조하세요.
- 자세한 내용은 [개발자 가이드](https://github.com/bentoml/OpenLLM/blob/main/DEVELOPMENT.md)를 확인해 보세요.

## 감사의 글

이 프로젝트는 다음 오픈 소스 프로젝트들을 사용합니다:

- 프로덕션 레벨 모델 서빙을 위한 [bentoml/bentoml](https://github.com/bentoml/bentoml)
- 프로덕션 레벨 LLM 백엔드를 위한 [vllm-project/vllm](https://github.com/vllm-project/vllm)
- 멋진 웹 채팅 UI를 위한 [blrchen/chatgpt-lite](https://github.com/blrchen/chatgpt-lite)
- 초고속 모델 종속성 설치를 위한 [astral-sh/uv](https://github.com/astral-sh/uv)

이 프로젝트들의 개발자 및 기여자들이 보여준 노고와 헌신에 감사드립니다.