serve

(★ 4,346)

Serve, optimize and scale PyTorch models in production

파일 탐색기

최종 버전 다운로드 (.zip)
  • .gitignore
  • .gitmodules
  • .pre-commit-config.yaml
  • _config.yml
  • CODE_OF_CONDUCT.md
  • codecov.yml
  • CONTRIBUTING.md
  • LICENSE
  • link_check_config.json
  • MANIFEST.in
  • mypy.ini
  • PyPiDescription.rst
  • README.md
  • SECURITY.md
  • setup.py
  • torchserve_sanity.py

# 설치 가이드

1. 코드 내려받기
git clone https://github.com/pytorch/serve

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd serve

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천
사전 준비물
  • Python 3 pip 명령어를 쓰려면 Python이 필요합니다.
pip install torchserve torch-model-archiver torch-workflow-archiver

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install torchserve-nightly torch-model-archiver-nightly torch-workflow-archiver-nightly

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Docker

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker pull pytorch/torchserve

이 명령어를 터미널에 그대로 입력해 실행하세요.

docker pull pytorch/torchserve-nightly

이 명령어를 터미널에 그대로 입력해 실행하세요.

docker build --pull . -f docker/Dockerfile.vllm -t ts/vllm

Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.

docker run --rm -ti --shm-size 10g --gpus all -e HUGGING_FACE_HUB_TOKEN=$token -p 8080:8080 -v data:/data ts/vllm --model_id meta-llama/Meta-Llama-3-8B-Instruct --disable_token_auth

빌드된 이미지를 실제 컨테이너로 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

4. CMake

보통
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • CMake 빌드 설정을 생성하는 도구입니다.
  • C/C++ 컴파일러 Windows는 Visual Studio(Community 무료), macOS는 Xcode Command Line Tools, Linux는 gcc/g++ 패키지가 필요합니다.
cd cpp

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

mkdir build && cd build

빌드 결과물을 담을 폴더를 만들고 그 안으로 이동합니다.

cmake ..

소스코드를 분석해 빌드 설정 파일을 생성합니다 (build 폴더 안에서 실행해야 함).

make

생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.

✅ build 폴더 안에 실행 파일이 생성됐는지 확인하고, 직접 실행해보세요 (예: ./build/앱이름).

5. Maven (Java)

보통
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • JDK (Java) Java 프로젝트를 빌드/실행하려면 필요합니다.
  • Maven mvn 명령어를 쓰기 위한 빌드 도구입니다.
cd serving-sdk

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

mvn clean install

Maven으로 의존성 설치와 빌드를 진행합니다.

✅ BUILD SUCCESS 메시지가 뜨면 성공입니다. target/ 폴더에 결과물이 생성됩니다.

6. Gradle (Java/Kotlin)

보통
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • JDK (Java) Java/Kotlin 프로젝트를 빌드/실행하려면 필요합니다.
  • Gradle 레포에 포함된 gradlew(Gradle Wrapper)를 쓰면 Gradle을 따로 설치할 필요가 없습니다.
cd frontend/archive

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

./gradlew build

Gradle로 빌드를 진행합니다.

✅ BUILD SUCCESSFUL 메시지가 뜨면 성공입니다. build/ 폴더에 결과물이 생성됩니다.

7. Python

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).
pip install torchserve torch-model-archiver torch-workflow-archiver

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install torchserve-nightly torch-model-archiver-nightly torch-workflow-archiver-nightly

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

python -m ts.llm_launcher --model_id meta-llama/Llama-3.2-3B-Instruct --disable_token_auth

파이썬 스크립트(또는 모듈)를 실행합니다.

python -m ts.llm_launcher --model_id meta-llama/Meta-Llama-3.1-8B-Instruct --engine trt_llm --disable_token_auth

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

오늘의 추천 프로젝트

hoppscotch ★ 80,048

오픈소스 API 개발 생태계 • https://hoppscotch.io • 오프라인, 온프레미스 및 클라우드 지원 • 웹, 데스크톱 및 CLI • Postman

TypeScript
superset ★ 74,282

Apache Superset은 데이터 시각화 및 데이터 탐색 플랫폼입니다.

Python
d3 ★ 113,477

SVG, Canvas, HTML을 사용하여 데이터를 생동감 있게 표현해 보세요. :bar_chart::chart_with_upwards_trend::tada:

Shell
ponytail ★ 104,000

AI 에이전트가 방 안에서 가장 게으른 시니어 개발자처럼 생각하게 만듭니다. 가장 좋은 코드는 애초에 작성하지 않은 코드입니다.

JavaScript
union ★ 73,854

검열 저항성, 극도로 높은 보안성, 그리고 탈중앙화 금융(DeFi)에서의 활용을 위해 설계된 신뢰 최소화 영지식 브리징 프로토콜입니다.

Rust
markitdown ★ 174,077

파일 및 오피스 문서를 Markdown으로 변환하는 Python 도구입니다.

Python
// repository documentation