truss

(★ 1,195)

The simplest way to serve AI/ML models in production

파일 탐색기

최종 버전 다운로드 (.zip)

- - devcontainer.json
  - Dockerfile
- - baseten.sh
  - common-debian.sh
  - docker-in-docker-debian.sh
- devcontainer.json
- Dockerfile
- - bug_report.md
  - feature_request.md
- - get-python-version-range.py
- - _build_truss_server_base_images_if_needed_shared.yml
  - _detect_version_changed_shared.yml
  - _integration_test_shared.yml
  - baseten-performance-client-nodejs.yml
  - baseten-performance-client-release.yml
  - baseten-performance-client-test.yml
  - build-context-builder-image.yml
  - build-maturin.yml
  - commit_new_release_to_main.yml
  - create_release_pr.yml
  - integration-tests.yml
  - main.yml
  - pr.yml
  - release.yml
  - smoketests.yml
  - truss-transfer-build-maturin.yml
  - truss-transfer-cli-release.yml
  - truss-transfer-test.yml
  - update_integration_test_durations.yml
- pull_request_template.md
- settings.json
- - Cargo.toml
  - README.md
- - .gitignore
  - .npmignore
  - .yarnrc.yml
  - benchmark_results_nodejs.csv
  - build.rs
  - Cargo.toml
  - index.d.ts
  - index.js
  - package.json
  - README.md
  - rustfmt.toml
  - yarn.lock
- - baseten_performance_client.pyi
  - Cargo.toml
  - pyproject.toml
  - README.md
  - uv.lock
- - Cargo.toml
  - config.yaml
  - Dockerfile
  - README.md
- - compare_latency_openai.js
  - compare_latency_openai.py
  - continous_latency.py
  - README_nodejs.md
- .dockerignore
- Cargo.lock
- Cargo.toml
- README.md
- bump_truss_version.sh
- codespace_post_create.sh
- generate_base_images.py
- generate_truss_config_schema.py
- - base_image.Dockerfile.jinja
- - base-images.md
  - release.md
- - 01-getting-started-bert.mdx
  - 02-llm.mdx
  - 03-llm-with-streaming.mdx
  - 04-image-generation.mdx
  - 06-high-performance-cached-weights.mdx
  - 09-private-huggingface.mdx
  - 10-using-system-packages.mdx
  - bundled-package.mdx
  - local-model.mdx
  - pre-process.mdx
  - private-model.mdx
  - streaming.mdx
  - system-packages.mdx
- favicon.svg
- README.md
- - Dockerfile.conda
  - Dockerfile.pipx
  - Dockerfile.uv
  - README.md
  - run_tests.sh
  - settings_disabled.toml
  - settings_enabled.toml
  - test_harness.py
  - test_in_container.py
  - test_settings_toml.py
- __init__.py
- test_chains.py
- update_context_builder_constance.py
- utils.py
- - __init__.py
  - definitions.py
- - __init__.py
  - constants.py
  - custom_types.py
  - errors.py
  - trt_llm_config.py
  - truss_config.py
  - truss_spec.py
- - auth.py
  - chains_commands.py
  - cli.py
  - loops_checkpoint_viewer.py
  - loops_commands.py
  - migrate_commands.py
  - proxy_command.py
  - remote_cli.py
  - ssh.py
  - ssh_commands.py
  - train_commands.py
- - docker_build_setup.py
  - truss_context.py
- - local_config.py
  - local_config_handler.py
- - __init__.py
  - hash.py
  - signature.py
  - truss_dir_patch_applier.py
- - remote_factory.py
  - truss_remote.py
- - __init__.py
  - base.Dockerfile.jinja
  - baseten-ssh-server.sh
  - cache.Dockerfile.jinja
  - cache_requirements.txt
  - copy_cache_files.Dockerfile.jinja
  - docker_server_requirements.txt
  - no_build.Dockerfile.jinja
  - README.md.jinja
  - server.Dockerfile.jinja
- - __init__.py
  - conftest.py
  - helpers.py
  - test_build.py
  - test_config.py
  - test_context_builder_image.py
  - test_control_truss_patching.py
  - test_custom_config_path.py
  - test_custom_server.py
  - test_docker.py
  - test_model_inference.py
  - test_model_schema.py
  - test_testing_utilities_for_other_tests.py
  - test_truss_gatherer.py
  - test_truss_handle.py
  - test_user_config.py
  - test_util.py
- - config_checks.py
  - validation.py
- - __init__.py
  - build.py
  - decorators.py
  - readme_generator.py
  - truss_gatherer.py
  - truss_handle.py
- - .truss_ignore
  - __init__.py
  - docker.py
  - download.py
  - env_vars.py
  - error_utils.py
  - gpu.py
  - jinja.py
  - log_utils.py
  - notebook.py
  - path.py
  - requirements.py
  - user_config.py
  - yaml_utils.py
- __init__.py
- config.schema.json
- - README.md
- - test_chain_gatherer.py
  - test_chain_upload_end_to_end.py
  - test_deployment_client_watch.py
  - test_e2e.py
  - test_framework.py
  - test_remote_chainlet.py
  - test_remote_truss_chainlet.py
  - test_requirements_file.py
  - test_streaming.py
  - test_truss_chainlet.py
  - test_utils.py
- - __init__.py
  - framework.py
  - private_types.py
  - public_api.py
  - public_types.py
  - py.typed
  - pydantic_numpy.py
  - streaming.py
  - utils.py
- - test_definitions.py
  - test_deployment.py
  - test_download.py
  - test_loader.py
  - test_public_api.py
  - test_recreate.py
- - __init__.py
  - definitions.py
  - deployment.py
  - loader.py
  - public_api.py
  - restore_from_checkpoint.py
- - bindings.rs
  - cache.rs
  - cli.rs
  - cloud_range_download.rs
  - constants.rs
  - core.rs
  - download.rs
  - download_core.rs
  - hf_transfer.rs
  - lib.rs
  - metrics.rs
  - multimodal_processor.rs
  - secrets.rs
  - speed_checks.rs
  - types.rs
- - benchmark_comparison.py
  - benchmark_concurrency.py
  - benchmark_latency.py
  - README.md
  - test_audio_downloader.py
  - test_create_bptr_with_aws.py
  - test_create_bptr_with_gcs.py
  - test_create_bptr_with_hf.py
- Cargo.lock
- Cargo.toml
- example-bptr-manifest-gcs.json
- example-bptr-manifest.json
- pyproject.toml
- README.md
- uv.lock
.dockerignore
.gitignore
.mlc_config.json
.pre-commit-config.yaml
.python-version
.tool-versions
AGENTS.md
CLAUDE.md
CODE_OF_CONDUCT.md
context_builder.Dockerfile
CONTRIBUTING.md
LICENSE
Makefile
pyproject.toml
README.md
uv.lock

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/basetenlabs/truss

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd truss

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천

사전 준비물

Python 3 pip 명령어를 쓰려면 Python이 필요합니다.

pip install --upgrade truss

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Docker

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.

⚠️ 이 프로젝트는 규모가 큰 저장소라, 이 방법이 실제 핵심 제품이 아니라 내부 하위 패키지를 가리키는 것일 수 있습니다. README 전체를 함께 확인해보세요.

docker build -f baseten-performance-client/reverse_proxy/Dockerfile -t truss .

Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.

docker run -p 8080:80 truss

빌드된 이미지를 실제 컨테이너로 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

4. Node.js

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Node.js npm 명령어를 쓰려면 Node.js가 설치되어 있어야 합니다. LTS(장기지원) 버전을 추천합니다.

⚠️ 이 프로젝트는 규모가 큰 저장소라, 이 방법이 실제 핵심 제품이 아니라 내부 하위 패키지를 가리키는 것일 수 있습니다. README 전체를 함께 확인해보세요.

cd baseten-performance-client/node_bindings/npm/android-arm-eabi

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

npm install

package.json에 명시된 라이브러리들을 내려받아 설치합니다.

npm start

개발/실행 서버를 켭니다.

✅ 명령어 실행 후 터미널에 나타나는 주소(보통 http://localhost:3000 형태)를 브라우저에서 열어보세요.

5. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install --upgrade truss

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

6. Rust

보통

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Rust (rustup) rustup으로 설치하면 cargo도 함께 설치됩니다.

cd baseten-performance-client

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

cargo build --release

Rust 프로젝트를 컴파일합니다.

cargo run

빌드 후 바로 실행까지 진행합니다.

✅ cargo build가 에러 없이 끝나면 성공입니다. target/ 폴더에 실행 파일이 생성됩니다.

7. Make

보통

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Make Linux/macOS는 보통 기본 설치되어 있습니다. Windows는 별도 설치(예: MSYS2, WSL)가 필요합니다.

make

생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.

✅ 에러 없이 끝나면 성공입니다. 생성된 실행 파일을 직접 실행해보세요.

truss

파일 탐색기

# 설치 가이드

2. 공식 설치 스크립트

3. Docker

4. Node.js

5. Python

6. Rust

7. Make

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

truss

파일 탐색기

# 설치 가이드

2. 공식 설치 스크립트

3. Docker

4. Node.js

5. Python

6. Rust

7. Make

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README