fastertransformer_backend

(★ 414)

No description available.

파일 탐색기

최종 버전 다운로드 (.zip)

- - bug_report.yml
- - FindNCCL.cmake
- TritonFasterTransformerBackendConfig.cmake.in
- create_dockerfile_and_build.py
- Dockerfile
- bert_guide.md
- gpt_guide.md
- gptj_guide.md
- gptneox_guide.md
- t5_guide.md
- multi_gpu_multi_node_workflow.png
- libfastertransformer.cc
- libtriton_fastertransformer.ldscript
- - create_bert_config.sh
  - identity_test.py
- - create_gpt_config.sh
  - end_to_end_test.py
  - evaluate_lambada.py
  - gpt_prompt_learning_squad_task_eval.py
  - gpt_prompt_learning_squad_task_identity_test.py
  - gptneox_jp_test.py
  - identity_test.py
  - xglm_test.py
- - create_interactive_gpt_config.sh
  - end_to_end_test.py
  - identity_test.py
  - triton_out_baseline
- - sample_request.json
  - sample_request_ensemble.json
  - sample_request_runtime_top_k.json
  - sample_request_single.json
  - sample_request_single_t5.json
  - sample_request_single_t5_encoder.json
  - sample_request_single_t5_ia3.json
  - sample_request_stream.json
  - sample_request_stream_t5.json
  - sample_request_tokenizer.json
- - boolq_test.jsonl
  - boolq_test.py
  - boolq_test_hf.py
  - create_t5_config.sh
  - create_t5_encoder_config.sh
  - summarization.py
  - t5_end_to_end_test.py
  - t5_mnli_task.py
  - t5_requirement.txt
  - t5_xnli_task.py
  - test.de
  - test.en
- - gpt_prompt_learning.py
  - gpt_token_encoder.py
  - recover_bpe.py
- benchmark.py
- benchmark_single_node.sh
- create_gpt_config.sh
- create_gptj_config.sh
- end_to_end_test.py
- evaluate_lambada.py
- gpt_prompt_learning_squad_task_eval.py
- gpt_prompt_learning_squad_task_identity_test.py
- identity_test.py
- issue_request.py
- kill_server.sh
- run_client.sh
- run_server.sh
- util.sh
- utils.sh
.clang-format
.dockerignore
.gitignore
CMakeLists.txt
LICENSE
README.md

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/triton-inference-server/fastertransformer_backend

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd fastertransformer_backend

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Docker

쉬움 추천

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.

python3 docker/create_dockerfile_and_build.py --base-image tritonserver_pytorch_only --image-name tritonserver_with_ft --is-multistage-build

파이썬 스크립트(또는 모듈)를 실행합니다.

docker build --rm \

Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.

-f docker/Dockerfile \

이 명령어를 터미널에 그대로 입력해 실행하세요.

docker tag ${TRITON_DOCKER_IMAGE} <github_or_gitlab/repo_name/image_name>:${CONTAINER_VERSION}

이 명령어를 터미널에 그대로 입력해 실행하세요.

docker push <github_or_gitlab/repo_name/image_name>:${CONTAINER_VERSION}

이 명령어를 터미널에 그대로 입력해 실행하세요.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. CMake

보통

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
CMake 빌드 설정을 생성하는 도구입니다.
C/C++ 컴파일러 Windows는 Visual Studio(Community 무료), macOS는 Xcode Command Line Tools, Linux는 gcc/g++ 패키지가 필요합니다.

rm /opt/tritonserver/lib/cmake/FasterTransformer/ -rf # Remove original library

이 명령어를 터미널에 그대로 입력해 실행하세요.

cmake \

이 명령어를 터미널에 그대로 입력해 실행하세요.

✅ build 폴더 안에 실행 파일이 생성됐는지 확인하고, 직접 실행해보세요 (예: ./build/앱이름).

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.