optimum-benchmark

(★ 339)

🏋️ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffusers and Sentence-Transformers with full support of Optimum's hardware optimizations & quantization schemes.

파일 탐색기

최종 버전 다운로드 (.zip)

- - images.yaml
  - quality.yaml
  - security.yml
  - test_api_cpu.yaml
  - test_api_cuda.yaml
  - test_api_misc.yaml
  - test_api_rocm.yaml
  - test_cli_cpu_ipex.yaml
  - test_cli_cpu_llama_cpp.yaml
  - test_cli_cpu_onnxruntime.yaml
  - test_cli_cpu_openvino.yaml
  - test_cli_cpu_py_txi.yaml
  - test_cli_cpu_pytorch.yaml
  - test_cli_cuda_onnxruntime.yaml
  - test_cli_cuda_py_txi.yaml
  - test_cli_cuda_pytorch.yaml
  - test_cli_cuda_tensorrt_llm.yaml
  - test_cli_cuda_vllm.yaml
  - test_cli_misc.yaml
  - test_cli_rocm_pytorch.yaml
  - test_energy_star.yaml
- - Dockerfile
- - Dockerfile
- - Dockerfile
- - Dockerfile
- _base_.yaml
- automatic_speech_recognition.yaml
- image_classification.yaml
- image_to_text.yaml
- object_detection.yaml
- question_answering.yaml
- sentence_similarity.yaml
- summarization.yaml
- t5_question_answering.yaml
- t5_summarization.yaml
- t5_text_classification.yaml
- t5_text_generation.yaml
- text_classification.yaml
- text_generation.yaml
- text_to_image.yaml
- _base_.yaml
- cpu_ipex_bert.yaml
- cpu_ipex_llama.yaml
- cpu_llama_cpp_embedding.yaml
- cpu_llama_cpp_text_generation.yaml
- cpu_onnxruntime_static_quant_vit.yaml
- cpu_openvino_8bit_bert.yaml
- cpu_openvino_diffusion.yaml
- cuda_pytorch_bert.py
- cuda_pytorch_bert.yaml
- cuda_pytorch_llama.yaml
- cuda_pytorch_llama_compile_model.yaml
- cuda_pytorch_llama_compile_regions.yaml
- cuda_pytorch_llama_quants.py
- cuda_pytorch_vlm.yaml
- cuda_tgi_llama.yaml
- cuda_trt_llama.yaml
- cuda_vllm_llama.yaml
- mps_pytorch_bert.yaml
- - __init__.py
  - base.py
  - config.py
  - diffusers_utils.py
  - peft_utils.py
  - timm_utils.py
  - transformers_utils.py
- - __init__.py
  - base.py
  - config.py
  - report.py
- - __init__.py
  - base.py
  - dataset_generator.py
  - input_generator.py
  - model_generator.py
  - task_generator.py
- - __init__.py
  - base.py
  - config.py
  - device_isolation_utils.py
- - dataset_preprocessor.py
- - __init__.py
  - fx_profiler.py
  - ort_profiler.py
- - __init__.py
  - base.py
  - config.py
- - __init__.py
  - energy.py
  - latency.py
  - memory.py
- __init__.py
- cli.py
- hub_utils.py
- import_utils.py
- logging_utils.py
- plot_utils.py
- process_utils.py
- system_utils.py
- task_utils.py
- version.py
- total_tests_runs.py
- update_ci_badges.py
- - _awq_.yaml
  - _base_.yaml
  - _bert_.yaml
  - _bloom_.yaml
  - _bnb_.yaml
  - _cpu_.yaml
  - _cuda_.yaml
  - _ddp_.yaml
  - _deepspeed_inference_.yaml
  - _device_isolation_.yaml
  - _device_map_.yaml
  - _diffusers_.yaml
  - _dp_.yaml
  - _export_.yaml
  - _gguf_.yaml
  - _gpt2_.yaml
  - _gptq_.yaml
  - _image_text_to_text_.yaml
  - _inference_.yaml
  - _no_weights_.yaml
  - _ort_quant_.yaml
  - _peft_.yaml
  - _serving_mode_.yaml
  - _st_bert_.yaml
  - _tensorrt_llm_pp_.yaml
  - _tensorrt_llm_tp_.yaml
  - _text_decoders_.yaml
  - _text_encoders_.yaml
  - _text_encoders_decoders_.yaml
  - _timm_.yaml
  - _torch_compile_.yaml
  - _tp_.yaml
  - _training_.yaml
  - _vllm_.yaml
  - _vllm_pp_.yaml
  - _vllm_tp_.yaml
  - cpu_inference_ipex_text_decoders.yaml
  - cpu_inference_ipex_text_encoders.yaml
  - cpu_inference_llama_cpp_gguf.yaml
  - cpu_inference_onnxruntime_diffusers.yaml
  - cpu_inference_onnxruntime_ort_quant.yaml
  - cpu_inference_onnxruntime_text_decoders.yaml
  - cpu_inference_onnxruntime_text_encoders.yaml
  - cpu_inference_onnxruntime_text_encoders_decoders.yaml
  - cpu_inference_onnxruntime_timm.yaml
  - cpu_inference_openvino_diffusers.yaml
  - cpu_inference_openvino_text_decoders.yaml
  - cpu_inference_openvino_text_encoders.yaml
  - cpu_inference_py_txi_gpt2.yaml
  - cpu_inference_py_txi_st_bert.yaml
  - cpu_inference_pytorch_diffusers.yaml
  - cpu_inference_pytorch_diffusers_torch_compile.yaml
  - cpu_inference_pytorch_image_text_to_text.yaml
  - cpu_inference_pytorch_text_decoders.yaml
  - cpu_inference_pytorch_text_encoders.yaml
  - cpu_inference_pytorch_text_encoders_decoders.yaml
  - cpu_inference_pytorch_timm.yaml
  - cpu_inference_pytorch_timm_torch_compile.yaml
  - cpu_training_pytorch_text_decoders.yaml
  - cpu_training_pytorch_text_encoders.yaml
  - cuda_inference_onnxruntime_text_decoders.yaml
  - cuda_inference_onnxruntime_text_encoders.yaml
  - cuda_inference_py_txi_gpt2.yaml
  - cuda_inference_py_txi_st_bert.yaml
  - cuda_inference_pytorch_bnb.yaml
  - cuda_inference_pytorch_deepspeed_inference.yaml
  - cuda_inference_pytorch_device_map.yaml
  - cuda_inference_pytorch_diffusers.yaml
  - cuda_inference_pytorch_diffusers_torch_compile.yaml
  - cuda_inference_pytorch_gptq.yaml
  - cuda_inference_pytorch_text_decoders.yaml
  - cuda_inference_pytorch_text_encoders.yaml
  - cuda_inference_pytorch_timm.yaml
  - cuda_inference_pytorch_timm_torch_compile.yaml
  - cuda_inference_pytorch_tp.yaml
  - cuda_inference_tensorrt_llm.yaml
  - cuda_inference_tensorrt_llm_pp.yaml
  - cuda_inference_tensorrt_llm_tp.yaml
  - cuda_inference_vllm_bloom.yaml
  - cuda_inference_vllm_bloom_pp.yaml
  - cuda_inference_vllm_bloom_tp.yaml
  - cuda_training_pytorch_ddp.yaml
  - cuda_training_pytorch_device_map.yaml
  - cuda_training_pytorch_dp.yaml
  - cuda_training_pytorch_peft.yaml
  - cuda_training_pytorch_text_decoders.yaml
  - cuda_training_pytorch_text_encoders.yaml
- conftest.py
- test_api.py
- test_cli.py
- test_energy_star.py
- test_examples.py
- onnxruntime_encoder.py
- openvino_llm.py
- openvino_vlm.py
.gitignore
.python-version
CONTRIBUTING.md
LICENSE
logo.png
Makefile
pyproject.toml
README.md
uv.lock
uv.toml

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/huggingface/optimum-benchmark

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd optimum-benchmark

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천

사전 준비물

Python 3 pip 명령어를 쓰려면 Python이 필요합니다.

pip install uv

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install optimum-benchmark

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install git+https://github.com/huggingface/optimum-benchmark.git

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Docker

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.

⚠️ 이 프로젝트는 규모가 큰 저장소라, 이 방법이 실제 핵심 제품이 아니라 내부 하위 패키지를 가리키는 것일 수 있습니다. README 전체를 함께 확인해보세요.

docker build -f docker/cpu/Dockerfile -t optimum-benchmark .

Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.

docker run -p 8080:80 optimum-benchmark

빌드된 이미지를 실제 컨테이너로 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

4. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install uv

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install optimum-benchmark

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install git+https://github.com/huggingface/optimum-benchmark.git

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install -e .

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

5. Make

보통

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Make Linux/macOS는 보통 기본 설치되어 있습니다. Windows는 별도 설치(예: MSYS2, WSL)가 필요합니다.

make

생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.

✅ 에러 없이 끝나면 성공입니다. 생성된 실행 파일을 직접 실행해보세요.