model_analyzer

(★ 525)

Triton Model Analyzer is a CLI tool to help with better understanding of the compute and memory requirements of the Triton Inference Server models.

파일 탐색기

최종 버전 다운로드 (.zip)

- - codeql.yml
  - pre-commit.yml
  - python-package.yaml
- bls_quick_start.md
- checkpoints.md
- cli.md
- config.md
- config_search.md
- ensemble_quick_start.md
- install.md
- kubernetes_deploy.md
- launch_modes.md
- metrics.md
- mm_quick_start.md
- model_types.md
- quick_start.md
- README.md
- report.md
- bls_input_data.json
- bls_result_summary_table.jpg
- bls_result_summary_top.jpg
- ensemble_result_summary_table.jpg
- ensemble_result_summary_top.jpg
- mm_result_summary_constraint_table.jpg
- mm_result_summary_constraint_top.jpg
- mm_result_summary_table.jpg
- mm_result_summary_top.jpg
- offline_detailed_report.pdf
- offline_summary.pdf
- online_detailed_report.pdf
- online_summary.pdf
- - minimize_latency.yml
  - sweep_checkpoints.py
  - test_pa.py
- checkpoint_experiment_data.py
- config_command_experiment.py
- evaluate_config_generator.py
- experiment_config_command_creator.py
- experiment_data.py
- experiment_evaluator.py
- experiment_file_writer.py
- experiment_plot.py
- generator_experiment_factory.py
- main.py
- start_profiles.sh
- - _helpers.tpl
  - config-map.yaml
  - job.yaml
- .helmignore
- Chart.yaml
- values.yaml
- - __init__.py
  - cli.py
- - __init__.py
- - __init__.py
  - device.py
  - gpu_device.py
  - gpu_device_factory.py
- - __init__.py
  - cpu_monitor.py
  - monitor.py
  - remote_monitor.py
- - __init__.py
  - file_writer.py
  - output_writer.py
- - __init__.py
  - genai_perf_config.py
  - perf_analyzer.py
  - perf_config.py
- - __init__.py
  - detailed_plot.py
  - plot_manager.py
  - simple_plot.py
- - __init__.py
  - gpu_record.py
  - metrics_manager.py
  - record.py
  - record_aggregator.py
- - __init__.py
  - html_report.py
  - pdf_report.py
  - report.py
  - report_factory.py
  - report_manager.py
  - report_utils.py
- - __init__.py
  - constraint_manager.py
  - model_config_measurement.py
  - model_constraints.py
  - parameter_search.py
  - result_manager.py
  - result_statistics.py
  - result_table.py
  - result_table_manager.py
  - result_utils.py
  - results.py
  - run_config_measurement.py
  - run_config_result.py
  - run_config_result_comparator.py
  - sorted_results.py
- - __init__.py
  - analyzer_state.py
  - analyzer_state_manager.py
- - __init__.py
- __init__.py
- analyzer.py
- constants.py
- entrypoint.py
- log_formatter.py
- model_analyzer_exceptions.py
- model_manager.py
- - check_analyzer_results.sh
  - check_copyright.py
  - util.sh
- - check_results.py
  - input_data.json
  - test.sh
  - test_config_generator.py
- - config_generator.py
  - test.sh
- - config_generator.py
  - test.sh
- - test.sh
  - test_config_generator.py
- - test.sh
- - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - test.sh
  - test_config_generator.py
- - test.sh
- - mkdocs.yml
  - test.sh
- - check_results.py
  - config_composing_ranges.yml
  - test.sh
  - test_config_generator.py
- - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - test.sh
  - test_config_generator.py
- - check_results.py
  - input_data.json
  - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - config_generator.py
  - test.sh
- - check_results.py
  - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - test.sh
- - check_results.py
  - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - test.sh
- - check_results.py
  - test.sh
  - test_config_generator.py
- - check_gpus.py
  - test.sh
  - test_config_generator.py
- - broken_config.yml
  - test.sh
  - working_config.yml
- - broken_config.yml
  - nginx.conf
  - test.sh
  - working_config.yml
- - check_results.py
  - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - check_results.py
  - test.sh
  - test_config_generator.py
- - count_tests.py
  - test.sh
- - test_result_collector.py
  - test_utils.py
- - __init__.py
  - mock_api_error.py
  - mock_base.py
  - mock_client.py
  - mock_config.py
  - mock_dcgm.py
  - mock_dcgm_agent.py
  - mock_dcgm_field_group_watcher.py
  - mock_glob.py
  - mock_gpu_device_factory.py
  - mock_io.py
  - mock_json.py
  - mock_matplotlib.py
  - mock_model_config.py
  - mock_numba.py
  - mock_os.py
  - mock_perf_analyzer.py
  - mock_psutil.py
  - mock_requests.py
  - mock_run_configs.py
  - mock_server.py
  - mock_server_docker.py
  - mock_server_local.py
- __init__.py
- test_analyzer.py
- test_bls_report_manager.py
- test_cli.py
- test_config.py
- test_config_composing_model_validation.py
- test_constraint_manager.py
- test_coordinate.py
- test_coordinate_data.py
- test_cpu_monitor.py
- test_dcgm_monitor.py
- test_ensemble_composing_model_integration.py
- test_ensemble_report_manager.py
- test_extract_instance_group_kind.py
- test_file_writer.py
- test_html_report.py
- test_logger.py
- test_model_config.py
- test_model_config_generator.py
- test_model_config_measurement.py
- test_model_constraints.py
- test_model_manager.py
- test_model_variant_name_manager.py
- test_neighborhood.py
- test_optuna_run_config_generator.py
- test_parameter_search.py
- test_pdf_report.py
- test_perf_analyzer.py
- test_perf_analyzer_config_generator.py
- test_plot.py
- test_plot_manager.py
- test_quick_run_config_generator.py
- test_record_aggregator.py
- test_record_types.py
- test_remote_monitor.py
- test_report_manager.py
- test_report_utils.py
- test_result_manager.py
- test_result_table.py
- test_result_table_manager.py
- test_results.py
- test_run_config.py
- test_run_config_generator.py
- test_run_config_measurement.py
- test_run_config_result.py
- test_run_config_result_comparator.py
- test_search_config.py
- test_search_dimension.py
- test_search_dimensions.py
- test_search_dimensions_factory.py
- test_search_parameters.py
- test_sorted_results.py
- test_state_manager.py
- test_triton_client.py
- test_triton_server.py
- test_triton_server_factory.py
- test_yaml_options.py
- add_copyright.py
- COPYRIGHT
.clang-format
.gitattributes
.gitignore
.pre-commit-config.yaml
CONTRIBUTING.md
Dockerfile
LICENSE
nvidia_entrypoint.sh
pyproject.toml
README.md
VERSION

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/triton-inference-server/model_analyzer

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd model_analyzer

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Docker

쉬움 추천

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.

docker build -t model-analyzer .

Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.

docker run -p 8080:80 model-analyzer

빌드된 이미지를 실제 컨테이너로 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

3. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install .

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

python <실행할 파일명>.py # README에서 정확한 실행 파일명을 확인하세요

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

model_analyzer

파일 탐색기

# 설치 가이드

2. Docker

3. Python

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

model_analyzer

파일 탐색기

# 설치 가이드

2. Docker

3. Python

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README