optimum-benchmark

(β˜… 339)

πŸ‹οΈ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffusers and Sentence-Transformers with full support of Optimum's hardware optimizations & quantization schemes.

파일 탐색기

μ΅œμ’… 버전 λ‹€μš΄λ‘œλ“œ (.zip)
  • .gitignore
  • .python-version
  • CONTRIBUTING.md
  • LICENSE
  • logo.png
  • Makefile
  • pyproject.toml
  • README.md
  • uv.lock
  • uv.toml

# μ„€μΉ˜ κ°€μ΄λ“œ

1. μ½”λ“œ λ‚΄λ €λ°›κΈ°
git clone https://github.com/huggingface/optimum-benchmark

κΉƒν—ˆλΈŒμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œ 전체λ₯Ό λ‚΄ μ»΄ν“¨ν„°λ‘œ λ‚΄λ €λ°›μŠ΅λ‹ˆλ‹€.

cd optimum-benchmark

방금 내렀받은 ν”„λ‘œμ νŠΈ 폴더 μ•ˆμœΌλ‘œ μ΄λ™ν•©λ‹ˆλ‹€.

2. 곡식 μ„€μΉ˜ 슀크립트

쉬움 μΆ”μ²œ
사전 μ€€λΉ„λ¬Ό
  • Python 3 pip λͺ…λ Ήμ–΄λ₯Ό μ“°λ €λ©΄ Python이 ν•„μš”ν•©λ‹ˆλ‹€.
pip install uv

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install optimum-benchmark

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install git+https://github.com/huggingface/optimum-benchmark.git

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

βœ… μ„€μΉ˜ ν›„ μƒˆ 터미널을 μ—΄κ³ , ν”„λ‘œκ·Έλž¨μ˜ 버전 확인 λͺ…λ Ή(예: --version)으둜 정상 μ„€μΉ˜λλŠ”μ§€ ν™•μΈν•˜μ„Έμš”.

이 레포의 README에 적힌 μ‹€μ œ λͺ…λ Ήμ–΄λ₯Ό κ·ΈλŒ€λ‘œ κ°€μ Έμ™”μŠ΅λ‹ˆλ‹€.

3. Docker

쉬움
사전 μ€€λΉ„λ¬Ό
  • Git GitHubμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œλ₯Ό λ‚΄λ €λ°›μœΌλ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€.
  • Docker Desktop μ»¨ν…Œμ΄λ„ˆλ₯Ό λΉŒλ“œν•˜κ³  μ‹€ν–‰ν•˜λ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€. μ„€μΉ˜ ν›„ μ‹€ν–‰ν•΄μ„œ λ°±κ·ΈλΌμš΄λ“œμ— μΌœλ‘μ„Έμš”.
⚠️ 이 ν”„λ‘œμ νŠΈλŠ” 규λͺ¨κ°€ 큰 μ €μž₯μ†ŒλΌ, 이 방법이 μ‹€μ œ 핡심 μ œν’ˆμ΄ μ•„λ‹ˆλΌ λ‚΄λΆ€ ν•˜μœ„ νŒ¨ν‚€μ§€λ₯Ό κ°€λ¦¬ν‚€λŠ” 것일 수 μžˆμŠ΅λ‹ˆλ‹€. README 전체λ₯Ό ν•¨κ»˜ ν™•μΈν•΄λ³΄μ„Έμš”.
docker build -f docker/cpu/Dockerfile -t optimum-benchmark .

Dockerfile을 기반으둜 μ‹€ν–‰ κ°€λŠ₯ν•œ 이미지λ₯Ό λΉŒλ“œν•©λ‹ˆλ‹€.

docker run -p 8080:80 optimum-benchmark

λΉŒλ“œλœ 이미지λ₯Ό μ‹€μ œ μ»¨ν…Œμ΄λ„ˆλ‘œ μ‹€ν–‰ν•©λ‹ˆλ‹€.

βœ… 터미널에 docker compose ps λ₯Ό μž…λ ₯ν•΄ μ»¨ν…Œμ΄λ„ˆλ“€μ΄ Up μƒνƒœμΈμ§€ ν™•μΈν•˜μ„Έμš”. README에 포트 λ²ˆν˜Έκ°€ μ ν˜€μžˆλ‹€λ©΄ λΈŒλΌμš°μ €μ—μ„œ http://localhost:포트번호 둜 μ ‘μ†ν•΄λ³΄μ„Έμš”.

4. Python

쉬움
사전 μ€€λΉ„λ¬Ό
  • Git GitHubμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œλ₯Ό λ‚΄λ €λ°›μœΌλ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€.
  • Python 3 μ„€μΉ˜ μ‹œ 'Add Python to PATH' μ˜΅μ…˜μ„ κΌ­ μ²΄ν¬ν•˜μ„Έμš” (Windows).
pip install uv

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install optimum-benchmark

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install git+https://github.com/huggingface/optimum-benchmark.git

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install -e .

requirements.txt 등에 λͺ…μ‹œλœ 파이썬 라이브러리λ₯Ό μ„€μΉ˜ν•©λ‹ˆλ‹€.

βœ… μ—λŸ¬ λ©”μ‹œμ§€ 없이 μ‹€ν–‰λ˜κ³  터미널에 μ•ˆλ‚΄ 문ꡬ가 좜λ ₯되면 μ •μƒμž…λ‹ˆλ‹€.

이 레포의 README에 적힌 μ‹€μ œ λͺ…λ Ήμ–΄λ₯Ό κ·ΈλŒ€λ‘œ κ°€μ Έμ™”μŠ΅λ‹ˆλ‹€.

5. Make

보톡
사전 μ€€λΉ„λ¬Ό
  • Git GitHubμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œλ₯Ό λ‚΄λ €λ°›μœΌλ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€.
  • Make Linux/macOSλŠ” 보톡 κΈ°λ³Έ μ„€μΉ˜λ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€. WindowsλŠ” 별도 μ„€μΉ˜(예: MSYS2, WSL)κ°€ ν•„μš”ν•©λ‹ˆλ‹€.
make

μƒμ„±λœ λΉŒλ“œ 섀정을 λ°”νƒ•μœΌλ‘œ μ‹€μ œ μ»΄νŒŒμΌμ„ 진행해 μ‹€ν–‰ νŒŒμΌμ„ λ§Œλ“­λ‹ˆλ‹€.

βœ… μ—λŸ¬ 없이 λλ‚˜λ©΄ μ„±κ³΅μž…λ‹ˆλ‹€. μƒμ„±λœ μ‹€ν–‰ νŒŒμΌμ„ 직접 μ‹€ν–‰ν•΄λ³΄μ„Έμš”.

였늘의 μΆ”μ²œ ν”„λ‘œμ νŠΈ

opencode β˜… 199,829

μ˜€ν”ˆ μ†ŒμŠ€ μ½”λ”© μ—μ΄μ „νŠΈμž…λ‹ˆλ‹€.

TypeScript
pi β˜… 94,938

AI μ—μ΄μ „νŠΈ νˆ΄ν‚·: 톡합 LLM API, μ—μ΄μ „νŠΈ 루프, TUI, μ½”λ”© μ—μ΄μ „νŠΈ CLI

TypeScript
awesome-llm-apps β˜… 133,464

100개 μ΄μƒμ˜ AI Agents, Agent Skills 및 RAG Apps - 무료 μ˜€ν”ˆμ†ŒμŠ€.

Python
ML-For-Beginners β˜… 89,646

12μ£Ό, 26개의 κ°•μ’Œ, 52개의 ν€΄μ¦ˆ, λͺ¨λ‘λ₯Ό μœ„ν•œ ν΄λž˜μ‹ λ¨Έμ‹ λŸ¬λ‹ 컀리큘럼

Jupyter Notebook
hermes-agent β˜… 233,851

λ‹Ήμ‹ κ³Ό ν•¨κ»˜ μ„±μž₯ν•˜λŠ” agent

Python
papers-we-love β˜… 108,897

컴퓨터 κ³Όν•™ λΆ„μ•Όμ˜ 읽고 ν† λ‘ ν•  λ§Œν•œ λ…Όλ¬Έ λͺ¨μŒμž…λ‹ˆλ‹€.

Shell
// repository documentation