prometheus-eval

(β˜… 1,107)

Evaluate your LLM's response with Prometheus and GPT4 πŸ’―

  • .gitignore
  • LICENSE
  • README.md

# μ„€μΉ˜ κ°€μ΄λ“œ

1. μ½”λ“œ λ‚΄λ €λ°›κΈ°
git clone https://github.com/prometheus-eval/prometheus-eval

κΉƒν—ˆλΈŒμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œ 전체λ₯Ό λ‚΄ μ»΄ν“¨ν„°λ‘œ λ‚΄λ €λ°›μŠ΅λ‹ˆλ‹€.

cd prometheus-eval

방금 내렀받은 ν”„λ‘œμ νŠΈ 폴더 μ•ˆμœΌλ‘œ μ΄λ™ν•©λ‹ˆλ‹€.

2. 곡식 μ„€μΉ˜ 슀크립트

쉬움 μΆ”μ²œ
사전 μ€€λΉ„λ¬Ό
  • Python 3 pip λͺ…λ Ήμ–΄λ₯Ό μ“°λ €λ©΄ Python이 ν•„μš”ν•©λ‹ˆλ‹€.
pip install prometheus-eval

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install vllm

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

βœ… μ„€μΉ˜ ν›„ μƒˆ 터미널을 μ—΄κ³ , ν”„λ‘œκ·Έλž¨μ˜ 버전 확인 λͺ…λ Ή(예: --version)으둜 정상 μ„€μΉ˜λλŠ”μ§€ ν™•μΈν•˜μ„Έμš”.

이 레포의 README에 적힌 μ‹€μ œ λͺ…λ Ήμ–΄λ₯Ό κ·ΈλŒ€λ‘œ κ°€μ Έμ™”μŠ΅λ‹ˆλ‹€.

3. Python

쉬움
사전 μ€€λΉ„λ¬Ό
  • Git GitHubμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œλ₯Ό λ‚΄λ €λ°›μœΌλ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€.
  • Python 3 μ„€μΉ˜ μ‹œ 'Add Python to PATH' μ˜΅μ…˜μ„ κΌ­ μ²΄ν¬ν•˜μ„Έμš” (Windows).
pip install prometheus-eval

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install vllm

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

βœ… μ—λŸ¬ λ©”μ‹œμ§€ 없이 μ‹€ν–‰λ˜κ³  터미널에 μ•ˆλ‚΄ 문ꡬ가 좜λ ₯되면 μ •μƒμž…λ‹ˆλ‹€.

이 레포의 README에 적힌 μ‹€μ œ λͺ…λ Ήμ–΄λ₯Ό κ·ΈλŒ€λ‘œ κ°€μ Έμ™”μŠ΅λ‹ˆλ‹€.

4. Make

보톡
사전 μ€€λΉ„λ¬Ό
  • Git GitHubμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œλ₯Ό λ‚΄λ €λ°›μœΌλ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€.
  • Make Linux/macOSλŠ” 보톡 κΈ°λ³Έ μ„€μΉ˜λ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€. WindowsλŠ” 별도 μ„€μΉ˜(예: MSYS2, WSL)κ°€ ν•„μš”ν•©λ‹ˆλ‹€.
cd libs/prometheus-eval

이 ν”„λ‘œμ νŠΈμ˜ κ΄€λ ¨ 파일이 ν•˜μœ„ 폴더 μ•ˆμ— μžˆμ–΄μ„œ, λ¨Όμ € κ·Έ ν΄λ”λ‘œ μ΄λ™ν•©λ‹ˆλ‹€.

make

μƒμ„±λœ λΉŒλ“œ 섀정을 λ°”νƒ•μœΌλ‘œ μ‹€μ œ μ»΄νŒŒμΌμ„ μ§„ν–‰ν•΄ μ‹€ν–‰ νŒŒμΌμ„ λ§Œλ“­λ‹ˆλ‹€.

βœ… μ—λŸ¬ 없이 λλ‚˜λ©΄ μ„±κ³΅μž…λ‹ˆλ‹€. μƒμ„±λœ μ‹€ν–‰ νŒŒμΌμ„ 직접 μ‹€ν–‰ν•΄λ³΄μ„Έμš”.
// repository documentation