prometheus-eval

(★ 1,107)

Evaluate your LLM's response with Prometheus and GPT4 💯

파일 탐색기

최종 버전 다운로드 (.zip)

- alpha_optimal.png
- analogy.png
- finegrained_eval.png
- formats.png
- logo.png
- promixtheus.png
- terminology.png
- - logo.png
- - README.md
- - basic_icl.txt
  - inst_1k.txt
  - inst_1k_v2.txt
  - inst_1k_v3.help.txt
  - inst_1k_v3.txt
  - inst_1k_v4.help.txt
  - inst_1k_v4.help.txt.md
  - inst_1k_v4.txt
  - inst_1k_v4.txt.md
  - inst_1shot.txt
  - inst_2k.txt
  - inst_2k_v4.txt
  - inst_help.txt
  - inst_help_mini_yi.txt
  - inst_help_v2 copy.txt
  - inst_help_v2.txt
  - inst_help_v2_yi.txt
  - inst_help_v3-1k.txt
  - inst_help_v3.txt
  - inst_help_v4.txt
  - inst_help_v5-1k.txt
  - inst_help_v5-2k.txt
  - inst_help_v6-1k.txt
  - inst_help_v6-2k.txt
  - inst_mini.txt
  - inst_only.txt
  - upload_hf.py
- .env.template
- .gitignore
- make_report.py
- poetry.lock
- pyproject.toml
- README.md
- requirements.txt
- run_api_inference.py
- run_base_inference.py
- run_chat_inference.py
- run_response_eval.py
- sample_evals.json
- sample_responses.json
- urial_conversation.py
- - __init__.py
  - data_loader.py
- - __init__.py
  - prometheus_utils.py
  - vllm_utils.py
- __init__.py
- consistency.py
- get_report.py
- parser.py
- prompts.py
- README.md
- run_evaluate.py
- transitivity.py
- utils.py
- - Makefile
  - poetry.lock
  - pyproject.toml
  - README.md
  - test_absolute.py
  - test_relative.py
- example_absolute.py
- example_relative.py
- - handbook.png
- - launch.slurm
- - conversation.py
  - README.md
  - run_dpo.py
  - run_sft.py
- - __init__.py
  - test_configs.py
  - test_data.py
  - test_model_utils.py
- .gitignore
- LICENSE
- Makefile
- README.md
- setup.cfg
- setup.py
.gitignore
LICENSE
README.md

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/prometheus-eval/prometheus-eval

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd prometheus-eval

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천

사전 준비물

Python 3 pip 명령어를 쓰려면 Python이 필요합니다.

pip install prometheus-eval

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install vllm

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install prometheus-eval

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install vllm

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

4. Make

보통

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Make Linux/macOS는 보통 기본 설치되어 있습니다. Windows는 별도 설치(예: MSYS2, WSL)가 필요합니다.

cd libs/prometheus-eval

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

make

생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.

✅ 에러 없이 끝나면 성공입니다. 생성된 실행 파일을 직접 실행해보세요.

prometheus-eval

파일 탐색기

# 설치 가이드

2. 공식 설치 스크립트

3. Python

4. Make

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

prometheus-eval

파일 탐색기

# 설치 가이드

2. 공식 설치 스크립트

3. Python

4. Make

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README