evalplus
Rigourous evaluation of LLM-synthesized code - NeurIPS 2023 & COLM 2024
파일 탐색기
최종 버전 다운로드 (.zip)- buggy_contract.yml
- buggy_test.yml
- config.yml
- model_eval_request.yml
- ci.yml
- pre-commit.yml
- cli.md
- evalperf.md
- execution.md
- ollama.md
- __init__.py
- humaneval.py
- mbpp.py
- utils.py
- __init__.py
- _special_oracle.py
- utils.py
- __init__.py
- anthropic_request.py
- ollama_request.py
- openai_request.py
- __init__.py
- chatgpt_gen.py
- mut_gen.py
- type_mut.py
- __init__.py
- profile.py
- sampling.py
- sas.py
- select_pe_inputs.py
- select_pe_tasks.py
- __init__.py
- anthropic.py
- base.py
- bedrock.py
- google.py
- gptqmodel.py
- hf.py
- hf_gaudi.py
- ollama.py
- openai.py
- utility.py
- vllm.py
- __init__.py
- codegen.py
- config.py
- evalperf.py
- evaluate.py
- inputgen.py
- lecacy_sanitize.py
- sanitize.py
- syncheck.py
- utils.py
- overview.png
- render.gif
- requirements.txt
- test_legacy_sanitizer.py
- test_treesitter_sanitizer.py
- evaluate_coverage.py
- evaluate_runtime.py
- generate_big_input.py
- README.md
- set_cover.py
- topset_distill.py
- type_mut_for_eff.py
- hf_upload.py
- intra_model_viz.py
- pairwise_heatmap.py
- viz_by_params.py
- check_ground_truth.py
- filter_extreme.py
- fix_utils.py
- fix_v011.py
- fix_v012.py
- fix_v013.py
- fix_v014.py
- fix_v015.py
- fix_v016.py
- fix_v017.py
- fix_v018.py
- fix_v019.py
- init_ground_truth.py
- init_plus.py
- to_original_fmt.py
- check_ground_truth.py
- filter_extreme.py
- fix_v010.py
- fix_v020.py
- init_ground_truth.py
- init_plus.py
- to_original_fmt.py
- .gitignore
- __init__.py
- coverage_init.py
- minimization.py
- mutation_init.py
- README.md
- requirements.txt
- run.py
- sample_init.py
- utils.py
- checker.py
- collect_valid_solutions.py
- directory_to_jsonl.py
- filter_inputs.py
- merge_dataset.py
- render.py
- requirements.txt
- sanitize.py
- stat_plus.py
- viz_passrate.py
- zip_solutions.py
- .dockerignore
- .gitignore
- .pre-commit-config.yaml
- CITATION.cff
- Dockerfile
- LICENSE
- MANIFEST.in
- pyproject.toml
- README.md
- release.sh
- requirements-evalperf.txt
- requirements-gaudi.txt
- requirements.txt
- setup.cfg
🚀 설치 가이드
1. 코드 내려받기
git clone https://github.com/evalplus/evalplus
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd evalplus
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. 공식 설치 스크립트
쉬움 추천사전 준비물
- Python 3 pip 명령어를 쓰려면 Python이 필요합니다.
pip install --upgrade "evalplus[vllm] @ git+https://github.com/evalplus/evalplus"
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install --upgrade "evalplus[perf,vllm] @ git+https://github.com/evalplus/evalplus"
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install packaging ninja
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install flash-attn --no-build-isolation
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
3. Docker
쉬움사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker run --rm --pull=always -v $(pwd)/evalplus_results:/app ganler/evalplus:latest \
빌드된 이미지를 실제 컨테이너로 실행합니다.
docker run --cap-add PERFMON --rm --pull=always -v $(pwd)/evalplus_results:/app ganler/evalplus:latest \
빌드된 이미지를 실제 컨테이너로 실행합니다.
<a href="https://hub.docker.com/r/ganler/evalplus" title="Docker"><img src="https://img.shields.io/docker/image-size/ganler/evalplus"></a>
이 명령어를 터미널에 그대로 입력해 실행하세요.
터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
4. Python
쉬움사전 준비물
pip install --upgrade "evalplus[vllm] @ git+https://github.com/evalplus/evalplus"
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install --upgrade "evalplus[perf,vllm] @ git+https://github.com/evalplus/evalplus"
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install packaging ninja
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install flash-attn --no-build-isolation
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install git+https://github.com/huggingface/optimum-habana.git
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
// repository documentation
Was this content helpful?
(0 ratings)