promptfoo

(★ 24,435)

프롬프트, 에이전트, RAG를 테스트하세요. AI를 위한 레드 팀 테이밍/모의 해킹/취약점 스캐닝. GPT, Claude, Gemini, DeepSeek 등의 성능을 비교해 보세요. 명령줄 및 CI/CD 통합을 지원하는 간단하고 선언적인 설정입니다. OpenAI와 Anthropic에서 사용합니다.

파일 탐색기

최종 버전 다운로드 (.zip)

파일 수가 많아 일부만 표시됩니다. 전체 파일은 위 다운로드 버튼으로 확인해 주세요.

  • .biomeignore
  • .dockerignore
  • .git-blame-ignore-revs
  • .gitignore
  • .mailmap
  • .npmignore
  • .npmrc
  • .nvmrc
  • .prettierignore
  • .prettierrc.yaml
  • .release-please-manifest.json
  • .rubocop.yml
  • .ruff.toml
  • AGENTS.md
  • biome.jsonc
  • CHANGELOG.md
  • CITATION.cff
  • CLAUDE.md
  • CODE_OF_CONDUCT.md
  • codecov.yml
  • CONTRIBUTING.md
  • Dockerfile
  • drizzle.config.ts
  • knip.jsonc
  • LICENSE
  • package-lock.json
  • package.json
  • pnpm-workspace.yaml
  • README.md
  • release-please-config.json
  • renovate.json
  • SECURITY.md

🚀 설치 가이드

1. 코드 내려받기
git clone https://github.com/promptfoo/promptfoo

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd promptfoo

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천
사전 준비물
  • Node.js npm 명령어를 쓰려면 Node.js가 설치되어 있어야 합니다.
npm install -g promptfoo

npm 레지스트리에 배포된 패키지를 전역으로 설치합니다. 소스 클론이 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Docker

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker build -t promptfoo .

Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.

docker run -p 8080:80 promptfoo

빌드된 이미지를 실제 컨테이너로 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

4. Node.js

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Node.js npm 명령어를 쓰려면 Node.js가 설치되어 있어야 합니다. LTS(장기지원) 버전을 추천합니다.
npm install -g promptfoo

npm 레지스트리에 배포된 패키지를 전역으로 설치합니다. 소스 클론이 필요 없습니다.

✅ 명령어 실행 후 터미널에 나타나는 주소(보통 http://localhost:3000 형태)를 브라우저에서 열어보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

5. Python

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).
pip install -r examples/eval-bert-score/requirements.txt

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

python <실행할 파일명>.py # README에서 정확한 실행 파일명을 확인하세요

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

6. Go

보통
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Go Go 언어 컴파일러 및 도구 모음입니다.
cd examples/provider-golang

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

go build ./...

Go 프로그램을 컴파일해 실행 파일을 만듭니다.

go run .

따로 빌드하지 않고 바로 Go 프로그램을 실행합니다.

✅ 빌드가 에러 없이 끝나면 성공입니다. go run . 을 썼다면 터미널 출력을 확인하세요.

오늘의 추천 프로젝트

crawl4ai ★ 78,364

🚀🤖 Crawl4AI: 오픈소스 LLM 친화적 웹 크롤러 & 스크레이퍼. 망설이지 말고 참여하세요: https://discord.gg/jP8KfhDhyN

Python
awesome-react ★ 74,293

React 생태계에 관한 멋진 자료 모음
freeCodeCamp ★ 454,112

freeCodeCamp.org의 오픈소스 코드베이스와 커리큘럼입니다. 수학, 프로그래밍, 컴퓨터 과학을 무료로 배우세요.

TypeScript
opencode ★ 198,078

오픈 소스 코딩 에이전트입니다.

TypeScript
ML-For-Beginners ★ 89,441

12주, 26개의 강좌, 52개의 퀴즈, 모두를 위한 클래식 머신러닝 커리큘럼

Jupyter Notebook
material-ui ★ 98,830

Material UI: 구글의 Material Design을 구현한 포괄적인 React 컴포넌트 라이브러리입니다. 평생 무료로 제공됩니다.

JavaScript
// repository documentation