promptfoo

KO | EN

gitlite — search

#python #javascript #react #deep-learning #rust #html #artificial-intelligence #docker #typescript #airdrop #airdrop-claim-bot #airdrop-farm

★ 24,277 Open GitHub ↗

프롬프트, 에이전트, RAG를 테스트하세요. AI를 위한 레드 팀 테이밍/모의 해킹/취약점 스캐닝. GPT, Claude, Gemini, DeepSeek 등의 성능을 비교해 보세요. 명령줄 및 CI/CD 통합을 지원하는 간단하고 선언적인 설정입니다. OpenAI와 Anthropic에서 사용합니다.

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# Promptfoo: LLM evals & red teaming

<code>promptfoo</code>는 LLM 앱을 평가하고 레드 팀 테이밍을 수행하기 위한 CLI 및 라이브러리입니다. 시행착오 방식은 이제 그만두고, 안전하고 신뢰할 수 있는 AI 앱을 배포하세요.

<a href="https://www.promptfoo.dev">Website</a> ·
 <a href="https://www.promptfoo.dev/docs/getting-started/">Getting Started</a> ·
 <a href="https://www.promptfoo.dev/docs/red-team/">Red Teaming</a> ·
 <a href="https://www.promptfoo.dev/docs/">Documentation</a> ·
 <a href="https://discord.gg/promptfoo">Discord</a>

> Promptfoo는 이제 OpenAI의 일원입니다. Promptfoo는 오픈 소스이자 MIT 라이선스로 계속 유지됩니다. [회사 소식(company update)](https://www.promptfoo.dev/blog/promptfoo-joining-openai/)을 읽어보세요.

## Quick Start

npm 및 npx를 사용하려면 [Node.js](https://nodejs.org/en/download) `>=22.22.0` 버전이 필요합니다. Node.js 24 LTS를 권장합니다. [런타임 지원 가이드(runtime support guide)](https://www.promptfoo.dev/docs/installation/#nodejs-runtime-support)를 참조하세요.

```sh
npm install -g promptfoo
promptfoo init --example getting-started
```

`brew install promptfoo` 및 `pip install promptfoo`를 통해서도 이용할 수 있습니다. 또한 별도의 설치 없이 `npx promptfoo@latest`를 사용하여 모든 명령을 실행할 수 있습니다.

대부분의 LLM 공급자는 API 키가 필요합니다. 본인의 API 키를 환경 변수로 설정하세요:

```sh
export OPENAI_API_KEY=sk-abc123
```

예제 디렉터리로 이동한 후, 평가를 실행하고 결과를 확인하세요:

```sh
cd getting-started
promptfoo eval
promptfoo view
```

자세한 내용은 [Getting Started](https://www.promptfoo.dev/docs/getting-started/) (평가) 또는 [Red Teaming](https://www.promptfoo.dev/docs/red-team/) (취약점 스캐닝)을 참조하세요.

## What can you do with Promptfoo?

- [자동화된 평가(automated evaluations)](https://www.promptfoo.dev/docs/getting-started/)를 통해 **프롬프트와 모델 테스트**
- [레드 팀 테이밍(red teaming)](https://www.promptfoo.dev/docs/red-team/) 및 취약점 스캐닝을 통해 **LLM 앱 보안 강화**
- 모델을 나란히 놓고 **비교** (OpenAI, Anthropic, Azure, Bedrock, Ollama 및 [기타 항목들](https://www.promptfoo.dev/docs/providers/))
- [CI/CD](https://www.promptfoo.dev/docs/integrations/ci-cd/)에서 **검사 자동화**
- [코드 스캐닝(code scanning)](https://www.promptfoo.dev/docs/code-scanning/)을 사용하여 LLM 관련 보안 및 규정 준수 문제에 대한 풀 리퀘스트 검토
- 팀과 **결과 공유**

실행 중인 모습은 다음과 같습니다:

명령줄에서도 작동합니다:

[보안 취약점 보고서(security vulnerability reports)](https://www.promptfoo.dev/docs/red-team/)도 생성할 수 있습니다:

## Why Promptfoo?

- **개발자 우선(Developer-first)**: 라이브 리로드 및 캐싱과 같은 기능으로 빠른 속도 제공
- **프라이버시 보장(Private)**: LLM 평가는 100% 로컬에서 실행되며, 프롬프트가 기기를 벗어나지 않음
- **유연성(Flexible)**: 모든 LLM API 또는 프로그래밍 언어와 연동 가능
- **실전 검증됨(Battle-tested)**: 프로덕션 환경에서 1,000만 명 이상의 사용자를 서비스하는 LLM 앱 구동
- **데이터 기반(Data-driven)**: 직관이 아닌 지표를 바탕으로 의사결정
- **오픈 소스(Open source)**: MIT 라이선스 적용, 활발한 커뮤니티 운영

## Learn More

- [Getting Started](https://www.promptfoo.dev/docs/getting-started/)
- [Full Documentation](https://www.promptfoo.dev/docs/intro/)
- [Red Teaming Guide](https://www.promptfoo.dev/docs/red-team/)
- [CLI Usage](https://www.promptfoo.dev/docs/usage/command-line/)
- [Node.js Package](https://www.promptfoo.dev/docs/usage/node-package/)
- [Supported Models](https://www.promptfoo.dev/docs/providers/)
- [Code Scanning Guide](https://www.promptfoo.dev/docs/code-scanning/)

## Contributing

기여를 환영합니다! 시작하려면 [기여 가이드(contributing guide)](https://www.promptfoo.dev/docs/contributing/)를 확인하세요.

도움과 토론을 위해 [Discord 커뮤니티](https://discord.gg/promptfoo)에 참여하세요.

promptfoo

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README