gorilla

KO | EN

gitlite — search

#hacktoberfest #react #ai #typescript #machine-learning #rust #deep-learning #macos #nodejs #awesome #awesome-list #security #ios #open-source

(★ 12,996)

Gorilla: Function Calls(Tool Calls)을 위한 LLM 학습 및 평가

gorilla 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# Gorilla: 대규모 API와 연결된 Large Language Model

![](https://github.com/ShishirPatil/gorilla/blob/gh-pages/assets/img/logo.png)

[![Arxiv](https://img.shields.io/badge/Gorilla\_Paper-2305.15334-.svg?style=flat-square)](https://arxiv.org/abs/2305.15334) [![Discord](https://img.shields.io/discord/1111172801899012102?label=Discord&logo=discord&logoColor=green&style=flat-square)](https://discord.gg/grXXvj9Whz) [![Gorilla Website](https://img.shields.io/badge/Website-gorilla.cs.berkeley.edu-blue?style=flat-square)](https://gorilla.cs.berkeley.edu/) [![Gorilla Blog](https://img.shields.io/badge/Blog-gorilla.cs.berkeley.edu/blog.html-blue?style=flat-square)](https://gorilla.cs.berkeley.edu/blog.html) [![Hugging Face](https://img.shields.io/badge/🤗-gorilla--llm-yellow.svg?style=flat-square)](https://huggingface.co/gorilla-llm)

## 최신 업데이트
> 📢 Berkeley Function Calling Leaderboard의 최신 데이터셋 및 모델 업데이트에 대한 자세한 [Berkeley Function Calling Leaderboard changelog](/berkeley-function-call-leaderboard/CHANGELOG.md) (마지막 업데이트: ![Last Updated](https://img.shields.io/github/last-commit/ShishirPatil/gorilla?path=berkeley-function-call-leaderboard/CHANGELOG.md))를 확인하세요!
- 🤖 [07/17/2025] BFCL V4 Agentic 공개! 함수 호출(function-calling)이 Agentic 시스템의 기반을 형성함에 따라, BFCL V4 Agentic 벤치마크는 다중 홉 추론 및 오류 복구가 포함된 웹 검색, 에이전트 메모리 관리, 형식 민감도 평가를 특징으로 하는 실제 에이전틱 환경에서의 툴 호출(tool-calling)에 중점을 둡니다. [[Web-search Blog](https://gorilla.cs.berkeley.edu/blogs/15\_bfcl\_v4\_web\_search.html)] [[Memory Blog](https://gorilla.cs.berkeley.edu/blogs/16\_bfcl\_v4\_memory.html)] [[Format Sensitivity Blog](https://gorilla.cs.berkeley.edu/blogs/17\_bfcl\_v4\_prompt\_variation.html)] [[PR](https://github.com/ShishirPatil/gorilla/pull/1019)] [[Tweet](https://x.com/shishirpatil\_/status/1946020561626546176)]
- 🎯 [10/04/2024] Gorilla와 LMSYS Chatbot Arena가 함께 만든 Agent Arena 소개! 검색, 금융, RAG 등의 태스크에서 다양한 에이전트를 비교해 보세요. 새로운 순위 시스템과 커뮤니티 기반 프롬프트 허브를 통해 어떤 모델과 툴이 특정 태스크에 가장 적합한지 탐색할 수 있습니다. [[Blog](https://gorilla.cs.berkeley.edu/blogs/14\_agent\_arena.html)] [[Arena](http://agent-arena.com)] [[Leaderboard](http://agent-arena.com/leaderboard)] [[Dataset](https://github.com/ShishirPatil/gorilla/tree/main/agent-arena#evaluation-directory)] [[Tweet](https://x.com/shishirpatil\_/status/1841876885757977044)]
- 📣 [09/21/2024] BFCL V3 공개 - 멀티턴 및 멀티스텝 함수 호출 능력 평가! 새로운 상태 기반 평가 시스템은 복잡한 워크플로우, 순차적 함수, 서비스 상태를 처리하는 모델의 능력을 테스트합니다. [[Blog](https://gorilla.cs.berkeley.edu/blogs/13\_bfcl\_v3\_multi\_turn.html)] [[Leaderboard](https://gorilla.cs.berkeley.edu/leaderboard.html)] [[Code](https://github.com/ShishirPatil/gorilla/tree/main/berkeley-function-call-leaderboard)] [[Tweet](https://x.com/shishirpatil\_/status/1837205152132153803)]
- 🚀 [08/20/2024] BFCL V2 • Live 출시! 이제 Berkeley Function-Calling Leaderboard에서 기업이 기여한 데이터와 실제 시나리오를 제공합니다. [[Blog](https://gorilla.cs.berkeley.edu/blogs/12\_bfcl\_v2\_live.html)] [[Live Leaderboard](https://gorilla.cs.berkeley.edu/leaderboard\_live.html)] [[V2 Categories Leaderboard](https://gorilla.cs.berkeley.edu/leaderboard.html)] [[Tweet](https://x.com/shishirpatil\_/status/1825577931697233999)]
- ⚡️ [04/12/2024] 코드, API 호출 등 LLM이 생성한 액션을 위한 런타임인 GoEx를 출시하게 되어 기쁩니다. 실행 후 LLM 액션을 평가하는 "사후 검증(post-facto validation)", 의도하지 않은 액션과 위험을 관리하기 위한 "실행 취소(undo)" 및 "피해 격리(damage confinement)" 추상화를 특징으로 합니다. 이는 완전 자율형 LLM 에이전트의 기반을 다지며, 인간의 개입 없이(human-out-of-loop) 앱과 서비스 간의 상호작용을 향상시킵니다. [[Blog](https://gorilla.cs.berkeley.edu/blogs/10\_gorilla\_exec\_engine.html)] [[Code](https://github.com/ShishirPatil/gorilla/tree/main/goex)] [[Paper](https://arxiv.org/abs/2404.06921)] [[Tweet](https://x.com/shishirpatil\_/status/1778485140257452375)]
- ⏰ [04/01/2024] [Berkeley function calling leaderboard](https://gorilla.cs.berkeley.edu/leaderboard)에 비용 및 지연 시간 지표 도입!
- :rocket: [03/15/2024] RAFT: 도메인 특화 RAG에 언어 모델 적응시키기 공개! [[MSFT-Meta blog](https://techcommunity.microsoft.com/t5/ai-ai-platform-blog/bg-p/AIPlatformBlog)] [[Berkeley Blog](https://gorilla.cs.berkeley.edu/blogs/9\_raft.html)]
- :trophy: [02/26/2024] [Berkeley Function Calling Leaderboard](https://gorilla.cs.berkeley.edu/leaderboard) 출시!
- :dart: [02/25/2024] [OpenFunctions v2](https://gorilla.cs.berkeley.edu/blogs/7\_open\_functions\_v2.html)가 오픈소스 LLM의 새로운 SoTA를 달성했습니다!
- :fire: [11/16/2023]

[Gorilla OpenFunctions](https://gorilla.cs.berkeley.edu/blogs/4\_open\_functions.html) 출시를 기쁘게 생각합니다!
- 💻 [2023/06/29] CLI를 위한 LLM인 [gorilla-cli](https://github.com/gorilla-llm/gorilla-cli)가 출시되었습니다!
- 🟢 [2023/06/06] 상업적 사용이 가능하고 Apache 2.0 라이선스가 적용되는 Gorilla 모델이 출시되었습니다.
- :rocket: [2023/05/30] Gorilla와 대화할 수 있는 [CLI 인터페이스](inference/README.md)가 제공되었습니다!
- :rocket: [2023/05/28] Torch Hub 및 TensorFlow Hub 모델이 출시되었습니다!
- :rocket: [2023/05/27] 첫 번째 Gorilla 모델이 출시되었습니다! [![Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/drive/1y78Zj7xHysX0xMpr9S468HYs12Mj6X1F?usp=sharing) 또는 [:hugs:](https://huggingface.co/gorilla-llm/gorilla-7b-hf-delta-v0)를 확인하세요!
- :fire: [2023/05/27] 커뮤니티의 API 기여를 위한 APIZoo 기여 가이드가 공개되었습니다!
- :fire: [2023/05/25] APIBench 데이터셋과 Gorilla의 평가 코드가 공개되었습니다!
## 소개
\*\*Gorilla는 API를 호출하여 LLM이 도구를 사용할 수 있도록 지원합니다. 자연어 쿼리가 주어지면 Gorilla는 의미론적 및 구문론적으로 올바른 API 호출을 생성합니다.\*\*
Gorilla를 통해 우리는 환각(hallucination)을 줄이면서 1,600개 이상(지속적으로 증가 중)의 API 호출을 정확하게 수행하도록 LLM을 사용하는 방법을 최초로 선보였습니다. 이 저장소에는 파인튜닝된 Gorilla 모델을 실행하기 위한 [추론 코드](/gorilla/inference), 논문의 결과를 재현하기 위한 [평가 코드](/gorilla/eval), 그리고 방대한 API 컬렉션이자 큐레이션되어 쉽게 학습할 수 있는 [APIBench](/data)가 포함되어 있습니다!
최초 출시 이후 약 50만 건의 요청을 처리했으며 전 세계 개발자들로부터 놀라운 채택을 목격했습니다. 이 프로젝트는 도구, 평가, 리더보드, 엔드투엔드 파인튜닝 레시피, 인프라 컴포넌트, 그리고 Gorilla API Store를 포함하도록 확장되었습니다:
| 프로젝트 | 유형 | 설명 (펼치려면 클릭) |
|---------|------|---------------------------|
| [Gorilla Paper](https://arxiv.org/abs/2305.15334) | 🤖 모델  
📝 파인튜닝  
📚 데이터셋  
📊 평가  
🔧 인프라 | 대규모 API와 연결된 대형 언어 모델• API 호출을 위한 새로운 파인튜닝 접근 방식  
• 1,600개 이상의 API 평가 (APIBench)  
• 테스트 타임 적응을 위한 검색 증강(Retrieval-augmented) 학습 |
| [Gorilla OpenFunctions-V2](openfunctions/) | 🤖 모델 | 여러 복잡한 데이터 타입과 병렬 실행을 지원하는, 함수 호출(function calling)을 위한 대체 가능한 드롭인 솔루션• OpenAI 호환 엔드포인트로 다중 및 병렬 함수 실행  
• 확장된 데이터 타입으로 Python, Java, JavaScript 및 REST API 기본 지원  
• 환각을 줄이기 위한 함수 관련성 감지  
• 향상된 RESTful API 포맷팅 기능  
• 오픈소스 모델 중 최고 수준의 성능 |
| [Berkeley Function Calling Leaderboard (BFCL)](berkeley-function-call-leaderboard/) | 📊 Evaluation  
🏆 Leaderboard  
🔧 Function Calling Infra  
📚 Dataset | 함수 호출 능력에 대한 종합적인 평가• V1: 단일 턴 함수 호출 평가를 위해 전문가가 큐레이션한 데이터셋  
• V2: 실제 시나리오를 위해 기업이 기여한 데이터  
• V3: 멀티 턴 및 멀티 스텝 함수 호출 평가  
• 모든 모델의 비용 및 지연 시간(latency) 메트릭  
• 테스트를 위한 대화형 API 탐색기  
• 커뮤니티 주도의 벤치마킹 플랫폼 |
| [Agent Arena](agent-arena/) | 📊 Evaluation  
🏆 Leaderboard | 모델, 도구, 프레임워크 전반의 LLM 에이전트 비교• ELO 레이팅 시스템을 사용한 에이전트 간 1대1 비교  
• 프레임워크 호환성 테스트 (LangChain, AutoGPT)  
• 커뮤니티 주도 평가 플랫폼  
• 실제 태스크 성능 메트릭 |
| [Gorilla Execution Engine (GoEx)](goex/) | 🔧 Infra | 안전성 보장과 함께 LLM이 생성한 액션을 실행하는 런타임• 실행 후 LLM 액션을 검증하기 위한 사후 검증(Post-facto validation)  
• 리스크 완화를 위한 실행 취소(Undo) 기능 및 피해 격리  
• 여러 서비스를 위한 OAuth2 및 API 키 인증  
• RESTful API, 데이터베이스 및 파일 시스템 작업 지원  
• Docker 기반 샌드박스 실행 환경 |
| [Retrieval-Augmented Fine

-tuning (RAFT)](raft/) | 📝 파인튜닝  
🤖 모델 | 견고한 도메인 특화 검색을 위한 LLM 파인튜닝• 도메인 특화 RAG를 위한 새로운 파인튜닝 레시피  
• 직접적인 문서 인용이 포함된 사고의 사슬(Chain-of-thought) 답변  
• 오라클(Oracle) 및 오답(Distractor) 문서 학습  
• PubMed, HotpotQA 및 Gorilla 벤치마크에서의 성능 향상  
• 도메인 QA를 위한 소형 모델의 효율적 적응 |
| [Gorilla CLI](https://github.com/gorilla-llm/gorilla-cli) | 🤖 모델  
🔧 로컬 CLI 인프라 | 커맨드 라인 인터페이스를 위한 LLM• 약 1500개의 API를 지원하는 사용자 친화적 CLI 도구 (Kubernetes, AWS, GCP 등)  
• 다중 LLM 융합을 통한 자연어 명령어 생성  
• 명시적 실행 승인을 통한 프라이버시 중심 설계  
• 명령어 기록 및 대화형 선택 인터페이스 |
| [Gorilla API Zoo](apizoo/) | 📚 데이터셋 | 최신 API 문서가 커뮤니티에 의해 유지보수되는 저장소• 도메인별 API의 중앙집중식 검색 가능 인덱스  
• 인수, 버전 관리, 예제가 포함된 구조화된 문서 형식  
• API 변경 사항에 대응하기 위한 커뮤니티 주도 업데이트  
• 모델 학습 및 파인튜닝을 위한 풍부한 데이터 소스  
• 검색증강(Retrieval-augmented) 학습 및 추론 지원  
• 최신 문서를 통한 할루시네이션(환각 현상) 감소 |
## 시작하기
### 빠른 시작
브라우저에서 Gorilla를 체험해 보세요:
- 🚀 [Gorilla Colab Demo](https://colab.research.google.com/drive/1y78Zj7xHysX0xMpr9S468HYs12Mj6X1F?usp=sharing): 베이스 Gorilla 모델 체험하기
- 🌐 [Gorilla Gradio Demo](https://huggingface.co/spaces/gorilla-llm/gorilla-demo/): 인터랙티브 웹 인터페이스
- 🔥 [OpenFunctions Colab Demo](https://colab.research.google.com/drive/1Td3\_R5vPael9PnKYHcl-PxmZkZzA9TCo?usp=sharing): 최신 OpenFunctions 모델 체험하기
- 🎯 [OpenFunctions Website Demo](https://gorilla.cs.berkeley.edu/leaderboard.html#api-explorer): 함수 호출 실험하기
- 📊 [Berkeley Function Calling Leaderboard](https://gorilla.cs.berkeley.edu/leaderboard): 함수 호출 능력 비교하기
### 설치 옵션
1. \*\*Gorilla CLI\*\* - 가장 빠른 시작 방법
```bash
pip install gorilla-cli
gorilla generate 100 random characters into a file called test.txt
```
[Gorilla CLI에 대해 더 알아보기 →](https://github.com/gorilla-llm/gorilla-cli)
2. \*\*Gorilla 로컬 실행하기\*\*
```bash
git clone https://github.com/ShishirPatil/gorilla.git
cd gorilla/inference
```
[상세한 로컬 설정 가이드 →](/gorilla/inference/README.md)
3. \*\*OpenFunctions 사용하기\*\*
```python
import openai
openai.api\_key = "EMPTY"
openai.api\_base = "http://luigi.millennium.berkeley.edu:8000/v1"
# Define your functions
functions = [{
"name": "get\_current\_weather",
"description": "Get weather in a location",
"parameters": {
"type": "object",
"properties": {
"location": {"type": "string"},
"unit": {"type": "string", "enum": ["celsius", "fahrenheit"]}
},
"required": ["location"]
}
}]
# Make API call
completion = openai.ChatCompletion.create(
model="gorilla-openfunctions-v2",
messages=[{"role": "user", "content": "What's the weather in San Francisco?"}],
functions=functions
)
```
[OpenFunctions 문서 →](/openfunctions/README.md)
### 🔧 기타 빠른 시작
- 📊 \*\*평가 및 벤치마킹\*\*
- [Berkeley Function Calling Leaderboard](/berkeley-function-call-leaderboard/README.md): 함수 호출 능력 비교
- [Agent Arena](/agent-arena/README.md): 에이전트 워크플로우 평가
- [Gorilla Paper Evaluation Scripts](/gorilla/eval/README.md): 자체 평가 실행
- 🛠️ \*\*개발 도구\*\*
- [GoEx](/goex/README.md): LLM 생성 액션의 안전한 실행
- [RAFT](/raft/README.md): 도메인 특화 작업을 위한 모델 파인튜닝
- [API Store](/data/README.md): API 기여 및 사용
## 자주 묻는 질문 (FAQ)
1. Gorilla를 상업적으로 사용하고 싶습니다. Apache 2.0 라이선스가 적용된 버전이 나오나요?
네! 이제 의무 사항 없이 상업적으로 사용할 수 있는 모델이 준비되어 있습니다.
2. Langchain 등의 다른 도구와 함께 Gorilla를 사용할 수 있나요?
물론입니다! 우리 도구의 훌륭한 장점을 잘 짚어주셨습니다. Go

Gorilla는 추가적인 코딩 없이 정확한 API 호출(도구)을 수행하도록 특별히 맞춤화된 엔드투엔드 모델입니다. 더 넓은 생태계의 일부로 작동하도록 설계되었으며, 에이전트 프레임워크 및 기타 도구에 유연하게 통합될 수 있습니다.
Langchain은 다목적 개발자 도구입니다. Langchain의 "에이전트"는 Gorilla를 포함한 모든 LLM을 효율적으로 교체할 수 있어, 다양한 요구에 매우 적응력이 뛰어난 솔루션입니다.
이러한 도구들의 진정한 매력은 서로 협력하고 각자의 강점과 역량을 상호 보완하여 더욱 강력하고 포괄적인 솔루션을 만들어낼 때 빛을 발합니다. 바로 여기에 여러분의 기여가 변화를 만들어낼 수 있는 지점이 있습니다. 저희는 이러한 도구들을 더욱 다듬고 강화하기 위한 모든 의견을 열정적으로 환영합니다.
프로젝트에 Gorilla를 통합할 수 있는 다양한 방법을 확인하려면 [How to Use Gorilla: A Step-by-Step Walkthrough](https://gorilla.cs.berkeley.edu/blogs/5\_how\_to\_gorilla.html) 블로그를 확인해 보세요.

## Project Roadmap
가까운 미래에 다음 항목들을 출시할 계획입니다:
- [ ] 멀티모달 함수 호출 리더보드
- [ ] 에이전트 함수 호출 리더보드
- [ ] 사용자 기여 라이브 함수 호출 평가 신규 배치
- [ ] 오염 여부를 평가하기 위한 BFCL 메트릭
- [ ] 더 많은 언어와 멀티턴 기능을 지원하는 Openfunctions-v3 모델
- [x] 모델, 도구, 프레임워크 전반에서 LLM 에이전트를 비교하기 위한 Agent Arena [10/04/2024]
- [x] 멀티턴 및 멀티스텝 함수 호출 평가 [09/21/2024]
- [x] 사용자 기여 라이브 함수 호출 리더보드 [08/20/2024]
- [x] 비용 및 지연 시간을 포함한 BFCL 시스템 메트릭 [04/01/2024]
- [x] Gorilla Execution Engine (GoEx) - 안전성 보장과 함께 LLM이 생성한 액션을 실행하기 위한 런타임 [04/12/2024]
- [x] 도구 호출/함수 호출 모델을 평가하기 위한 Berkeley Function Calling leaderboard (BFCL) [02/26/2024]
- [x] 더 많은 언어(Java, JS, Python) 및 관련성 감지 기능이 추가된 Openfunctions-v2 [02/26/2024]
- [x] 모든 API에 쉽게 접근할 수 있는 API Zoo Index [02/16/2024]
- [x] 병렬 및 다중 함수 호출을 지원하는 Apache 2.0 기반 Openfunctions-v1 [11/16/2023]
- [x] Apache 2.0 함수 호출 모델 Openfunctions-v0 [11/16/2023]
- [X] 상업적 사용이 가능한 Apache 2.0 라이선스의 Gorilla 모델 출시 [06/05/2023]
- [X] APIBench의 모든 API에 대한 가중치 공개 [05/28/2023]
- [X] 로컬에서 Gorilla LLM 실행 [05/28/2023]
- [X] HF 모델 API에 대한 가중치 공개 [05/27/2023]
- [X] HF 모델 API용 호스팅된 Gorilla LLM 채팅 [05/27/2023]
- [X] 커뮤니티 기여를 위한 APIZoo 개방 [X] 데이터셋 및 평가 코드

## License
Gorilla는 Apache 2.0 라이선스로 제공되므로 학술적 용도와 상업적 용도 모두에 적합합니다.

## Contact
- 💬 [Discord Community](https://discord.gg/grXXvj9Whz)에 참여하세요.
- 🐦 [X](https://x.com/shishirpatil\_)를 팔로우하세요.

## Citation
```text
@article{patil2023gorilla,
title={Gorilla: Large Language Model Connected with Massive APIs},
author={Shishir G. Patil and Tianjun Zhang and Xin Wang and Joseph E. Gonzalez},
year={2023},
journal={arXiv preprint arXiv:2305.15334},
}
```

gorilla

gorilla 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

gorilla

gorilla 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README