FastChat

KO | EN

gitlite — search

#typescript #ai-agents #ai #dsh-plugin #deepseek-harness #open-source #cli #claude-code #codex #developer-tools #react #windows

★ 39,513 Open GitHub ↗

대규모 언어 모델을 학습, 서빙, 평가하기 위한 오픈 플랫폼입니다. Vicuna와 Chatbot Arena의 릴리스 저장소입니다.

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# FastChat
| [\*\*Demo\*\*](https://lmarena.ai/) | [\*\*Discord\*\*](https://discord.gg/6GXcFg3TH8) | [\*\*X\*\*](https://x.com/lmsysorg) |
FastChat은 대규모 언어 모델(LLM) 기반 챗봇을 학습, 서빙 및 평가하기 위한 오픈 플랫폼입니다.
- FastChat은 Chatbot Arena([lmarena.ai](https://lmarena.ai))를 구동하며, 70개 이상의 LLM을 대상으로 1,000만 건 이상의 채팅 요청을 처리하고 있습니다.
- Chatbot Arena는 LLM 간의 일대일 대결을 통해 150만 건 이상의 인간 평가(Human vote)를 수집하여 온라인 [LLM Elo leaderboard](https://lmarena.ai/?leaderboard)를 구축했습니다.
FastChat의 핵심 기능은 다음과 같습니다:
- 최첨단 모델(예: Vicuna, MT-Bench)을 위한 학습 및 평가 코드.
- 웹 UI 및 OpenAI 호환 RESTful API를 지원하는 분산형 다중 모델 서빙 시스템.
## 뉴스
- [2024/03] 🔥 Chatbot Arena 기술 [보고서](https://arxiv.org/abs/2403.04132)가 공개되었습니다.
- [2023/09] 대규모 실제 LLM 대화 데이터셋인 \*\*LMSYS-Chat-1M\*\*이 공개되었습니다. [보고서](https://arxiv.org/abs/2309.11998)를 읽어보세요.
- [2023/08] 4K 및 16K 컨텍스트 길이를 지원하는 Llama 2 기반의 \*\*Vicuna v1.5\*\*가 공개되었습니다. [가중치](#vicuna-weights)를 다운로드하세요.
- [2023/07] 사용자 선호도가 포함된 3만 3천 개의 대화 데이터셋인 \*\*Chatbot Arena Conversations\*\*가 공개되었습니다. [여기](https://huggingface.co/datasets/lmsys/chatbot\_arena\_conversations)에서 다운로드하세요.
더 보기
- [2023/08] 32K 컨텍스트 길이를 지원하는 Llama 2 기반의 \*\*LongChat v1.5\*\*가 공개되었습니다. [가중치](#longchat)를 다운로드하세요.
- [2023/06] 챗봇 평가를 위한 까다로운 멀티턴 질문 세트인 \*\*MT-bench\*\*가 도입되었습니다. 블로그 [게시물](https://lmsys.org/blog/2023-06-22-leaderboard/)을 확인하세요.
- [2023/06] 긴 컨텍스트 챗봇 및 평가 도구인 \*\*LongChat\*\*이 도입되었습니다. 블로그 [게시물](https://lmsys.org/blog/2023-06-29-longchat/)을 확인하세요.
- [2023/05] LLM 간의 대결을 위한 \*\*Chatbot Arena\*\*가 도입되었습니다. 블로그 [게시물](https://lmsys.org/blog/2023-05-03-arena)을 확인하세요.
- [2023/03] \*\*Vicuna: GPT-4 수준의 90% 성능을 보여주는 오픈소스 챗봇\*\*이 공개되었습니다. 블로그 [게시물](https://vicuna.lmsys.org)을 확인하세요.
[![](assets/demo_narrow.gif)](https://lmarena.ai)
## 목차
- [설치](#install)
- [모델 가중치](#model-weights)
- [명령줄 인터페이스(CLI)로 추론하기](#inference-with-command-line-interface)
- [웹 GUI로 서빙하기](#serving-with-web-gui)
- [API](#api)
- [평가](#evaluation)
- [파인튜닝](#fine-tuning)
- [인용](#citation)
## 설치
### 방법 1: pip 사용
```bash
pip3 install "fschat[model\_worker,webui]"
```
### 방법 2: 소스코드로부터 설치
1. 이 리포지토리를 클론하고 FastChat 폴더로 이동합니다.
```bash
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
```
Mac 환경에서 실행 중인 경우:
```bash
brew install rust cmake
```
2. 패키지 설치
```bash
pip3 install --upgrade pip # PEP 660 지원 활성화
pip3 install -e ".[model\_worker,webui]"
```
## 모델 가중치
### Vicuna 가중치
[Vicuna](https://lmsys.org/blog/2023-03-30-vicuna/)는 Llama 2를 기반으로 하며, Llama의 [모델 라이선스](https://github.com/facebookresearch/llama/blob/main/LICENSE)에 따라 사용해야 합니다.
아래 명령어를 사용하여 채팅을 시작할 수 있습니다. Hugging Face 리포지토리에서 가중치를 자동으로 다운로드합니다.
다운로드된 가중치는 사용자의 홈 폴더 내 `.cache` 폴더(예: `~/.cache/huggingface/hub/`)에 저장됩니다.
더 많은 명령어 옵션과 메모리 부족(OOM) 문제 해결 방법은 아래의 "명령줄 인터페이스(CLI)로 추론하기" 섹션을 참조하세요.
\*\*참고: 16K 버전을 사용하려면 `transformers>=4.31`이 필요합니다.\*\*
| 크기 | 채팅 명령어 | Hugging Face 리포지토리 |
| --- | --- | --- |
| 7B | `python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5` | [lmsys/vicuna-7b-v1.5](https://huggingface.co/lmsys/vicuna-7b-v1.5) |
| 7B-16k | `python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5-16k` | [lmsys/vicuna-7b-v1.5-16k](https://huggingface.co/lmsys/vicuna-7b-v1.5-16k) |
| 13B | `python3 -m fastchat.serve.cli --model-path lmsys/vicuna-13b-v1.5` | [lmsys/vicuna-13b-v1.5](https://huggingface.co/lmsys/vicuna-13b-v1.5) |
| 13B-16k | `python3 -m fastchat.serve.cli --model-path lmsys/vicuna-13b-v1.5-16k` | [lmsys/vicuna-13b-v1.5-16k](https://huggingface.co/lmsys/vicuna-13b-v1.5-16k) |
| 33B | `python3 -m fastchat.serve.cli --model-path lmsys/vicuna-33b-v1.3` | [lmsys/vicuna-33b-v1.3](https://huggingface.co/lmsys/vicuna-33b-v1.3) |
\*\*이전 가중치\*\*: 모든 버전의 가중치와 차이점은 [docs/vicuna\_weights\_version.md](docs/vicuna\_weights\_version.md)를 참조하세요.
### 기타 모델
Vicuna 외에도 [LongChat](https://lmsys.org/blog/2023-06-29-longchat/)과 FastChat-T5 등 두 가지 모델을 추가로 공개했습니다.
아래 명령어를 사용하여 이 모델들과 대화할 수 있습니다. Hugging Face 리포지토리에서 가중치를 자동으로 다운로드합니다.
| 모델 | 채팅 명령어 | Hugging Face 리포지토리 |
| --- | --- | --- |
| LongChat-7B | `python3 -m fastchat.serve.cli --model-path lmsys/longchat-7b-32k-v1.5` | [lmsys/longchat-7b-32k](https://huggingface.co/lmsys/longchat-7b-32k-v1.5) |
| FastChat-T5-3B | `python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0` | [lmsys/fastchat-t5-3b-v1.0](https://huggingface.co/lmsys/fastchat-t5-3b-v1.0) |
## 명령줄 인터페이스(CLI)로 추론하기
[![](assets/screenshot_cli.png)](https://lmarena.ai)
(실험적 기능: 일부 비-ASCII 컨텐츠에 대해 리치 텍스트 출력 및 더 나은 텍스트 스트리밍 품질을 활성화하려면 `--style rich`를 지정할 수 있습니다. 일부 터미널에서는 정상적으로 작동하지 않을 수 있습니다.)
#### 지원되는 모델
FastChat은 다음을 포함하여 광범위한 모델을 지원합니다.
LLama 2, Vicuna, Alpaca, Baize, ChatGLM, Dolly, Falcon, FastChat-T5, GPT4ALL, Guanaco, MTP, OpenAssistant, OpenChat, RedPajama, StableLM, WizardLM, xDAN-AI 등.
지원되는 모델의 전체 목록과 새 모델을 추가하는 방법은 [여기](docs/model\_support.md)에서 확인하세요.
#### 단일 GPU
아래 명령어는 Vicuna-7B의 경우 약 14GB의 GPU 메모리가 필요하며, Vicuna-13B의 경우 약 28GB의 GPU 메모리가 필요합니다.
메모리가 충분하지 않은 경우 아래의 ["메모리 부족" 섹션](#not-enough-memory)을 참조하세요.
`--model-path`는 로컬 폴더 또는 Hugging Face 리포지토리 이름이 될 수 있습니다.
```
python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5
```
#### 다중 GPU
모델 병렬화를 사용하여 동일한 시스템에 있는 여러 GPU의 GPU 메모리를 통합할 수 있습니다.
```
python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --num-gpus 2
```
팁:
huggingface/transformers의 "auto" 디바이스 매핑 전략이 여러 GPU 간의 메모리 할당을 완벽하게 균형 있게 맞추지 못할 때가 있습니다.
`--max-gpu-memory`를 사용하여 모델 가중치를 저장하는 데 사용할 GPU당 최대 메모리를 지정할 수 있습니다.
이렇게 하면 활성화(activation)를 위한 메모리를 더 많이 할당할 수 있으므로 더 긴 컨텍스트 길이턴이나 더 큰 배치 크기를 사용할 수 있습니다. 예를 들어:
```
python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --num-gpus 2 --max-gpu-memory 8GiB
```
#### CPU 전용
GPU 없이 CPU에서만 실행됩니다. Vicuna-7B는 약 30GB의 CPU 메모리가 필요하며, Vicuna-13B는 약 60GB의 CPU 메모리가 필요합니다.
```
python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device cpu
```
Intel AI Accelerator AVX512\_BF16/AMX를 사용하여 CPU 추론을 가속화하세요.
```
CPU\_ISA=amx python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device cpu
```
#### Metal 백엔드 (Apple Silicon 또는 AMD GPU가 탑재된 Mac 컴퓨터)
Mac 컴퓨터에서 GPU 가속을 활성화하려면 `--device mps`를 사용하세요 (torch >= 2.0 필요).
8비트 압축을 켜려면 `--load-8bit`를 사용하세요.
```
python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device mps --load-8bit
```
Vicuna-7B는 32GB M1 맥북에서 초당 1~2단어 속도로 실행할 수 있습니다.
#### Intel XPU (Intel 데이터 센터 및 Arc A 시리즈 GPU)
[Intel Extension for PyTorch](https://intel.github.io/intel-extension-for-pytorch/xpu/latest/tutorials/installation.html)를 설치합니다. OneAPI 환경 변수를 설정합니다:
```
source /opt/intel/oneapi/setvars.sh
```
XPU/GPU 가속을 활성화하려면 `--device xpu`를 사용하세요.
```
python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device xpu
```
Vicuna-7B는 Intel Arc A770 16GB에서 실행할 수 있습니다.
#### Ascend NPU
[Ascend PyTorch Adapter](https://github.com/Ascend/pytorch)를 설치합니다. CANN 환경 변수를 설정합니다:
```
source /usr/local/Ascend/ascend-toolkit/set\_env.sh
```
NPU 가속을 활성화하려면 `--device npu`를 사용하세요.
```
python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device npu
```
Vicuna-7B/13B는 Ascend NPU에서 실행할 수 있습니다.
#### 메모리 부족
메모리가 부족한 경우, 위 명령어에 `--load-8bit`를 추가하여 8비트 압축을 활성화할 수 있습니다.
모델 품질이 약간 저하되는 대신 메모리 사용량을 절반 수준으로 줄일 수 있습니다.
CPU, GPU 및 Metal 백엔드와 호환됩니다.
8비트 압축이 적용된 Vicuna-13B는 Nvidia RTX 3090, RTX 4080, T4, V100 (16GB) 또는 AMD RX 6800 XT와 같은 16GB VRAM을 가진 단일 GPU에서 실행할 수 있습니다.
```
python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --load-8bit
```
이 외에도, GPU에 맞지 않는 가중치를 CPU 메모리로 오프로드(offload)하려면 위 명령어에 `--cpu-offloading`을 추가할 수 있습니다.
이 기능은 8비트 압축이 활성화되어 있어야 하며 리눅스 운영체제에서만 사용할 수 있는 bitsandbytes 패키지가 설치되어 있어야 합니다.
#### 기타 플랫폼 및 양자화
- AMD GPU 사용자의 경우, FastChat을 설치하기 전에 ROCm과 [ROCm 버전의 PyTorch](https://pytorch.org/get-started/locally/)를 설치하세요. 이 [게시물](https://github.com/lm-sys/FastChat/issues/104#issuecomment-1613791563)도 참조하세요.
- FastChat은 ExLlama V2를 지원합니다. [docs/exllama\_v2.md](/docs/exllama\_v2.md)를 참조하세요.
- FastChat은 [GPTQ-for-LLaMa](https://github.com/qwopqwop200/GPTQ-for-LLaMa)를 사용한 GPTQ 4비트 추론을 지원합니다. [docs/gptq.md](/docs/gptq.md)를 참조하세요.
- FastChat은 [mit-han-lab/llm-awq](https://github.com/mit-han-lab/llm-awq)를 사용한 AWQ 4비트 추론을 지원합니다. [docs/awq.md](/docs/awq.md)를 참조하세요.
- [MLC LLM](https://mlc.ai/mlc-llm/)은 [TVM Unity](https://github.com/apache/tvm/tree/unity) 컴파일러를 기반으로 하며, Vulkan, Metal, CUDA 및 WebGPU를 통해 휴대폰, 소비자용 GPU, 웹 브라우저에서 Vicuna를 네이티브로 배포합니다.
#### Modelscope에서 모델 사용하기
중국 사용자의 경우, 다음 환경 변수를 설정하여 www.modelscope.cn의 모델을 사용할 수 있습니다.
```bash
export FASTCHAT\_USE\_MODELSCOPE=True
```
## 웹 GUI로 서빙하기
[![](assets/screenshot_gui.png)](https://lmarena.ai)
웹 UI를 사용하여 서빙하려면 세 가지 주요 구성 요소가 필요합니다. 사용자와 상호작용하는 웹 서버, 하나 이상의 모델을 호스팅하는 모델 워커, 그리고 웹 서버와 모델 워커를 조율하는 컨트롤러입니다. 아키텍처에 대한 자세한 내용은 [여기](docs/server\_arch.md)에서 확인할 수 있습니다.
터미널에서 다음 명령어를 실행하세요:
#### 컨트롤러 실행
```bash
python3 -m fastchat.serve.controller
```
이 컨트롤러는 분산된 워커들을 관리합니다.
#### 모델 워커 실행
```bash
python3 -m fastchat.serve.model\_worker --model-path lmsys/vicuna-7b-v1.5
```
프로세스가 모델 로딩을 완료하고 "Uvicorn running on ..." 메시지가 나타날 때까지 기다립니다. 모델 워커가 컨트롤러에 스스로를 등록합니다.
모델 워커가 컨트롤러에 올바르게 연결되었는지 확인하려면 다음 명령어를 사용하여 테스트 메시지를 보냅니다:
```bash
python3 -m fastchat.serve.test\_message --model-name vicuna-7b-v1.5
```
간단한 출력이 표시됩니다.
#### Gradio 웹 서버 실행
```bash
python3 -m fastchat.serve.gradio\_web\_server
```
사용자가 상호작용하게 될 사용자 인터페이스입니다.
이 단계를 따르면 웹 UI를 사용하여 모델을 서빙할 수 있습니다. 이제 브라우저를 열고 모델과 대화할 수 있습니다.
모델이 표시되지 않으면 gradio 웹 서버를 재부팅해 보세요.
## Chatbot Arena 실행하기 (일대일 대결 UI)
현재 Chatbot Arena는 FastChat으로 구동됩니다. 로컬에서 Chatbot Arena 인스턴스를 실행하는 방법은 다음과 같습니다.
FastChat은 OpenAI, Anthropic, Gemini, Mistral 등 널리 사용되는 API 기반 모델을 지원합니다. 커스텀 API를 추가하려면 모델 지원 [문서](./docs/model\_support.md)를 참조하세요. 아래에서는 OpenAI 모델을 예로 듭니다.
서빙하려는 모델의 API 엔드포인트가 포함된 JSON 설정 파일 `api\_endpoint.json`을 생성합니다. 예시:
```
{
"gpt-4o-2024-05-13": {
"model\_name": "gpt-4o-2024-05-13",
"api\_base": "https://api.openai.com/v1",
"api\_type": "openai",
"api\_key": [API 키 입력],
"anony\_only": false
}
}
```
Anthropic 모델의 경우, 본인의 Anthropic 키와 함께 `"api\_type": "anthropic\_message"`를 지정합니다. 마찬가지로 gemini 모델의 경우 `"api\_type": "gemini"`를 지정합니다. 자세한 내용은 [api\_provider.py](https://github.com/lm-sys/FastChat/blob/main/fastchat/serve/api\_provider.py)에서 확인할 수 있습니다.
로컬 GPU를 사용하여 자체 모델을 서빙하려면 [웹 GUI로 서빙하기](#serving-with-web-gui)의 안내를 따르세요.
이제 서버를 실행할 준비가 되었습니다:
```
python3 -m fastchat.serve.gradio\_web\_server\_multi --register-api-endpoint-file api\_endpoint.json
```
#### (선택 사항): 고급 기능, 확장성, 서드파티 UI
- 단일 컨트롤러에 여러 모델 워커를 등록할 수 있으며, 이는 단일 모델의 처리량(throughput)을 높이거나 여러 모델을 동시에 서빙하는 데 사용할 수 있습니다. 이 경우, 서로 다른 모델 워커에 대해 각각 다른 GPU와 포트를 할당해 주세요.
```
# worker 0
CUDA\_VISIBLE\_DEVICES=0 python3 -m fastchat.serve.model\_worker --model-path lmsys/vicuna-7b-v1.5 --controller http://localhost:21001 --port 31000 --worker http://localhost:31000
# worker 1
CUDA\_VISIBLE\_DEVICES=1 python3 -m fastchat.serve.model\_worker --model-path lmsys/fastchat-t5-3b-v1.0 --controller http://localhost:21001 --port 31001 --worker http://localhost:31001
```
- Chatbot Arena 탭이 포함된 멀티 탭 gradio 서버를 실행할 수도 있습니다.
```bash
python3 -m fastchat.serve.gradio\_web\_server\_multi
```
- huggingface/transformers 기반의 기본 모델 워커는 호환성이 뛰어나지만 속도가 느릴 수 있습니다. 높은 처리량의 배치 서빙을 원하신다면 [vLLM 통합](docs/vllm\_integration.md)을 시도해 보세요.
- 자체 UI나 서드파티 UI에서 호스팅하려면 [서드파티 UI](docs/third\_party\_ui.md)를 참조하세요.
## API
### OpenAI 호환 RESTful API 및 SDK
FastChat은 지원되는 모델에 대해 OpenAI 호환 API를 제공하므로, OpenAI API의 로컬 대체품으로 FastChat을 사용할 수 있습니다.
FastChat 서버는 [openai-python](https://github.com/openai/openai-python) 라이브러리 및 cURL 명령어 모두와 호환됩니다.
REST API는 리포지토리에 제공된 [FastChat\_API\_GoogleColab.ipynb](https://github.com/lm-sys/FastChat/blob/main/playground/FastChat\_API\_GoogleColab.ipynb) 노트북에 시연된 바와 같이 Google Colab 무료 티어에서 실행할 수 있습니다.
[docs/openai\_api.md](docs/openai\_api.md)를 참조하세요.
### Hugging Face 생성 API
[fastchat/serve/huggingface\_api.py](fastchat/serve/huggingface\_api.py)를 참조하세요.
### LangChain 통합
[docs/langchain\_integration](docs/langchain\_integration.md)를 참조하세요.
## 평가
모델을 평가하기 위해 까다로운 멀티턴 개방형 질문 세트인 MT-bench를 사용합니다.
평가 과정을 자동화하기 위해, GPT-4와 같은 강력한 LLM에게 심사위원 역할을 맡겨 모델 응답의 품질을 평가하도록 프롬프트를 구성합니다.
[fastchat/llm\_judge](fastchat/llm\_judge)에서 MT-bench를 실행하는 방법에 대한 안내를 확인하세요.
MT-bench는 모델을 벤치마킹하기 위해 새로 권장되는 방식입니다. Vicuna 블로그 게시물에 사용된 예전 80가지 질문을 찾고 계신다면 [vicuna-blog-eval](https://github.com/lm-sys/vicuna-blog-eval)로 이동하세요.
## 파인튜닝
### 데이터
Vicuna는 공개 API를 사용하여 ShareGPT.com에서 수집한 약 125K개의 사용자 공유 대화를 활용해 Llama 베이스 모델을 파인튜닝하여 만들어졌습니다. 데이터 품질을 보장하기 위해 HTML을 마크다운으로 다시 변환하고 부적절하거나 품질이 낮은 샘플을 필터링했습니다. 또한, 긴 대화는 모델의 최대 컨텍스트 길이에 맞게 더 작은 세그먼트로 나누었습니다. ShareGPT 데이터를 정제하는 자세한 지침은 [여기](docs/commands/data\_cleaning.md)에서 확인하세요.
ShareGPT 데이터셋은 공개되지 않습니다. 파인튜닝 코드를 테스트해보고 싶다면 [dummy\_conversation.json](data/dummy\_conversation.json)에 있는 더미 대화와 함께 실행해 볼 수 있습니다. 동일한 형식을 따르고 본인의 데이터를 입력하면 됩니다.
### 코드 및 하이퍼파라미터
코드는 [Stanford Alpaca](https://github.com/tatsu-lab/stanford\_alpaca)를 기반으로 하며 멀티턴 대화에 대한 지원이 추가되었습니다.
Stanford Alpaca와 유사한 하이퍼파라미터를 사용합니다.
| 하이퍼파라미터 | 전역 배치 크기 | 학습률 | 에폭 | 최대 길이 | 가중치 감쇠 |
| --- | ---: | ---: | ---: | ---: | ---: |
| Vicuna-13B | 128 | 2e-5 | 3 | 2048 | 0 |
### 로컬 GPU로 Vicuna-7B 파인튜닝하기
- 의존성 설치
```bash
pip3 install -e ".[train]"
```
- 다음 명령어를 사용하여 4 x A100 (40GB)으로 Vicuna-7B를 학습할 수 있습니다. `--model\_name\_or\_path`를 Llama 가중치의 실제 경로로 업데이트하고 `--data\_path`를 데이터의 실제 경로로 업데이트하세요.
```bash
torchrun --nproc\_per\_node=4 --master\_port=20001 fastchat/train/train\_mem.py \
--model\_name\_or\_path meta-llama/Llama-2-7b-hf \
--data\_path data/dummy\_conversation.json \
--bf16 True \
--output\_dir output\_vicuna \
--num\_train\_epochs 3 \
--per\_device\_train\_batch\_size 2 \
--per\_device\_eval\_batch\_size 2 \
--gradient\_accumulation\_steps 16 \
--evaluation\_strategy "no" \
--save\_strategy "steps" \
--save\_steps 1200 \
--save\_total\_limit 10 \
--learning\_rate 2e-5 \
--weight\_decay 0. \
--warmup\_ratio 0.03 \
--lr\_scheduler\_type "cosine" \
--logging\_steps 1 \
--fsdp "full\_shard auto\_wrap" \
--fsdp\_transformer\_layer\_cls\_to\_wrap 'LlamaDecoderLayer' \
--tf32 True \
--model\_max\_length 2048 \
--gradient\_checkpointing True \
--lazy\_preprocess True
```
팁:
- FlashAttention을 지원하지 않는 V100을 사용하는 경우, [xFormers](https://github.com/facebookresearch/xformers)에 구현된 [메모리 효율적인 어텐션(memory-efficient attention)](https://arxiv.org/abs/2112.05682)을 사용할 수 있습니다. xformers를 설치하고 위의 `fastchat/train/train\_mem.py`를 [fastchat/train/train\_xformers.py](fastchat/train/train\_xformers.py)로 교체하세요.
- "FSDP Warning: When using FSDP, it is efficient and recommended... "로 인해 메모리 부족 문제가 발생하는 경우 [여기](https://github.com/huggingface/transformers/issues/24724#issuecomment-1645189539)의 해결 방법을 참조하세요.
- 모델 저장 중 메모리 부족 문제가 발생하는 경우 [여기](https://github.com/pytorch/pytorch/issues/98823)의 해결 방법을 참조하세요.
- Tensorboard, MLFlow, Weights & Biases와 같은 인기 있는 실험 추적 도구에 대한 로깅을 켜려면 `report\_to` 인수를 사용하세요. 예를 들어 Weights & Biases로 로깅을 켜려면 `--report\_to wandb`를 전달합니다.
### 기타 모델, 플랫폼 및 LoRA 지원
다른 모델(예: FastChat-T5)을 학습하고 LoRA를 사용하는 방법에 대한 추가 지침은 [docs/training.md](docs/training.md)에 있습니다.
### SkyPilot을 사용하여 모든 클라우드에서 파인튜닝하기
[SkyPilot](https://github.com/skypilot-org/skypilot)은 모든 클라우드(AWS, GCP, Azure, Lambda 등)에서 쉽고 비용 효율적으로 ML 워크로드를 실행하기 위해 UC 버클리에서 구축한 프레임워크입니다.
관리형 스팟 인스턴스를 사용하여 Vicuna를 학습하고 클라우드 비용을 절감하는 방법에 대한 SkyPilot 문서는 [여기](https://github.com/skypilot-org/skypilot/tree/master/llm/vicuna)에서 확인하세요.
## 인용
이 리포지토리의 코드(학습, 서빙 및 평가)는 대부분 아래 논문을 위해 개발되었거나 해당 논문에서 파생되었습니다.
이 리포지토리가 유용하다고 생각된다면 인용해 주세요.
```
@misc{zheng2023judging,
title={Judging LLM-as-a-judge with MT-Bench and Chatbot Arena},
author={Lianmin Zheng and Wei-Lin Chiang and Ying Sheng and Siyuan Zhuang and Zhanghao Wu and Yonghao Zhuang and Zi Lin and Zhuohan Li and Dacheng Li and Eric. P Xing and Hao Zhang and Joseph E. Gonzalez and Ion Stoica},
year={2023},
eprint={2306.05685},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```
또한 향후 더 많은 연구 결과물을 이 리포지토리에 추가할 계획입니다.

FastChat

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README