ChatGLM-6B

KO | EN

gitlite — search

#typescript #golang #android #machine-learning #deep-learning #docker #macos #java #kubernetes #vue #security #pytorch #openai #open-source

(★ 40,990)

ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型

ChatGLM-6B 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# ChatGLM-6B

🌐 [Blog](https://chatglm.cn/blog) • 🤗 [HF Repo](https://huggingface.co/THUDM/chatglm-6b) • 🐦 [Twitter](https://twitter.com/thukeg) • 📄 [Report](https://arxiv.org/pdf/2406.12793)

👋 저희의 [Discord](https://discord.gg/fK2dz4bg) 및 [WeChat](resources/WECHAT.md)에 참여하세요.

📍[智谱AI开放平台](https://open.bigmodel.cn/?utm_campaign=open&_channel_track_key=OWTVNma9)에서 더 큰 규모의 GLM 상용 모델을 체험하고 사용해 보세요.

\*Read this in [English](README\_en.md).\*
## GLM-4 오픈소스 모델 및 API
저희는 최신 \*\*GLM-4\*\* 대화형 언어 모델을 출시했습니다. 이 모델은 여러 지표에서 새로운 도약을 이루었으며, 아래 두 가지 경로를 통해 최신 모델을 체험하실 수 있습니다.
+ [GLM-4 오픈소스 모델](https://github.com/THUDM/GLM-4) GLM-4-9B 시리즈 모델을 오픈소스화했으며, 각 지표 성능에서 뚜렷한 향상이 있었습니다. 많은 이용 바랍니다.
+ [智谱清言](https://chatglm.cn/main/detail?fr=ecology\_x) \*\*GLMs, All tools\*\* 등의 기능을 포함한 최신 버전의 GLM-4를 체험해 보세요.
+ [API平台](https://open.bigmodel.cn/?utm\_campaign=open&\_channel\_track_key=OWTVNma9) 차세대 API 플랫폼이 출시되었습니다. API 플랫폼에서 직접
`GLM-4-0520`、`GLM-4-air`、`GLM-4-airx`、`GLM-4-flash`、`GLM-4`、`GLM-3-Turbo`、`CharacterGLM-3`、`CogView-3`
등의 신규 모델을 체험하실 수 있습니다.
그중 `GLM-4`, `GLM-3-Turbo` 두 모델은 `System Prompt`, `Function Call`, `Retrieval`, `Web\_Search` 등의 새로운 기능을 지원합니다. 많은 체험 바랍니다.
+ [GLM-4 API 开源教程](https://github.com/MetaGLM/glm-cookbook/) GLM-4 API 튜토리얼 및 기초 응용, 많은 이용 바랍니다.
API 관련 질문은 본 오픈소스 튜토리얼에 문의하시거나 [GLM-4 API AI助手](https://open.bigmodel.cn/shareapp/v1/?share\_code=sQwt5qyqYVaNh1O\_87p8O)를 사용하여 자주 묻는 질문(FAQ)에 대한 도움을 받으실 수 있습니다.
-----
## 소개
ChatGLM-6B는 중국어와 영어를 모두 지원하는 오픈소스 대화형 언어 모델로, [General Language Model (GLM)](https://github.com/THUDM/GLM) 아키텍처를 기반으로 하며 62억 개의 파라미터를 가지고 있습니다. 모델 양자화 기술을 결합하여, 사용자는 소비자용 그래픽 카드에서도 로컬 배포를 진행할 수 있습니다(INT4 양자화 수준에서 최소 6GB VRAM 필요).
ChatGLM-6B는 ChatGPT와 유사한 기술을 사용하였으며, 중국어 질의응답 및 대화에 최적화되어 있습니다. 약 1T 토큰의 중국어-영어 이중 언어 학습을 거치고, 지도 미세조정(SFT), 피드백 자조(Self-guided), 인간 피드백 강화 학습(RLHF) 등의 기술을 더해, 62억 파라미터의 ChatGLM-6B는 이미 인간의 선호도에 꽤 부합하는 답변을 생성할 수 있습니다. 더 자세한 정보는 저희 [블로그](https://chatglm.cn/blog)를 참고해 주세요. [chatglm.cn](https://chatglm.cn)을 통해 더 큰 규모의 ChatGLM 모델을 체험해 보세요.
다운스트림 개발자가 자신의 응용 시나리오에 맞게 모델을 커스터마이징할 수 있도록, 저희는 [P-Tuning v2](https://github.com/THUDM/P-tuning-v2)에 기반한 고효율 파라미터 미세조정 방법 [(사용 가이드)](ptuning/README.md)을 함께 구현했습니다. INT4 양자화 수준에서 최소 7GB VRAM만 있으면 미세조정을 시작할 수 있습니다.
ChatGLM-6B 가중치는 학술 연구에 \*\*전면 개방\*\*되며, [설문조사](https://open.bigmodel.cn/mla/form) 작성 후 등록하면 \*\*무료 상업적 이용도 허용\*\*됩니다.
-----
ChatGLM-6B 오픈소스 모델은 오픈소스 커뮤니티와 함께 대형 모델 기술의 발전을 도모하기 위한 것으로, 개발자 및 모든 분들께서 [오픈소스 라이선스](MODEL\_LICENSE)를 준수해 주실 것을 간곡히 부탁드립니다. 오픈소스 모델과 코드 및 오픈소스 프로젝트 기반의 파생물을 국가와 사회에 위해를 끼칠 수 있는 어떠한 용도로도 사용하지 마시고, 안전성 평가 및 신고를 거치지 않은 어떠한 서비스에도 사용하지 마세요.\*\*현재 본 프로젝트 팀은 웹 기반, 안드로이드, 애플 iOS 및 Windows App 등의 어떠한 응용 프로그램도 ChatGLM-6B를 기반으로 개발하지 않았습니다.\*\*
모델은 학습의 모든 단계에서 데이터의 규정 준수와 정확성을 보장하기 위해 최선을 다했으나, ChatGLM-6B의 모델 규모가 상대적으로 작고 확률적 무작위 요인의 영향을 받기 때문에 출력 내용의 정확성을 보장할 수 없으며, 모델이 오도되기 쉽습니다(상세 내용은 [한계점](README.md#局限性) 참고).\*\*본 프로젝트는 오픈소스 모델 및 코드로 인해 발생하는 데이터 보안, 여론 리스크 또는 모델의 오도, 남용, 전파, 부적절한 활용으로 인해 발생하는 어떠한 리스크와 책임도 부담하지 않습니다.\*\*
## 업데이트 정보
\*\*[2023/07/25]\*\* [CodeGeeX2](https://github.com/THUDM/CodeGeeX2) 출시. ChatGLM2-6B 기반의 코드 생성 모델로, 코딩 능력이 전면 향상되었습니다. 주요 특징은 다음과 같습니다:
\* \*\*더 강력한 코딩 능력\*\*：CodeGeeX2-6B는 600B의 코드 데이터로 추가 사전 학습을 거쳤으며, 1세대 CodeGeeX 모델에 비해 코딩 능력이 전면 향상되었습니다. [HumanEval-X](https://huggingface.co/datasets/THUDM/humaneval-x) 평가 셋의 6가지 프로그래밍 언어에서 모두 대폭 향상되었으며 (Python +57%, C++ +71%, Java +54%, JavaScript +83%, Go +56%, Rust +321%), Python에서 35.9%의 Pass@1(1회 통과율)을 달성하여 더 큰 규모의 StarCoder-15B를 뛰어넘었습니다.
\* \*\*더 우수한 모델 특성\*\*：ChatGLM2-6B 모델의 특성을 계승하여, CodeGeeX2-6B는 중국어와 영어 입력을 더 잘 지원하고, 최대 8192 시퀀스 길이를 지원하며, 추론 속도가 1세대에 비해 대폭 향상되었고, 양자화 후 단 6GB VRAM으로 실행 가능하며, 경량화된 로컬 배포를 지원합니다.
\* \*\*더 포괄적인 AI 프로그래밍 어시스턴트\*\*：CodeGeeX 플러그인([VS Code](https://marketplace.visualstudio.com/items?itemName=aminer.codegeex), [Jetbrains](https://plugins.jetbrains.com/plugin/20587-codegeex)) 백엔드가 업그레이드되어 100종 이상의 프로그래밍 언어를 지원하며, 컨텍스트 자동완성, 파일 간 자동완성 등의 유용한 기능이 추가되었습니다. Ask CodeGeeX 대화형 AI 프로그래밍 어시스턴트와 결합하여 중국어와 영어 대화를 통해 코드 설명, 코드 번역, 코드 디버깅, 문서 생성 등 다양한 프로그래밍 문제를 해결할 수 있도록 지원하며, 프로그래머의 더 효율적인 개발을 돕습니다.
\*\*[2023/06/25]\*\* [ChatGLM2-6B](https://github.com/THUDM/ChatGLM2-6B) 출시. ChatGLM-6B의 업그레이드 버전으로, 초대 모델의 유창한 대화, 낮은 배포 장벽 등 수많은 우수한 특성을 유지하면서 ChatGLM\*\*2\*\*-6B는 다음과 같은 새로운 특성을 도입했습니다:
1. \*\*더 강력한 성능\*\*：ChatGLM 초대 모델의 개발 경험을 바탕으로, ChatGLM2-6B의 베이스 모델을 전면 업그레이드했습니다. ChatGLM2-6B는 [GLM](https://github.com/THUDM/GLM)의 혼합 목적 함수를 사용했으며, 1.4T의 중국어-영어 토큰으로 사전 학습 및 인간 선호도 정렬 학습을 거쳤습니다. [평가 결과](#评测结果)에 따르면 초대 모델에 비해 ChatGLM2-6B는 MMLU(+23%), CEval(+33%), GSM8K(+571%), BBH(+60%) 등의 데이터셋에서 성능이 대폭 향상되었으며, 동급 크기의 오픈소스 모델 중에서 강력한 경쟁력을 갖추고 있습니다.
2. \*\*더 긴 컨텍스트\*\*：[FlashAttention](https://github.com/HazyResearch/flash-attention) 기술을 바탕으로, 베이스 모델의 컨텍스트 길이(Context Length)를 ChatGLM-6B의 2K에서 32K로 확장했으며, 대화 단계에서 8K 컨텍스트 길이로 학습을 진행하여 더 많은 턴의 대화를 허용합니다. 단, 현재 버전의 ChatGLM2-6B는 단일 턴 초장문 문서에 대한 이해 능력이 제한적이므로, 추후 이터레이션 업그레이드 시 중점적으로 최적화할 예정입니다.
3. \*\*더 효율적인 추론\*\*：[Multi-Query Attention](http://arxiv.org/abs/1911.02150) 기술을 기반으로, ChatGLM2-6B는 더 효율적인 추론 속도와 더 낮은 VRAM 사용량을 자랑합니다. 공식 모델 구현 기준으로 추론 속도가 초대 대비 42% 향상되었으며, INT4 양자화 시 6GB VRAM이 지원하는 대화 길이가 1K에서 8K로 증가했습니다.
더 자세한 정보는 [ChatGLM2-6B](https://github.com/THUDM/ChatGLM2-6B)를 참고해 주세요.
\*\*[2023/06/14]\*\* [WebGLM](https://github.com/THUDM/WebGLM) 출시. KDD 2023에 채택된 연구 성과로, 웹 정보를 활용하여 정확한 출처(인용)가 포함된 긴 답변을 생성하는 기능을 지원합니다.
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/webglm.jpg)
\*\*[2023/05/17]\*\* [VisualGLM-6B](https://github.com/THUDM/VisualGLM-6B) 출시. 이미지 이해를 지원하는 멀티모달 대화형 언어 모델입니다.
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/visualglm.png)
본 저장소의 [cli\_demo\_vision.py](cli\_demo\_vision.py) 및 [web\_demo\_vision.py](web\_demo\_vision.py)를 통해 커맨드라인 및 웹 데모를 실행할 수 있습니다. 주의할 점은 VisualGLM-6B는 [SwissArmyTransformer](https://github.com/THUDM/SwissArmyTransformer/)와 torchvision을 추가로 설치해야 합니다. 더 자세한 정보는 [VisualGLM-6B](https://github.com/THUDM/VisualGLM-6B)를 참고하세요.
\*\*[2023/05/15]\*\* v1.1 버전 체크포인트 업데이트. 학습 데이터에 영어 인스턴스 미세조정 데이터를 추가하여 중국어와 영어 데이터 비율의 균형을 맞추고, 영어 답변에 중국어 단어가 섞여 나오는 현상을 해결했습니다.
**다음은 업데이트 전후의 영어 질문 비교입니다:**
\* 질문：Describe a time when you had to make a difficult decision.
- v1.0:
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/english-q1-old.png)
- v1.1:
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/english-q1-new.png)
\* 질문：Describe the function of a computer motherboard
- v1.0:
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/english-q2-old.png)
- v1.1:
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/english-q2-new.png)
\* 질문：Develop a plan to reduce electricity usage in a home.
- v1.0:
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/english-q3-old.png)
- v1.1:
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/english-q3-new.png)
\* 질문：未来的NFT，可能真实定义一种现实的资产，它会是一处房产，一辆汽车，一片土地等等，这样的数字凭证可能比真实的东西更有价值，你可以随时交易和使用，在虚拟和现实中无缝的让拥有的资产继续创造价值，未来会是万物归我所用，但不归我所有的时代。翻译成专业的英语
- v1.0:
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/english-q4-old.png)
- v1.1:
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/english-q4-new.png)
기타 업데이트 정보는 [UPDATE.md](UPDATE.md)를 참고하세요.
## 관련 링크
ChatGLM을 가속하는 오픈소스 프로젝트:
\* [lyraChatGLM](https://huggingface.co/TMElyralab/lyraChatGLM): ChatGLM-6B의 추론을 가속하며, 최대 9000+ tokens/s의 추론 속도 달성 가능
\* [ChatGLM-MNN](https://github.com/wangzhaode/ChatGLM-MNN): MNN 기반의 ChatGLM-6B C++ 추론 구현체로, VRAM 크기에 따라 GPU와 CPU에 연산 작업을 자동 할당하는 기능 지원
\* [JittorLLMs](https://github.com/Jittor/JittorLLMs)：최소 3G VRAM 또는 그래픽 카드가 없어도 ChatGLM-6B FP16을 실행할 수 있으며, Linux, Windows, Mac 배포 지원
\* [InferLLM](https://github.com/MegEngine/InferLLM)：경량 C++ 추론으로 로컬 x86, Arm 프로세서에서 실시간 채팅이 가능하며, 휴대전화에서도 실시간 실행 가능, RAM은 단 4G만 필요
ChatGLM-6B를 기반으로 하거나 사용하는 오픈소스 프로젝트:
\* [langchain-ChatGLM](https://github.com/imClumsyPanda/langchain-ChatGLM)：LangChain 기반의 ChatGLM 애플리케이션으로, 확장 가능한 지식 기반 질의응답 구현
\* [闻达](https://github.com/l15y/wenda)：대형 언어 모델 호출 플랫폼으로, ChatGLM-6B를 기반으로 ChatPDF 유사 기능 구현
\* [glm-bot](https://github.com/initialencounter/glm-bot)：ChatGLM을 Koishi에 연동하여 주요 채팅 플랫폼에서 ChatGLM 호출 가능
\* [Chuanhu Chat](https://github.com/GaiZhenbiao/ChuanhuChatGPT): 각 대형 언어 모델 및 온라인 모델 API를 위해 아름답고 사용하기 쉬우며 기능이 풍부하고 빠른 배포가 가능한 사용자 인터페이스를 제공하며 ChatGLM-6B를 지원합니다.
ChatGLM-6B 및 관련 애플리케이션의 온라인 학습을 지원하는 예제 프로젝트:
\* [ChatGLM-6B 의部署与微调教程](https://www.heywhale.com/mw/project/6436d82948f7da1fee2be59e)
\* [ChatGLM-6B 结合 langchain 实现本地知识库 QA Bot](https://www.heywhale.com/mw/project/643977aa446c45f4592a1e59)
제3자 평가:
\* [Measuring Massive Multitask Chinese Understanding](https://arxiv.org/abs/2304.12986)
기타 오픈소스 프로젝트는 [PROJECT.md](PROJECT.md)를 참고하세요.
## 사용 방법
### 하드웨어 요구사항
| \*\*양자화 등급\*\* | \*\*최소 GPU VRAM\*\* (추론) | \*\*최소 GPU VRAM\*\* (고효율 파라미터 미세조정) |
| -------------- | ------------------------- | --------------------------------- |
| FP16 (무양자화) | 13 GB | 14 GB |
| INT8 | 8 GB | 9 GB |
| INT4 | 6 GB | 7 GB |
### 환경 설치
pip를 사용하여 의존성을 설치합니다: `pip install -r requirements.txt`. 여기서 `transformers` 라이브러리 버전은 `4.27.1`을 권장하지만, 이론상 `4.23.1` 이상이면 됩니다.
또한, CPU에서 양자화된 모델을 실행해야 하는 경우 `gcc`와 `openmp`를 추가로 설치해야 합니다. 대부분의 Linux 배포판에는 기본적으로 설치되어 있습니다. Windows의 경우 [TDM-GCC](https://jmeubank.github.io/tdm-gcc/) 설치 시 `openmp`를 체크하면 됩니다. Windows 테스트 환경의 `gcc` 버전은 `TDM-GCC 10.3.0`이며, Linux는 `gcc 11.3.0`입니다. MacOS의 경우 [Q1](FAQ.md#q1)을 참고해 주세요.
### 코드 호출
다음 코드를 통해 ChatGLM-6B 모델을 호출하여 대화를 생성할 수 있습니다:
```python
>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from\_pretrained("THUDM/chatglm-6b", trust\_remote\_code=True)
>>> model = AutoModel.from\_pretrained("THUDM/chatglm-6b", trust\_remote\_code=True).half().cuda()
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。
>>> response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
>>> print(response)
晚上睡不着可能会让你感到焦虑或不舒服,但以下是一些可以帮助你入睡的方法:
1. 制定规律的睡眠时间表:保持规律的睡眠时间表可以帮助你建立健康的睡眠习惯,使你更容易入睡。尽量在每天的相同时间上床,并在同一时间起床。
2. 创造一个舒适的睡眠环境:确保睡眠环境舒适,安静,黑暗且温度适宜。可以使用舒适的床上用品,并保持房间通风。
3. 放松身心:在睡前做些放松的活动,例如泡个热水澡,听些轻柔的音乐,阅读一些有趣的书籍等,有助于缓解紧张和焦虑,使你更容易入睡。
4. 避免饮用含有咖啡因的饮料:咖啡因是一种刺激性物质,会影响你的睡眠质量。尽量避免在睡前饮用含有咖啡因的饮料,例如咖啡,茶和可乐。
5. 避免在床上做与睡眠无关的事情:在床上做些与睡眠无关的事情,例如看电影,玩游戏或工作等,可能会干扰你的睡眠。
6. 尝试呼吸技巧:深呼吸是一种放松技巧,可以帮助你缓解紧张和焦虑,使你更容易入睡。试着慢慢吸气,保持几秒钟,然后缓慢呼气。
如果这些方法无法帮助你入睡,你可以考虑咨询医生或睡眠专家,寻求进一步的建议。
```
모델의 구현은 여전히 변경되는 중입니다. 호환성을 보장하기 위해 사용 중인 모델 구현을 고정하고 싶다면 `from\_pretrained` 호출 시 `revision="v1.1.0"` 파라미터를 추가할 수 있습니다. `v1.1.0`은 현재 최신 버전 번호이며, 전체 버전 목록은 [Change Log](https://huggingface.co/THUDM/chatglm-6b#change-log)를 참고하세요.
### 로컬에서 모델 로드하기
위 코드는 `transformers`를 통해 모델 구현과 파라미터를 자동으로 다운로드합니다. 완전한 모델 구현은 [Hugging Face Hub](https://huggingface.co/THUDM/chatglm-6b)에서 확인할 수 있습니다. 네트워크 환경이 좋지 않은 경우 모델 파라미터 다운로드에 오랜 시간이 걸리거나 실패할 수 있습니다. 이 경우 먼저 모델을 로컬에 다운로드한 후 로컬에서 로드할 수 있습니다.
Hugging Face Hub에서 모델을 다운로드하려면 먼저 [Git LFS를 설치](https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage)한 후 다음을 실행하세요.
```Shell
git clone https://huggingface.co/THUDM/chatglm-6b
```
Hugging Face Hub에서 체크포인트 다운로드 속도가 느린 경우 모델 구현만 다운로드할 수 있습니다.
```Shell
GIT\_LFS\_SKIP\_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b
```
그런 다음 [여기](https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/)에서 수동으로 모델 파라미터 파일을 다운로드하여 로컬의 `chatglm-6b` 디렉터리에 덮어씁니다.
모델을 로컬에 다운로드한 후, 위 코드의 `THUDM/chatglm-6b`를 로컬 `chatglm-6b` 폴더의 경로로 교체하면 로컬에서 모델을 로드할 수 있습니다.
\*\*Optional\*\* 모델 구현은 여전히 변경되는 중입니다. 호환성을 보장하기 위해 사용 중인 모델 구현을 고정하고 싶다면 다음을 실행하세요.
```Shell
git checkout v1.1.0
```
## Demo & API
[Gradio](https://gradio.app) 기반의 웹 버전 데모와 커맨드라인 데모를 제공합니다. 사용하려면 먼저 본 저장소를 클론해야 합니다:
```shell
git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B
```
### 웹 버전 Demo
![web-demo](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/web-demo.gif)
먼저 Gradio를 설치합니다: `pip install gradio`. 그 후 저장소 내의 [web\_demo.py](web\_demo.py)를 실행합니다:
```shell
python web\_demo.py
```
프로그램이 웹 서버를 실행하고 주소를 출력합니다. 브라우저에서 출력된 주소를 열어 사용할 수 있습니다. 최신 버전 데모는 타자기 효과를 구현하여 속도 체감이 크게 향상되었습니다. 주의할 점은 중국 국내에서 Gradio의 네트워크 접근이 비교적 느리기 때문에 `demo.queue().launch(share=True, inbrowser=True)`를 활성화하면 모든 네트워크가 Gradio 서버를 통해 중계되어 타자기 체감이 대폭 저하됩니다. 따라서 현재 기본 실행 방식은 `share=False`로 변경되었으며, 퍼블릭 네트워크(공인 IP) 접근이 필요한 경우 `share=True`로 다시 수정하여 실행할 수 있습니다.
Streamlit 기반의 웹 버전 데모를 구현해 주신 [@AdamBear](https://github.com/AdamBear)님께 감사드립니다. 실행 방식은 [#117](https://github.com/THUDM/ChatGLM-6B/pull/117)을 참고하세요.
### 커맨드라인 Demo
![cli-demo](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/resources/cli-demo.png)
저장소 내의 [cli\_demo.py](cli\_demo.py)를 실행합니다:
```shell
python cli\_demo.py
```
프로그램이 커맨드라인에서 대화형 인터랙션을 진행하며, 커맨드라인에 지시어(Prompt)를 입력하고 엔터를 누르면 응답이 생성됩니다. `clear`를 입력하면 대화 기록이 지워지고, `stop`을 입력하면 프로그램이 종료됩니다.
### API 배포
먼저 추가 의존성 `pip install fastapi uvicorn`을 설치한 후, 저장소 내의 [api.py](api.py)를 실행합니다:
```shell
python api.py
```
기본적으로 로컬의 8000번 포트에 배포되며, POST 메서드를 통해 호출합니다.
```shell
curl -X POST "http://127.0.0.1:8000" \
-H 'Content-Type: application/json' \
-d '{"prompt": "你好", "history": []}'
```
반환되는 결과는 다음과 같습니다:
```shell
{
"response":"你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。",
"history":[["你好","你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。"]],
"status":200,
"time":"2023-03-23 21:38:40"
}
```
## 저비용 배포
### 모델 양자화
기본적으로 모델은 FP16 정밀도로 로드되며, 위 코드를 실행하는 데 약 13GB의 VRAM이 필요합니다. GPU VRAM이 제한된 경우 양자화 방식으로 모델 로드를 시도해 볼 수 있으며, 사용 방법은 다음과 같습니다:
```python
# 필요에 따라 수정, 현재는 4/8 bit 양자화만 지원
model = AutoModel.from\_pretrained("THUDM/chatglm-6b", trust\_remote\_code=True).quantize(8).half().cuda()
```
2~3턴의 대화를 진행한 후, 8-bit 양자화 시 GPU VRAM 사용량은 약 10GB이며, 4-bit 양자화 시 단 6GB만 소모됩니다. 대화 턴 수가 늘어남에 따라 해당하는 VRAM 소모량도 함께 증가합니다. 상대적 위치 인코딩을 채택했기 때문에 이론적으로 ChatGLM-6B는 무한한 길의 컨텍스트(context-length)를 지원하지만, 총 길이가 2048(학습 길이)을 초과하면 성능이 점차 저하됩니다.
모델 양자화는 일정 수준의 성능 손실을 가져오지만, 테스트 결과 ChatGLM-6B는 4-bit 양자화 상태에서도 자연스럽고 유창한 생성이 가능합니다. [GPT-Q](https://arxiv.org/abs/2210.17323) 등의 양자화 방식을 사용하면 양자화 정밀도를 더 압축하거나 동일 양자화 정밀도에서의 모델 성능을 향상시킬 수 있으므로, 관련 Pull Request를 환영합니다.
양자화 과정에서는 메모리에 먼저 FP16 형식의 모델을 로드해야 하므로 약 13GB의 메모리가 소모됩니다. 메모리가 부족한 경우 양자화된 모델을 직접 로드할 수 있으며, INT4 양자화된 모델은 약 5.2GB의 메모리만 필요로 합니다:
```python
# INT8 양자화 모델의 경우 "THUDM/chatglm-6b-int4"를 "THUDM/chatglm-6b-int8"로 변경하세요.
model = AutoModel.from\_pretrained("THUDM/chatglm-6b-int4", trust\_remote\_code=True).half().cuda()
```
양자화 모델의 파라미터 파일은 [여기](https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/)에서 수동으로 다운로드할 수도 있습니다.
### CPU 배포
GPU 하드웨어가 없는 경우 CPU에서도 추론을 수행할 수 있지만, 추론 속도가 더 느립니다. 사용 방법은 다음과 같습니다 (약 32GB RAM 필요):
```python
model = AutoModel.from\_pretrained("THUDM/chatglm-6b", trust\_remote\_code=True).float()
```
메모리가 부족한 경우 양자화된 모델을 직접 로드할 수 있습니다:
```python
# INT8 양자화 모델의 경우 "THUDM/chatglm-6b-int4"를 "THUDM/chatglm-6b-int8"로 변경하세요.
model = AutoModel.from\_pretrained("THUDM/chatglm-6b-int4",trust\_remote\_code=True).float()
```
`Could not find module 'nvcuda.dll'` 또는 `RuntimeError: Unknown platform: darwin` (MacOS) 오류가 발생하는 경우 [로컬에서 모델 로드하기](README.md#从本地加载模型)를 참고하세요.
### Mac 배포
Apple Silicon 또는 AMD GPU가 탑재된 Mac의 경우, MPS 백엔드를 사용하여 GPU에서 ChatGLM-6B를 실행할 수 있습니다. Apple의 [공식 설명](https://developer.apple.com/metal/pytorch)을 참고하여 PyTorch-Nightly를 설치해야 합니다 (올바른 버전 번호는 2.0.0이 아니라 2.1.0.dev2023xxxx여야 합니다).
현재 MacOS에서는 [로컬에서 모델 로드하기](README.md#从本地加载模型)만 지원됩니다. 코드의 모델 로드를 로컬 로드로 변경하고 mps 백엔드를 사용하세요:
```python
model = AutoModel.from\_pretrained("your local path", trust\_remote\_code=True).half().to('mps')
```
반정밀도 ChatGLM-6B 모델을 로드하는 데는 약 13GB의 메모리가 필요합니다. 메모리가 작은 기기(예: 16GB 메모리의 MacBook Pro)의 경우 여유 메모리가 부족할 때 하드디스크의 가상 메모리를 사용하게 되어 추론 속도가 심각하게 느려집니다. 이 경우 chatglm-6b-int4와 같은 양자화된 모델을 사용할 수 있습니다. GPU의 양자화 커널은 CUDA로 작성되었기 때문에 MacOS에서는 사용할 수 없으며, CPU로만 추론을 수행해야 합니다.
```python
# INT8 양자화 모델의 경우 "THUDM/chatglm-6b-int4"를 "THUDM/chatglm-6b-int8"로 변경하세요.
model = AutoModel.from\_pretrained("THUDM/chatglm-6b-int4",trust\_remote\_code=True).float()
```
CPU 병렬 처리를 최대한 활용하려면 [OpenMP를 별도로 설치](FAQ.md#q1)해야 합니다.
### 멀티 카드(다중 GPU) 배포
여러 장의 GPU를 가지고 있으나 각 GPU의 VRAM 크기가 전체 모델을 수용하기에는 부족한 경우, 모델을 여러 GPU에 나누어 배치할 수 있습니다. 먼저 accelerate를 설치합니다: `pip install accelerate`. 그 후 다음 방법으로 모델을 로드합니다:
```python
from utils import load\_model\_on\_gpus
model = load\_model\_on\_gpus("THUDM/chatglm-6b", num\_gpus=2)
```
이렇게 하면 모델을 두 장의 GPU에 배포하여 추론을 수행할 수 있습니다. `num\_gpus`를 사용하려는 GPU 수로 변경할 수 있습니다. 기본적으로 균등하게 분할되며, `device\_map` 파라미터를 전달하여 직접 지정할 수도 있습니다.
## 고효율 파라미터 미세조정
[P-tuning v2](https://github.com/THUDM/P-tuning-v2) 기반의 고효율 파라미터 미세조정. 구체적인 사용 방법은 [ptuning/README.md](ptuning/README.md)를 참고하세요.
## ChatGLM-6B 예시
다음은 `web\_demo.py`를 사용하여 얻은 예시 스크린샷들입니다. ChatGLM-6B의 더 많은 가능성들을 직접 탐색하고 발견해 보세요!
**자아 인식**
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/examples/self-introduction.png)
**개요 작성**
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/examples/blog-outline.png)
**카피라이팅**
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/examples/ad-writing-2.png)
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/examples/comments-writing.png)
**이메일 작성 어시스턴트**
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/examples/email-writing-1.png)
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/examples/email-writing-2.png)
**정보 추출**
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/examples/information-extraction.png)
**역할극 (Role-play)**
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/examples/role-play.png)
**댓글 비교**
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/examples/sport.png)
**여행 가이드**
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/examples/tour-guide.png)
## 한계점
ChatGLM-6B는 규모가 작기 때문에 여전히 그 능력에 많은 한계가 있습니다. 다음은 현재 발견된 몇 가지 문제점입니다:
- 모델 용량 부족: 6B의 작은 용량으로 인해 상대적으로 취약한 모델 기억력과 언어 능력을 가집니다. 많은 사실적 지식 태스크를 마주할 때 ChatGLM-6B는 부정확한 정보를 생성할 수 있으며, 논리형 문제(예: 수학, 프로그래밍) 풀이에도 능숙하지 않습니다.
**클릭하여 예시 보기**
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/limitations/factual\_error.png)
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/limitations/math\_error.png)
- 유해한 설명 또는 편향된 내용 생성: ChatGLM-6B는 인간의 의도와 일차적으로 정렬된 언어 모델일 뿐이며, 유해하고 편향된 내용을 생성할 수 있습니다(내용이 불쾌감을 줄 수 있으므로 여기서는 표시하지 않음).
- 영어 능력 부족: ChatGLM-6B 학습 시 사용된 프롬프트/답변의 대부분은 중국어이며, 영어 내용은 극히 일부분에 불과합니다. 따라서 영어 프롬프트를 입력할 경우 답변의 질이 중국어에 비해 훨씬 떨어지며, 중국어 프롬프트 환경에서의 내용과 모순되기도 하고, 중영어가 섞이는 현상이 발생합니다.
- 쉽게 오도되며, 대화 능력이 상대적으로 취약함: ChatGLM-6B의 대화 능력은 아직 비교적 취약하며, "자아 인식"에 문제가 있고 쉽게 오도되어 잘못된 발언을 생성할 수 있습니다. 예를 들어, 현재 버전의 모델은 오도된 상황에서 자아 인식에 편차가 발생합니다.
**클릭하여 예시 보기**
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/limitations/self-confusion\_google.jpg)
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/limitations/self-confusion\_openai.jpg)
![](https://raw.githubusercontent.com/zai-org/ChatGLM-6B/main/limitations/self-confusion\_tencent.jpg)
## 라이선스
본 저장소의 코드는 [Apache-2.0](LICENSE) 라이선스에 따라 오픈소스화되며, ChatGLM-6B 모델 가중치의 사용은 [Model License](MODEL\_LICENSE)를 준수해야 합니다. ChatGLM-6B 가중치는 학술 연구에 \*\*전면 개방\*\*되며, [설문조사](https://open.bigmodel.cn/mla/form) 작성 후 등록하면 \*\*무료 상업적 이용도 허용\*\*됩니다.
## 인용
저희의 작업이 도움이 되었다면 다음 논문을 인용해 주시기 바랍니다:
```
@misc{glm2024chatglm,
title={ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools},
author={Team GLM and Aohan Zeng and Bin Xu and Bowen Wang and Chenhui Zhang and Da Yin and Diego Rojas and Guanyu Feng and Hanlin Zhao and Hanyu Lai and Hao Yu and Hongning Wang and Jiadai Sun and Jiajie Zhang and Jiale Cheng and Jiayi Gui and Jie Tang and Jing Zhang and Juanzi Li and Lei Zhao and Lindong Wu and Lucen Zhong and Mingdao Liu and Minlie Huang and Peng Zhang and Qinkai Zheng and Rui Lu and Shuaiqi Duan and Shudan Zhang and Shulin Cao and Shuxun Yang and Weng Lam Tam and Wenyi Zhao and Xiao Liu and Xiao Xia and Xiaohan Zhang and Xiaotao Gu and Xin Lv and Xinghan Liu and Xinyi Liu and Xinyue Yang and Xixuan Song and Xunkai Zhang and Yifan An and Yifan Xu and Yilin Niu and Yuantao Yang and Yueyan Li and Yushi Bai and Yuxiao Dong and Zehan Qi and Zhaoyu Wang and Zhen Yang and Zhengxiao Du and Zhenyu Hou and Zihan Wang},
year={2024},
eprint={2406.12793},
archivePrefix={arXiv},
primaryClass={id='cs.CL' full\_name='Computation and Language' is\_active=True alt\_name='cmp-lg' in\_archive='cs' is\_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}
```

ChatGLM-6B

ChatGLM-6B 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

ChatGLM-6B

ChatGLM-6B 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README