CosyVoice - GitLite

KO | EN

gitlite — search

#hacktoberfest #react #ai #android #rust #deep-learning #docker #nodejs #kubernetes #awesome-list #vue #pytorch #openai #open-source

CosyVoice

(★ 22,848)

추론, 학습 및 배포를 위한 풀스택 기능을 제공하는 다국어 대규모 음성 생성 모델입니다.

파일 탐색기

최종 버전 다운로드 (.zip)

- - bug_report.md
  - feature_request.md
- - lint.yml
  - stale-issues.yml
- cross_lingual_prompt.wav
- dingding.png
- zero_shot_prompt.wav
- - average_model.py
  - export_jit.py
  - export_onnx.py
  - train.py
- - __init__.py
  - cosyvoice.py
  - frontend.py
  - model.py
- - __init__.py
  - dataset.py
  - processor.py
- - decoder.py
  - flow.py
  - flow_matching.py
  - length_regulator.py
- - discriminator.py
  - f0_predictor.py
  - generator.py
  - hifigan.py
- - llm.py
- - tokenizer.py
- - __init__.py
  - activation.py
  - attention.py
  - convolution.py
  - decoder.py
  - decoder_layer.py
  - embedding.py
  - encoder.py
  - encoder_layer.py
  - label_smoothing_loss.py
  - positionwise_feed_forward.py
  - subsampling.py
  - upsample_encoder.py
- - __init__.py
  - class_utils.py
  - common.py
  - executor.py
  - file_utils.py
  - frontend_utils.py
  - losses.py
  - mask.py
  - onnx.py
  - scheduler.py
  - train_utils.py
- - cosyvoice2.py
- __init__.py
- Dockerfile
- - Dockerfile
- - client_grpc.py
  - client_http.py
  - docker-compose.cosyvoice2.dit.yml
  - docker-compose.cosyvoice2.unet.yml
  - docker-compose.cosyvoice3.yml
  - Dockerfile.server
  - infer_cosyvoice3.py
  - offline_inference.py
  - README.Cosyvoice2.DiT.md
  - README.Cosyvoice2.Unet.md
  - README.Cosyvoice3.md
  - README.md
  - requirements.txt
  - run.sh
  - run_cosyvoice3.sh
  - run_stepaudio2_dit_token2wav.sh
  - streaming_inference.py
  - token2wav.py
  - token2wav_cosyvoice3.py
  - token2wav_dit.py
- Matcha-TTS
- extract_embedding.py
- extract_speech_token.py
- make_parquet_list.py
.gitignore
.gitmodules
CODE_OF_CONDUCT.md
example.py
FAQ.md
LICENSE
README.md
requirements.txt
vllm_example.py
webui.py

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

![SVG Banners](https://svg-banners.vercel.app/api?type=origin&text1=CosyVoice🤠&text2=Text-to-Speech%20💖%20Large%20Language%20Model&width=800&height=210)
## 👉🏻 CosyVoice 👈🏻
\*\*Fun-CosyVoice 3.0\*\*: [Demos](https://funaudiollm.github.io/cosyvoice3/); [Paper](https://arxiv.org/pdf/2505.17589); [Modelscope](https://www.modelscope.cn/models/FunAudioLLM/Fun-CosyVoice3-0.5B-2512); [Huggingface](https://huggingface.co/FunAudioLLM/Fun-CosyVoice3-0.5B-2512); [CV3-Eval](https://github.com/FunAudioLLM/CV3-Eval)
\*\*CosyVoice 2.0\*\*: [Demos](https://funaudiollm.github.io/cosyvoice2/); [Paper](https://arxiv.org/pdf/2412.10117); [Modelscope](https://www.modelscope.cn/models/iic/CosyVoice2-0.5B); [HuggingFace](https://huggingface.co/FunAudioLLM/CosyVoice2-0.5B)
\*\*CosyVoice 1.0\*\*: [Demos](https://fun-audio-llm.github.io); [Paper](https://funaudiollm.github.io/pdf/CosyVoice\_v1.pdf); [Modelscope](https://www.modelscope.cn/models/iic/CosyVoice-300M); [HuggingFace](https://huggingface.co/FunAudioLLM/CosyVoice-300M)
## 주요 특징🔥
\*\*Fun-CosyVoice 3.0\*\*은 거대 언어 모델(LLM)을 기반으로 한 고급 텍스트 음성 변환(TTS) 시스템으로, 내용 일치성, 화자 유사도, 운율 자연스러움 측면에서 이전 버전(CosyVoice 2.0)을 능가합니다. 실제 환경에서의 제로샷 다국어 음성 합성을 위해 설계되었습니다.
### 주요 기능
- \*\*지원 언어\*\*: 9개의 공통 언어(중국어, 영어, 일본어, 한국어, 독일어, 스페인어, 프랑스어, 이탈리아어, 러시아어), 18개 이상의 중국어 방언/사투리(광동어, 민난어, 쓰촨어, 동베이 어, 산시성(Shan3xi), 산시성(Shan1xi), 상하이, 톈진, 산둥, 닝샤, 간쑤 등)를 지원하며, 다국어/크로스링구얼 제로샷 음성 복제를 동시에 지원합니다.
- \*\*내용 일치성 및 자연스러움\*\*: 내용 일치성, 화자 유사도, 운율 자연스러움에서 최고 수준(SOTA)의 성능을 달성합니다.
- \*\*발음 인페인팅\*\*: 중국어 병음(Pinyin) 및 영어 CMU 음소의 발음 인페인팅을 지원하여 더 높은 제어력을 제공하며, 이를 통해 실제 프로덕션 환경에서 사용하기 적합합니다.
- \*\*텍스트 정규화\*\*: 전통적인 프론트엔드 모듈 없이도 숫자, 특수 기호 및 다양한 텍스트 형식의 읽기를 지원합니다.
- \*\*바이 스트리밍(Bi-Streaming)\*\*: 텍스트 입력 스트리밍과 오디오 출력 스트리밍을 모두 지원하며, 고품질 오디오 출력을 유지하면서 150ms의 짧은 지연 시간(latency)을 달성합니다.
- \*\*인스트럭트 지원\*\*: 언어, 방언, 감정, 속도, 음량 등 다양한 지시사항(instructions)을 지원합니다.
## 로드맵
- [x] 2025/12
- [x] Fun-CosyVoice3-0.5B-2512 베이스 모델, RL 모델 및 학습/추론 스크립트 공개
- [x] Fun-CosyVoice3-0.5B Modelscope Gradio Space 공개
- [x] 2025/08
- [x] NVIDIA의 Yuekai Zhang 기여 덕분에 Triton TRTLLM 런타임 지원 및 CosyVoice2 GRPO 학습 지원 추가
- [x] 2025/07
- [x] Fun-CosyVoice 3.0 평가 셋 공개
- [x] 2025/05
- [x] CosyVoice2-0.5B vLLM 지원 추가
- [x] 2024/12
- [x] 25Hz CosyVoice2-0.5B 출시
- [x] 2024/09
- [x] 25Hz CosyVoice-300M 베이스 모델
- [x] 25Hz CosyVoice-300M 음성 변환 기능
- [x] 2024/08
- [x] LLM 안정성을 위한 반복 인식 샘플링(RAS) 추론
- [x] RTF 최적화를 위한 KV 캐시 및 SDPA를 포함한 스트리밍 추론 모드 지원
- [x] 2024/07
- [x] 플로우 매칭(Flow matching) 학습 지원
- [x] ttsfrd를 사용할 수 없는 경우 WeTextProcessing 지원
- [x] FastAPI 서버 및 클라이언트
## 평가
| 모델 | 오픈소스 | 모델 크기 | test-zh  
CER (%) ↓ | test-zh  
SS (%) ↑ | test-en  
WER (%) ↓ | test-en  
SS (%) ↑ | test-hard  
CER (%) ↓ | test-hard  
SS (%) ↑ |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| Human | - | - | 1.26 | 75.5 | 2.14 | 73.4 | - | - |
| Seed-TTS | ❌ | - | 1.12 | 79.6 | 2.25 | 76.2 | 7.59 | 77.6 |
| MiniMax-Speech | ❌ | - | 0.83 | 78.3 | 1.65 | 69.2 | - | - |
| F5-TTS | ✅ | 0.3B | 1.52 | 74.1 | 2.00 | 64.7 | 8.67 | 71.3 |
| Spark TTS | ✅ | 0.5B | 1.2 | 66.0 | 1.98 | 57.3 | - | - |
| CosyVoice2 | ✅ | 0.5B | 1.45 | 75.7 | 2.57 | 65.9 | 6.83 | 72.4 |
| FireRedTTS2 | ✅ | 1.5B | 1.14 |

| 73.2 | 1.95 | 66.5 | - | - |
| Index-TTS2 | ✅ | 1.5B | 1.03 | 76.5 | 2.23 | 70.6 | 7.12 | 75.5 |
| VibeVoice-1.5B | ✅ | 1.5B | 1.16 | 74.4 | 3.04 | 68.9 | - | - |
| VibeVoice-Realtime | ✅ | 0.5B | - | - | 2.05 | 63.3 | - | - |
| HiggsAudio-v2 | ✅ | 3B | 1.50 | 74.0 | 2.44 | 67.7 | - | - |
| VoxCPM | ✅ | 0.5B | 0.93 | 77.2 | 1.85 | 72.9 | 8.87 | 73.0 |
| GLM-TTS | ✅ | 1.5B | 1.03 | 76.1 | - | - | - | - |
| GLM-TTS RL | ✅ | 1.5B | 0.89 | 76.4 | - | - | - | - |
| Fun-CosyVoice3-0.5B-2512 | ✅ | 0.5B | 1.21 | 78.0 | 2.24 | 71.8 | 6.71 | 75.8 |
| Fun-CosyVoice3-0.5B-2512\_RL | ✅ | 0.5B | 0.81 | 77.4 | 1.68 | 69.5 | 5.44 | 75.0 |
## 설치 (Install)
### 복제 및 설치 (Clone and install)
- 저장소(repo) 복제하기
``` sh
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
# 네트워크 문제로 서브모듈 복제에 실패한 경우, 성공할 때까지 다음 명령어를 실행해 주세요.
cd CosyVoice
git submodule update --init --recursive
```
- Conda 설치: https://docs.conda.io/en/latest/miniconda.html 를 참고하세요.
- Conda 환경 생성:
``` sh
conda create -n cosyvoice -y python=3.10
conda activate cosyvoice
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
# sox 호환성 문제가 발생하는 경우
# ubuntu
sudo apt-get install sox libsox-dev
# centos
sudo yum install sox sox-devel
```
### 모델 다운로드 (Model download)
사전 학습된 `Fun-CosyVoice3-0.5B`, `CosyVoice2-0.5B`, `CosyVoice-300M`, `CosyVoice-300M-SFT`, `CosyVoice-300M-Instruct` 모델과 `CosyVoice-ttsfrd` 리소스를 다운로드하는 것을 강력히 권장합니다.
``` python
# modelscope SDK 모델 다운로드
from modelscope import snapshot\_download
snapshot\_download('FunAudioLLM/Fun-CosyVoice3-0.5B-2512', local\_dir='pretrained\_models/Fun-CosyVoice3-0.5B')
snapshot\_download('iic/CosyVoice2-0.5B', local\_dir='pretrained\_models/CosyVoice2-0.5B')
snapshot\_download('iic/CosyVoice-300M', local\_dir='pretrained\_models/CosyVoice-300M')
snapshot\_download('iic/CosyVoice-300M-SFT', local\_dir='pretrained\_models/CosyVoice-300M-SFT')
snapshot\_download('iic/CosyVoice-300M-Instruct', local\_dir='pretrained\_models/CosyVoice-300M-Instruct')
snapshot\_download('iic/CosyVoice-ttsfrd', local\_dir='pretrained\_models/CosyVoice-ttsfrd')
# 해외 사용자를 위한 huggingface SDK 모델 다운로드
from huggingface\_hub import snapshot\_download
snapshot\_download('FunAudioLLM/Fun-CosyVoice3-0.5B-2512', local\_dir='pretrained\_models/Fun-CosyVoice3-0.5B')
snapshot\_download('FunAudioLLM/CosyVoice2-0.5B', local\_dir='pretrained\_models/CosyVoice2-0.5B')
snapshot\_download('FunAudioLLM/CosyVoice-300M', local\_dir='pretrained\_models/CosyVoice-300M')
snapshot\_download('FunAudioLLM/CosyVoice-300M-SFT', local\_dir='pretrained\_models/CosyVoice-300M-SFT')
snapshot\_download('FunAudioLLM/CosyVoice-300M-Instruct', local\_dir='pretrained\_models/CosyVoice-300M-Instruct')
snapshot\_download('FunAudioLLM/CosyVoice-ttsfrd', local\_dir='pretrained\_models/CosyVoice-ttsfrd')
```
선택 사항으로, 더 나은 텍스트 정규화 성능을 위해 `ttsfrd` 리소스의 압축을 풀고 `ttsfrd` 패키지를 설치할 수 있습니다.
이 단계는 필수가 아닙니다. `ttsfrd` 패키지를 설치하지 않으면 기본적으로 wetext를 사용합니다.
``` sh
cd pretrained\_models/CosyVoice-ttsfrd/
unzip resource.zip -d .
pip install ttsfrd\_dependency-0.1-py3-none-any.whl
pip install ttsfrd-0.4.2-cp310-cp310-linux\_x86\_64.whl
```
### 기본 사용법 (Basic Usage)
더 나은 성능을 위해 `Fun-CosyVoice3-0.5B` 사용을 강력히 권장합니다.
각 모델의 상세한 사용법은 `example.py`의 코드를 따르세요.
```sh
python example.py
```
#### vLLM 사용법 (vLLM Usage)
CosyVoice2/3는 이제 \*\*vLLM 0.11.x+ (V1 엔진)\*\* 및 \*\*vLLM 0.9.0 (레거시)\*\*를 지원합니다.
이전 vLLM 버전(<0.9.0)은 CosyVoice 추론을 지원하지 않으며, 그 사이의 버전(예: 0.10.x)은 테스트되지 않았습니다.
`vllm`에는 많은 특정 요구사항이 있습니다. 하드웨어가 vllm을 지원하지 않거나 기존 환경이 손상될 경우에 대비해 새 환경을 생성할 수 있습니다.
``` sh
conda create -n cosyvoice\_vllm --clone cosyvoice
conda activat

e cosyvoice\_vllm
# for vllm==0.9.0
pip install vllm==v0.9.0 transformers==4.51.3 numpy==1.26.4 -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
# for vllm>=0.11.0
pip install vllm==v0.11.0 transformers==4.57.1 numpy==1.26.4 -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
python vllm\_example.py
```
#### 웹 데모 시작하기
웹 데모 페이지를 사용하여 CosyVoice에 빠르게 익숙해질 수 있습니다.
자세한 내용은 데모 웹사이트를 참조하세요.
``` python
# sft 추론의 경우 iic/CosyVoice-300M-SFT로 변경하고, instruct 추론의 경우 iic/CosyVoice-300M-Instruct로 변경하세요.
python3 webui.py --port 50000 --model\_dir pretrained\_models/CosyVoice-300M
```
#### 고급 사용법
고급 사용자를 위해 `examples/libritts`에 학습 및 추론 스크립트가 제공됩니다.
#### 배포를 위한 빌드
선택 사항으로, 서비스 배포를 원하시는 경우
다음 단계를 실행할 수 있습니다.
``` sh
cd runtime/python
docker build -t cosyvoice:v1.0 .
# instruct 추론을 사용하려면 iic/CosyVoice-300M을 iic/CosyVoice-300M-Instruct로 변경하세요.
# grpc 사용 시
docker run -d --runtime=nvidia -p 50000:50000 cosyvoice:v1.0 /bin/bash -c "cd /opt/CosyVoice/CosyVoice/runtime/python/grpc && python3 server.py --port 50000 --max\_conc 4 --model\_dir iic/CosyVoice-300M && sleep infinity"
cd grpc && python3 client.py --port 50000 --mode 
# fastapi 사용 시
docker run -d --runtime=nvidia -p 50000:50000 cosyvoice:v1.0 /bin/bash -c "cd /opt/CosyVoice/CosyVoice/runtime/python/fastapi && python3 server.py --port 50000 --model\_dir iic/CosyVoice-300M && sleep infinity"
cd fastapi && python3 client.py --port 50000 --mode 
```
#### 배포를 위해 Nvidia TensorRT-LLM 사용하기
TensorRT-LLM을 사용하여 cosyvoice2 llm을 가속화하면 Hugging Face transformers 구현에 비해 4배의 가속 성능을 얻을 수 있습니다.
빠른 시작:
``` sh
cd runtime/triton\_trtllm
docker compose up -d
```
자세한 내용은 [여기](https://github.com/FunAudioLLM/CosyVoice/tree/main/runtime/triton\_trtllm)를 확인하세요.
## 토론 및 커뮤니케이션
[Github Issues](https://github.com/FunAudioLLM/CosyVoice/issues)에서 직접 토론할 수 있습니다.
또한 QR 코드를 스캔하여 공식 Dingding 채팅 그룹에 참여할 수 있습니다.
![](./asset/dingding.png)
## 감사의 말
1. [FunASR](https://github.com/modelscope/FunASR)의 코드를 많이 참고했습니다.
2. [FunCodec](https://github.com/modelscope/FunCodec)의 코드를 많이 참고했습니다.
3. [Matcha-TTS](https://github.com/shivammehta25/Matcha-TTS)의 코드를 많이 참고했습니다.
4. [AcademiCodec](https://github.com/yangdongchao/AcademiCodec)의 코드를 많이 참고했습니다.
5. [WeNet](https://github.com/wenet-e2e/wenet)의 코드를 많이 참고했습니다.
## 인용
``` bibtex
@article{du2024cosyvoice,
title={Cosyvoice: A scalable multilingual zero-shot text-to-speech synthesizer based on supervised semantic tokens},
author={Du, Zhihao and Chen, Qian and Zhang, Shiliang and Hu, Kai and Lu, Heng and Yang, Yexin and Hu, Hangrui and Zheng, Siqi and Gu, Yue and Ma, Ziyang and others},
journal={arXiv preprint arXiv:2407.05407},
year={2024}
}
@article{du2024cosyvoice,
title={Cosyvoice 2: Scalable streaming speech synthesis with large language models},
author={Du, Zhihao and Wang, Yuxuan and Chen, Qian and Shi, Xian and Lv, Xiang and Zhao, Tianyu and Gao, Zhifu and Yang, Yexin and Gao, Changfeng and Wang, Hui and others},
journal={arXiv preprint arXiv:2412.10117},
year={2024}
}
@article{du2025cosyvoice,
title={CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training},
author={Du, Zhihao and Gao, Changfeng and Wang, Yuxuan and Yu, Fan and Zhao, Tianyu and Wang, Hao and Lv, Xiang and Wang, Hui and Shi, Xian and An, Keyu and others},
journal={arXiv preprint arXiv:2505.17589},
year={2025}
}
@inproceedings{lyu2025build,
title={Build LLM-Based Zero-Shot Streaming TTS System with Cosyvoice},
author={Lyu, Xiang and Wang, Yuxuan and Zhao, Tianyu and Wang, Hao and Liu, Huadai and Du, Zhihao},
booktitle={ICASSP 2025-2025 IEEE International Confer

ence on Acoustics, Speech and Signal Processing (ICASSP)},
pages={1--2},
year={2025},
organization={IEEE}
}
```
## Ecosystem
CosyVoice는 \*\*FunAudioLLM\*\* 패밀리의 일부이며, 완전한 음성 AI 툴킷입니다:
| 프로젝트 | 설명 | Star 수 |
|---------|-------------|-------|
| [FunASR](https://github.com/modelscope/FunASR) | 산업용 음성 인식 — 50개 이상의 언어, 화자 분할, 스트리밍 | [![](https://img.shields.io/github/stars/modelscope/FunASR?style=social)](https://github.com/modelscope/FunASR) |
| [Fun-ASR-Nano](https://github.com/FunAudioLLM/Fun-ASR) | 엔드투엔드 LLM 기반 ASR — 31개 언어, 핫워드, vLLM 스트리밍 | [![](https://img.shields.io/github/stars/FunAudioLLM/Fun-ASR?style=social)](https://github.com/FunAudioLLM/Fun-ASR) |
| [SenseVoice](https://github.com/FunAudioLLM/SenseVoice) | 초고속 ASR + 감정 + 오디오 이벤트 감지 | [![](https://img.shields.io/github/stars/FunAudioLLM/SenseVoice?style=social)](https://github.com/FunAudioLLM/SenseVoice) |
| [FunClip](https://github.com/modelscope/FunClip) | 음성 인식을 활용한 AI 비디오 클리핑 | [![](https://img.shields.io/github/stars/modelscope/FunClip?style=social)](https://github.com/modelscope/FunClip) |
## Disclaimer
위에서 제공된 콘텐츠는 학술적 목적으로만 제공되며 기술적 역량을 시연하기 위한 것입니다. 일부 예시는 인터넷에서 가져온 것입니다. 권리를 침해하는 콘텐츠가 있는 경우 당사에 연락하여 삭제를 요청해 주시기 바랍니다.