QuickVC-44100-Ja_HuBERT

KO | EN

gitlite — search

#python #java #javascript #php #dotfiles #c-plus-plus #html #django #nodejs #lua #go #symfony

QuickVC-44100-Ja_HuBERT

★ 16 Open GitHub ↗

44100Hz日本語HuBERTに対応した QuickVC: Any-to-many Voice Conversion Using Inverse Short-time Fourier Transform for Faster Conversion です。

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# QuickVC(44100Hz 日本語HuBERT対応版)

このリポジトリは、44100Hzの音声を学習および出力できるように編集した[QuickVC-VoiceConversion](https://github.com/quickvc/QuickVC-VoiceConversion)です。但し、以下の点を変更しております。
- ContentEncoderをWaveNetからAttentionに変更
- HuBERT-softのHiddenUnitsを、[日本語HuBERT](https://huggingface.co/rinna/japanese-hubert-base)12層目768dim特徴量に変更
- MS-iSTFT-VITSのsubband数を4⇛8に変更
- ContentEncoderにF0埋め込みを追加。それに従い、PreprocessにF0抽出処理を追加。

##  ⚠Work in Progress⚠
学習と推論を実装済。事前学習モデル等は学習音源の問題が解決し次第公開。

## 1. 環境構築

Anacondaによる実行環境構築を想定する。

0. Anacondaで"QuickVC"という名前の仮想環境を作成する。[y]or nを聞かれたら[y]を入力する。
    ```sh
    conda create -n QuickVC python=3.8    
    ```
0. 仮想環境を有効化する。
    ```sh
    conda activate QuickVC
    ```
0. このレポジトリをクローンする（もしくはDownload Zipでダウンロードする）

```sh
    git clone https://github.com/tonnetonne814/QuickVC-44100-Ja_HuBERT.git
    cd QuickVC-44100-Ja_HuBERT.git # フォルダへ移動
    ```

0. [https://pytorch.org/](https://pytorch.org/)のURLよりPyTorchをインストールする。
    ```sh
    # OS=Linux, CUDA=11.7 の例
    pip3 install torch torchvision torchaudio
    ```

0. その他、必要なパッケージをインストールする。
    ```sh
    pip install -r requirements.txt 
    ```

## 2. データセットの準備

[JVSコーパス](https://sites.google.com/site/shinnosuketakamichi/research-topics/jvs_corpus)は配布時の音源が24000Hzの為適さないが、説明のために[JVSコーパス](https://sites.google.com/site/shinnosuketakamichi/research-topics/jvs_corpus)の学習を想定します。

1. [こちら](https://sites.google.com/site/shinnosuketakamichi/research-topics/jvs_corpus)からJVSコーパスをダウンロード&解凍する。
1. 音源を44100Hz16Bitモノラル音源へと変換する。
1. 解凍したフォルダを、datasetフォルダへ移動し、以下を実行する。
    ```sh
    python3 ./dataset/encode.py --model japanese-hubert-base --f0 harvest 
    ```
    > F0抽出のライブラリは、["dio", "parselmouth", "harvest", "crepe"]から選択可能。適宜変更すること。

## 4. 学習
次のコマンドを入力することで、学習を開始する。YourModelNameは自由に変更して良い。
> ⚠CUDA Out of Memoryのエラーが出た場合には、config.jsonにてbatch_sizeを小さくする。

```sh
python train.py -c configs/quickvc_44100.json -m YourModelName
```

学習経過はターミナルにも表示されるが、tensorboardを用いて確認することで、生成音声の視聴や、スペクトログラム、各ロス遷移を目視で確認することができます。
```sh
tensorboard --logdir logs
```

## 5. 推論
次のコマンドを入力することで、推論を開始する。config.jsonへのパス、生成器モデルパスを指定する。

```sh
python inference.py --config ./path/to/config.json --model_path ./path/to/G_xxx.pth 
```
実行後、Terminal上にて使用するデバイスを選択後、以下のループが処理される。
1. ターゲット音声パスの入力
1. ソース音声ファイルパスの入力
1. F0計算方式の入力 ( dio:0 | parselmouth:1 | harvest:2 | crepe:3 )
1. 処理実行、処理時間表示
1. 音声とログデータの保存(infer_logsフォルダがデフォルト)
1. 音声の再生

## 事前学習モデル
未実装。学習音源選定中。

## 参考文献
- [QuickVC-VoiceConversion](https://github.com/quickvc/QuickVC-VoiceConversion)
- [MB-ISTFT-VITS](https://github.com/MasayaKawamura/MB-iSTFT-VITS)
- [japanese-hubert-base](https://huggingface.co/rinna/japanese-hubert-base)
- [fish-diffusion](https://github.com/fishaudio/fish-diffusion)
- [so-vits-svc](https://github.com/svc-develop-team/so-vits-svc)
- [etrieval-based-Voice-Conversion-WebUI](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI)

QuickVC-44100-Ja_HuBERT

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README