DRLX - GitLite

KO | EN

gitlite — search

#javascript #hacktoberfest #golang #android #machine-learning #deep-learning #docker #macos #nodejs #java #awesome #awesome-list #pytorch #openai

DRLX

(★ 194)

Diffusion Reinforcement Learning Library

파일 탐색기

최종 버전 다운로드 (.zip)

- ddpo_sd_imagenet.yml
- ddpo_sd_imagenet_lora.yml
- ddpo_sd_pickapic.yml
- - conf.py
  - denoisers.rst
  - example.rst
  - index.rst
  - installation.rst
  - pipeline.rst
  - reward_modelling.rst
  - sampling.rst
  - trainer.rst
- make.bat
- Makefile
- requirements.txt
- contrasted_panda_inference.py
- contrasted_panda_training.py
- ddpo_imagenet_lora_inference.py
- train_ddpo_imagenet.py
- train_ddpo_imagenet_lora.py
- train_ddpo_pickapic.py
- - __init__.py
  - configs.py
- accelerate_checkpoint_test.py
- ddpo_unet_pipeline_test.py
- README.md
- vid_from_sample.py
.gitignore
.readthedocs.yml
LICENSE
pyproject.toml
README.md
requirements.txt

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/CarperAI/DRLX

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd DRLX

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천

사전 준비물

Python 3 pip 명령어를 쓰려면 Python이 필요합니다.

pip install drlx

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install git+https://github.com/CarperAI/DRLX.git

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install drlx

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install git+https://github.com/CarperAI/DRLX.git

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# Diffusion Reinforcement Learning X

DRLX is a library for distributed training of diffusion models via RL. It is meant to wrap around 🤗 Hugging Face's [Diffusers](https://huggingface.co/docs/diffusers/) library and uses [Accelerate](https://huggingface.co/docs/accelerate/) for Multi-GPU and Multi-Node (as of yet untested)

**News (09/27/2023): Check out our blog post with some recent experiments [here](https://carper.ai/enhancing-diffusion-models-with-reinforcement-learning/)!**

📖 **[Documentation](https://DRLX.readthedocs.io)**

# Setup

First make sure you've installed [OpenCLIP](https://github.com/openai/CLIP.git). Afterwards, you can install the library from pypi:

```sh
pip install drlx
```

or from source:

```sh
pip install git+https://github.com/CarperAI/DRLX.git
```

# How to use

Currently we have only tested the library with Stable Diffusion 1.4, 1.5, and 2.1, but the plug and play nature of it means that realistically any denoiser from most pipelines should be usable. Models saved with DRLX are compatible with the pipeline they originated from and can be loaded like any other pretrained model. Currently the only algorithm supported for training is [DDPO](https://arxiv.org/abs/2305.13301).

```python
from drlx.reward_modelling.aesthetics import Aesthetics
from drlx.pipeline.pickapic_prompts import PickAPicPrompts
from drlx.trainer.ddpo_trainer import DDPOTrainer
from drlx.configs import DRLXConfig

# We import a reward model, a prompt pipeline, the trainer and config

pipe = PickAPicPrompts()
config = DRLXConfig.load_yaml("configs/my_cfg.yml")
trainer = DDPOTrainer(config)

trainer.train(pipe, Aesthetics())
```

And then to use a trained model for inference:

```python
pipe = StableDiffusionPipeline.from_pretrained("out/ddpo_exp")
prompt = "A mad panda scientist"
image = pipe(prompt).images[0]
image.save("test.jpeg")
```

# Accelerated Training

```bash
accelerate config
accelerate launch -m [your module]
```

# Roadmap

- [x] Initial launch and DDPO
- [x] PickScore Tuned Models
- [ ] DPO
- [ ] SDXL support