ComfyUI-DiffSynth-Studio - GitLite

KO | EN

gitlite — search

#javascript #hacktoberfest #react #ai #go #deep-learning #windows #awesome #cli #kubernetes #vue #security #mcp #openai

ComfyUI-DiffSynth-Studio

(★ 101)

make DiffSynth-Studio avialbe in ComfyUI

파일 탐색기

최종 버전 다운로드 (.zip)

- - __init__.py
  - controlnet_unit.py
  - processors.py
- - __init__.py
  - video.py
- - __init__.py
  - attention.py
  - downloader.py
  - hunyuan_dit.py
  - hunyuan_dit_text_encoder.py
  - sd_controlnet.py
  - sd_ipadapter.py
  - sd_lora.py
  - sd_motion.py
  - sd_text_encoder.py
  - sd_unet.py
  - sd_vae_decoder.py
  - sd_vae_encoder.py
  - sdxl_ipadapter.py
  - sdxl_motion.py
  - sdxl_text_encoder.py
  - sdxl_unet.py
  - sdxl_vae_decoder.py
  - sdxl_vae_encoder.py
  - svd_image_encoder.py
  - svd_unet.py
  - svd_vae_decoder.py
  - svd_vae_encoder.py
  - tiler.py
- - __init__.py
  - dancer.py
  - hunyuan_dit.py
  - stable_diffusion.py
  - stable_diffusion_video.py
  - stable_diffusion_xl.py
  - stable_diffusion_xl_video.py
  - stable_video_diffusion.py
- - __init__.py
  - base.py
  - FastBlend.py
  - PILEditor.py
  - RIFE.py
  - sequencial_processor.py
- - __init__.py
  - hunyuan_dit_prompter.py
  - sd_prompter.py
  - sdxl_prompter.py
  - utils.py
- - __init__.py
  - continuous_ode.py
  - ddim.py
- __init__.py
- put diffsynth studio models here
- - previewVideo.js
  - uploadVideo.js
- diffutoon_workflow.json
- exvideo_workflow.json
.gitignore
__init__.py
LICENSE
README.md
requirements.txt
studio_nodes.py
util_nodes.py
web.png

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/AIFSH/ComfyUI-DiffSynth-Studio

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd ComfyUI-DiffSynth-Studio

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천

사전 준비물

APT (Debian/Ubuntu 계열) Debian/Ubuntu 계열 리눅스에 기본 내장된 패키지 매니저입니다.

apt install ffmpeg

APT 패키지 저장소에서 바로 설치합니다 (Debian/Ubuntu 계열).

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install -r requirements.txt

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# ComfyUI-DiffSynth-Studio
make [DiffSynth-Studio](https://github.com/modelscope/DiffSynth-Studio) avialbe in ComfyUI
<div>
  <figure>
  <img alt='webpage' src="web.png?raw=true" width="600px"/>
  <figure>
</div>

## how to use
test on py3.10，2080ti 11gb，torch==2.3.0+cu121

make sure `ffmpeg` is worked in your commandline
for Linux
```
apt update
apt install ffmpeg
```
for Windows,you can install `ffmpeg` by [WingetUI](https://github.com/marticliment/WingetUI) automatically

then!
```
# in ComfyUI/custom_nodes
git clone https://github.com/AIFSH/ComfyUI-DiffSynth-Studio.git
cd ComfyUI-DiffSynth-Studio
pip install -r requirements.txt
```
weights will be downloaded from huggingface or model scope

## Tutorial
- [Demo for Diffutoon](https://b23.tv/z7hEXlX)[DiffSynth-Studio!ComfyUI插件之Diffutoon节点-哔哩哔哩](https://b23.tv/z7hEXlX)
- [Run on 4090](https://www.xiangongyun.com/image/detail/13706bf7-f3e6-4e29-bb97-c79405f5def4)
- wechat：aifsh_98

## Nodes Detail and Workflow
### ExVideo Node
[ExVideo workflow](./workfolws/exvideo_workflow.json)
```
"image":("IMAGE",),
"svd_base_model":("SD_MODEL_PATH",),
"exvideo_model":("SD_MODEL_PATH",),
"num_frames":("INT",{ 
    "default": 128
}),
"fps":("INT",{
    "default": 30
}),
"num_inference_steps":("INT",{
    "default": 50
}),
"if_upscale":("BOOLEAN",{
    "default": True,
}),
"seed": ("INT",{
    "default": 1
})
```
### image synthesis
comming soon
### Diffutoon Node
[Diffutoon workflow](./workfolws/diffutoon_workflow.json)
```
"required":{
    "source_video_path": ("VIDEO",),
    "sd_model_path":("SD_MODEL_PATH",),
    "postive_prompt":("TEXT",),
    "negative_prompt":("TEXT",),
    "start":("INT",{
        "default": 0 ## from which second of your video to be shaded
    }),
    "length":("INT",{
        "default": -1 ## how long you want to shade, -1 name the whole video frames
    }),
    "seed":("INT",{
        "default": 42 
    }),
    "cfg_scale":("INT",{
        "default": 3
    }),
    "num_inference_steps":("INT",{
        "default": 10
    }),
    "animatediff_batch_size":("INT",{
        "default": 32 ## lower it till you can run
    }),
    "animatediff_stride":("INT",{
        "default": 16 ## lower it till you can run
    }),
    "vram_limit_level":("INT",{
        "default": 0 ## meet killed? try to 1
    }),
},
"optional":{
    "controlnet1":("ControlNetConfigUnit",),
    "controlnet2":("ControlNetConfigUnit",),
    "controlnet3":("ControlNetConfigUnit",),
}
```

### Video Stylization

### Chinese Models

## ask for answer as soon as you want
wechat: aifsh_98
need donate if you mand it,
but please feel free to new issue for answering

Windows环境配置太难？可以添加微信：aifsh_98，赞赏获取Windows一键包，当然你也可以提issue等待大佬为你答疑解惑。