magic-animate - GitLite

KO | EN

gitlite — search

#javascript #react #ai #typescript #llm #go #java #kubernetes #awesome-list #pytorch #security #ios #mcp #open-source

magic-animate

(★ 10,897)

[CVPR 2024] "MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model"의 공식 저장소

파일 탐색기

최종 버전 다운로드 (.zip)

- - MagicAnimate.pdf
- - t2.gif
  - t4.gif
- - inference.yaml
- - animation.yaml
- animate.py
- animate_dist.py
- gradio_animate.py
- gradio_animate_dist.py
- - appearance_encoder.py
  - attention.py
  - controlnet.py
  - embeddings.py
  - motion_module.py
  - mutual_self_attention.py
  - orig_attention.py
  - resnet.py
  - stable_diffusion_controlnet_reference.py
  - unet.py
  - unet_3d_blocks.py
  - unet_controlnet.py
- - animation.py
  - context.py
  - pipeline_animation.py
- - dist_tools.py
  - util.py
  - videoreader.py
- animate.sh
- animate_dist.sh
.gitignore
environment.yaml
LICENSE
README.md
requirements.txt

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/magic-research/magic-animate

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd magic-animate

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Python

쉬움 추천

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip3 install -r requirements.txt

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

python3 -m demo.gradio_animate

파이썬 스크립트(또는 모듈)를 실행합니다.

python3 -m demo.gradio_animate_dist

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

## MagicAnimate: Diffusion Model을 이용한 시간적으로 일관된 사람 이미지 애니메이션

[**Zhongcong Xu**](https://scholar.google.com/citations?user=-4iADzMAAAAJ&hl=en)
·
[**Jianfeng Zhang**](http://jeff95.me/)
·
[**Jun Hao Liew**](https://scholar.google.com.sg/citations?user=8gm-CYYAAAAJ&hl=en)
·
[**Hanshu Yan**](https://hanshuyan.github.io/)
·
[**Jia-Wei Liu**](https://scholar.google.com/citations?user=stQQf7wAAAAJ&hl=en)
·
[**Chenxu Zhang**](https://zhangchenxu528.github.io/)
·
[**Jiashi Feng**](https://sites.google.com/site/jshfeng/home)
·
[**Mike Zheng Shou**](https://sites.google.com/view/showlab)
  
  
[![Paper PDF](https://img.shields.io/badge/arXiv-MagicAnimate-red)](https://arxiv.org/abs/2311.16498)
[![Project Page](https://img.shields.io/badge/Project_Page-MagicAnimate-green)](https://showlab.github.io/magicanimate)
[![](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https://huggingface.co/spaces/zcxu-eric/magicanimate)
  
**싱가포르 국립대학교(National University of Singapore)   |   바이트댄스(ByteDance)**

|  |  |
| --- | --- |
|  |  |

## 📢 소식
\* \*\*[2023.12.4]\*\* 추론 코드 및 Gradio 데모가 공개되었습니다. MagicAnimate를 개선하기 위해 노력하고 있으니 많은 기대 바랍니다!
\* \*\*[2023.11.23]\*\* MagicAnimate 논문 및 프로젝트 페이지가 공개되었습니다.

## 🏃‍♂️ 시작하기
[StableDiffusion V1.5](https://huggingface.co/runwayml/stable-diffusion-v1-5)와 [MSE-finetuned VAE](https://huggingface.co/stabilityai/sd-vae-ft-mse)용 사전 학습된 베이스 모델을 다운로드합니다.
MagicAnimate [체크포인트](https://huggingface.co/zcxu-eric/MagicAnimate)를 다운로드합니다.
Hugging Face의 다운로드 지침에 따라 위 모델과 체크포인트를 다운로드해 주세요. `git lfs`를 사용하는 것을 권장합니다.
베이스 모델과 체크포인트를 다음과 같이 배치합니다:
```bash
magic-animate
|----pretrained\_models
|----MagicAnimate
|----appearance\_encoder
|----diffusion\_pytorch\_model.safetensors
|----config.json
|----densepose\_controlnet
|----diffusion\_pytorch\_model.safetensors
|----config.json
|----temporal\_attention
|----temporal\_attention.ckpt
|----sd-vae-ft-mse
|----config.json
|----diffusion\_pytorch\_model.safetensors
|----stable-diffusion-v1-5
|----scheduler
|----scheduler\_config.json
|----text\_encoder
|----config.json
|----pytorch\_model.bin
|----tokenizer (all)
|----unet
|----diffusion\_pytorch\_model.bin
|----config.json
|----v1-5-pruned-emaonly.safetensors
|----...
```

## ⚒️ 설치
필수 사양: `python>=3.8`, `CUDA>=11.3`, `ffmpeg`.
`conda`로 설치하기:
```bash
conda env create -f environment.yaml
conda activate manimate
```
또는 `pip`로 설치하기:
```bash
pip3 install -r requirements.txt
```

## 💃 추론
단일 GPU에서 추론 실행하기:
```bash
bash scripts/animate.sh
```
다중 GPU에서 추론 실행하기:
```bash
bash scripts/animate\_dist.sh
```

## 🎨 Gradio 데모
#### 온라인 Gradio 데모:
[온라인 Gradio 데모](https://huggingface.co/spaces/zcxu-eric/magicanimate)를 간편하게 이용해 보세요.
#### 로컬 Gradio 데모:
단일 GPU에서 로컬 Gradio 데모 실행하기:
```bash
python3 -m demo.gradio\_animate
```
다중 GPU를 사용하는 경우 로컬 Gradio 데모 실행하기:
```bash
python3 -m demo.gradio\_animate\_dist
```
그 후 로컬 브라우저에서 Gradio 데모를 엽니다.

## 🙏 감사의 말
온라인 Gradio 데모 설정을 도와주신 [AK(@\_akhaliq)](https://twitter.com/\_akhaliq?lang=en)님과 Hugging Face 팀에게 감사드립니다.

## 🎓 인용
본 코드베이스가 연구에 유용하다고 생각되신다면 다음 출처를 참고해 주세요.
```BibTeX
@inproceedings{xu2023magicanimate,
author = {Xu, Zhongcong and Zhang, Jianfeng and Liew, Jun Hao and Yan, Hanshu and Liu, Jia-Wei and Zhang, Chenxu and Feng, Jiashi and Shou, Mike Zheng},
title = {MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model},
booktitle = {arXiv},
year = {2023}
}
```