pytorch-gradual-warmup-lr - GitLite

KO | EN

gitlite — search

#python #react #linux #docker #nodejs #awesome #cli #kubernetes #vue #pytorch #security #ios #openai #open-source

pytorch-gradual-warmup-lr

(★ 987)

Gradually-Warmup Learning Rate Scheduler for PyTorch

파일 탐색기

최종 버전 다운로드 (.zip)

- tensorboard.png
- __init__.py
- run.py
- scheduler.py
.gitignore
LICENSE
README.md
setup.py

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/ildoonet/pytorch-gradual-warmup-lr

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd pytorch-gradual-warmup-lr

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Python

쉬움 추천

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

$ pip install git+https://github.com/ildoonet/pytorch-gradual-warmup-lr.git

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# pytorch-gradual-warmup-lr

Gradually warm-up(increasing) learning rate for pytorch's optimizer. Proposed in 'Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour'.

<img src="asset/tensorboard.png" alt="example tensorboard" width="300" height="whatever">
Example : Gradual Warmup for 100 epoch, after that, use cosine-annealing.

## Install

```
$ pip install git+https://github.com/ildoonet/pytorch-gradual-warmup-lr.git
```

## Usage

See [run.py](warmup_scheduler/run.py) file.

```python
import torch
from torch.optim.lr_scheduler import StepLR, ExponentialLR
from torch.optim.sgd import SGD

from warmup_scheduler import GradualWarmupScheduler

if __name__ == '__main__':
    model = [torch.nn.Parameter(torch.randn(2, 2, requires_grad=True))]
    optim = SGD(model, 0.1)

# scheduler_warmup is chained with schduler_steplr
    scheduler_steplr = StepLR(optim, step_size=10, gamma=0.1)
    scheduler_warmup = GradualWarmupScheduler(optim, multiplier=1, total_epoch=5, after_scheduler=scheduler_steplr)

# this zero gradient update is needed to avoid a warning message, issue #8.
    optim.zero_grad()
    optim.step()

for epoch in range(1, 20):
        scheduler_warmup.step(epoch)
        print(epoch, optim.param_groups[0]['lr'])

optim.step()    # backward pass (update network)
```