KUDataMultitasklearning

KO | EN

gitlite — search

#python #react #golang #android #linux #nodejs #java #awesome #kubernetes #awesome-list #pytorch #security #ios #openai

KUDataMultitasklearning

(★ 25)

No description available.

KUDataMultitasklearning Latest Version Download

Download Latest Version (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# Time Series Multi-task learning

## 1. Without data representation

- 원본 시계열 데이터를 입력으로 활용하여 학습 (single 모델로 사전학습 → multi-task learning으로 미세조정)

(1) regression: single regression 모델로 사전학습 후, multitask-Learning 모델로 미세조정 수행

(2) classificaiton: single classification 단일 모델로 사전학습 후, (regression+classification) 모델로 미세조정 수행

(3) multi-task learning: 동일한 backbone 구조에 classification head 및 regression head를 추가하여 2개의 task를 동시에 학습

- 입력 데이터 형태 : (num_of_instance, input_dims, time_steps) 차원의 시계열 데이터

**[Hyperparmeter for single regression or classification (LSTM & GRU)]**
- **model** : 모델명 (LSTM or GRU)
- **best_model_path** : 학습 완료된 모델을 저장할 경로
- **input_size** : 데이터의 변수 개수, int
- **num_classes** : 분류할 class 개수, int
- **num_layers** : recurrent layers의 수, int(default: 2, 범위: 1 이상)
- **hidden_size** : hidden state의 차원, int(default: 64, 범위: 1 이상)
- **dropout** : dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
- **bidirectional** : 모델의 양방향성 여부, bool(default: True)
- **num_epochs** : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
- **batch_size** : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
- **lr** : learning rate, float(default: 0.0001, 범위: 0.1 이하)
- **device** : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)

**[Hyperparmeter for single regression or classification (1D CNN)]**
- **model** : 모델명 (1D CNN)
- **best_model_path** : 학습 완료된 모델을 저장할 경로
- **input_size** : 데이터의 변수 개수, int
- **num_classes** : 분류할 class 개수, int
- **seq_len** : 데이터의 시간 길이, int
- **output_channels** : convolution layer의 output channel, int(default: 64, 범위: 1 이상, 2의 지수로 설정 권장)
- **kernel_size** : convolutional layer의 filter 크기, int(default: 3, 범위: 3 이상, 홀수로 설정 권장)
- **stride** : convolution layer의 stride 크기, int(default: 1, 범위: 1 이상)
- **padding** : padding 크기, int(default: 0, 범위: 0 이상)
- **dropout** : dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
- **num_epochs** : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
- **batch_size** : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
- **lr** : learning rate, float(default: 0.0001, 범위: 0.1 이하)
- **device** : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)

**[Hyperparmeter for single regression or classification (LSTM_FCNs_reg & LSTM_FCNs_cls)]**
- **input_size** : 데이터의 변수 개수, int
- **num_classes** : 분류할 class 개수 (regression이면 1로 지정), int 
- **num_layers** : recurrent layers의 수, int(default: 2, 범위: 1 이상)
- **lstm_drop_out** : LSTM dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
- **fc_drop_out** : FC dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
- **num_epochs** : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
- **batch_size** : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
- **lr** : learning rate, float(default: 0.0001, 범위: 0.1 이하)
- **device** : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)
- **freeze** : fc layer 를 제외한 layer 의 학습 여부 (default: False)

**[Hyperparmeter for multitask-learning (LSTM_FCNs_multi)]**
- **model** : 모델명 (LSTM_FCNs_multi)
- **best_model_path** : 학습 완료된 모델을 저장할 경로
- **input_size** : 데이터의 변수 개수, int
- **num_classes_1** : Task1의 class 개수, int
- **num_classes_2** : Task2의 class 개수 (regression이면 1개), int
- **num_layers** : recurrent layers의 수, int(default: 1, 범위: 1 이상)
- **lstm_drop_out** : LSTM dropout 확률, float(default: 0.4, 범위: 0 이상 1 이하)
- **fc_drop_out** : FC dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
- **num_epochs** : 학습 epoch 횟수, int(default: 150, 범위: 1 이상)
- **batch_size** : batch 크기, int(default: 64, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
- **lr** : learning rate, float(default: 0.0001, 범위: 0.1 이하)
- **device** : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)
- **freeze** : fc layer 를 제외한 layer 의 학습 여부 (default: False)
- **alpha** : Task1의 반영 비율 (default: 0.5 (범위: [0, 1]))

## 2. With data representation

- 원본 시계열 데이터를 representation vector로 변환한 데이터를 입력으로 활용하여 학습

- 동일한 Backbone 구조에 Classification 및 Regression Head를 추가하여 2개의 Task를 동시에 학습

- 입력 데이터 형태 : (num_of_instance, embedding_dim) 차원의 시계열 데이터

**[Hyperparmeter for FC]**
- **model** : 모델명 (FC)
- **best_model_path** : 학습 완료된 모델을 저장할 경로
- **시계열 모델 hyperparameter :** 아래에 자세히 설명.
- **input_size** : 데이터의 변수 개수, int
- **num_classes** : 분류할 class 개수, int
- **dropout** : dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
- **bias** : bias 사용 여부, bool(default: True)
- **num_epochs** : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
- **batch_size** : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
- **lr** : learning rate, float(default: 0.0001, 범위: 0.1 이하)
- **device** : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)

KUDataMultitasklearning

KUDataMultitasklearning Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

KUDataMultitasklearning

KUDataMultitasklearning Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

Download README