KO
|
EN
gitlite — search
Search
#python
#java
#python3
#arduino
#golang
#machine-learning
#rust
#html
#flask
#javascript
#seismology
#nodejs
Time-series-LLM
★ 23
Open GitHub ↗
Time-series-LLM
Download README (.md)
Explore Similar Repositories
newdjfk
:
新版TG发卡系统,魔改独角
Inland-MK47-keyboard-QMK-VIA-setup
:
No description available.
Astar_with_traj_opt
:
A星搜索出一条避障路径作为轨迹优化初始解的小demo
audio-device-blocker
:
MacOS notification tray App that blocks audio devices to be automatically switched to
knock
:
init
// repository documentation
Was this content helpful?
★ 0
(0 ratings)
Select Rating:
★
★
★
★
★
Submit Feedback
Recent Feedback
×
Download README
Do you want to download the
README.md
file for
Time-series-LLM
?
Download (.md)
# Time-series-LLM Time-series framework for LLM Method ====== LLM4TS ------  - PLM에 어떻게 Time-series data가 가지는 특성을 전달할 수 있을까? - 2 Stage Fine-tuning (Supervised, Downstream) - Time-series data를 PLM에 어떤 형태의 Input으로 넣을 수 있을까? - Patching + Channel Independence - PLM을 어떤 방식으로 Fine-tuning할 수 있을까? - Layer Normalization tuning + Low-Rank Adaptation # 1. 2 Stage Fine-tuning (supervised, Donwstream) ## Supervised Fine-tuning (SFT) - PLM은 대량의 Corpus로 Pre-train 되었지만, 사실 Corpus data(Natural Language)와 Time-series data 간에는 상당한 차이점이 존재하기에, PLM에 Time-series data의 특성을 Align 시켜주는 과정 필요 - Patch 단위를 Autoregressive하게 생성하도록 하며 진행 ## Downstream Fine-tuning (DFT) - Supervised fine-tuning 과정을 통하여 PLM과 Time-series data가 Align 되었다면, Backbone model의 weight를 Forecasting이라는 특정 Task 잘 수행할 수 있도록 Downstream fine-tuning 진행 - Final layer만을 학습시키는 Linear probing을 절반 수행 후, Full fine-tuning진행 # 2. Patching + Channel Independence ## Instance Normalization - SFT 과정에서는 Instance Normalization만을, DFT 과정에서는 RevIN 사용 - Feature 단위는 고려하지 않고 인접한 Time-step만을 단일 Patch base의 Token으로 사용 ## Three Encoding - Token Encoding: Patched 된 Time-series data token은 Time-series data이며, Scalar data가 아닌 Vector 형태이기에 1D Convolution 이용 - Positional Encoding: Learnable한 Look-up table 이용하여 Patch 위치 Mapping - Temporal Encoding: Patch 단위로 데이터를 변경하기에, Patch의 맨 앞 데이터의 시간 정보를 Patch의 대표 정보로 이용 # 3. Pre-trained LLM and PEFT - Layer normalization tuning 및 LoRA이용 # 4. Output layer - SFT 단계에서는 Patched된 Time-series data의 형태 그대로를 유지하도록 Output 다오게 함 - DFT 단계에서는 Patching된 Time-series Output을 Linear layer 이후 Flattening한 후, Rearrange함으류써 일반 시계열 형태로 만들어줌 Experiments =========== | | | DLinear | LLM4TS | TimesNet | PatchTST | DLinear | LLM4TS | TimesNet | PatchTST | |---------------|-----|------------|------------|----------|----------|------------|------------|----------|------------| | | | MSE | | | | MAE | | | | | ETTh1 | 96 | 0.4822 | **0.4554** | 1.1943 | 0.5616 | 0.4835 | **0.4617** | 0.8369 | 0.5281 | | | 192 | 0.5310 | **0.5156** | 1.1693 | 0.6202 | 0.5180 | **0.5006** | 0.8248 | 0.5615 | | | 336 | 0.5745 | **0.5590** | 1.1868 | 0.6815 | 0.5491 | **0.5283** | 0.8328 | 0.5945 | | | 720 | **0.6826** | 0.7215 | | 0.8395 | **0.6165** | 0.6197 | | 0.6802 | | | AVG | 0.5676 | **0.5628** | 1.1835 | 0.6757 | 0.5418 | **0.5276** | 0.8315 | 0.5911 | | ETTm1 | 96 | 0.3618 | **0.3521** | 0.7299 | 0.3657 | 0.3926 | **0.3824** | 0.6468 | 0.3940 | | | 192 | 0.4279 | **0.4251** | 0.7717 | 0.4398 | 0.4276 | **0.4211** | 0.6657 | 0.4330 | | | 336 | **0.4922** | 0.4973 | 1.1126 | 0.5139 | 0.4640 | **0.4611** | 0.7802 | 0.4732 | | | 720 | **0.5553** | 0.5796 | 1.0976 | 0.5912 | **0.5104** | 0.5144 | 0.7848 | 0.5229 | | | AVG | **0.4593** | 0.4635 | 0.9280 | 0.4776 | 0.4487 | **0.4447** | 0.7194 | 0.4558 | | weather | 96 | 0.2015 | **0.1988** | 0.7363 | 0.2000 | 0.2680 | **0.2364** | 0.6608 | 0.2413 | | | 192 | **0.2415** | 0.2431 | 0.7897 | 0.2443 | 0.3051 | **0.2721** | 0.6888 | 0.2757 | | | 336 | **0.2860** | 0.2920 | | 0.2946 | 0.3397 | **0.3070** | | 0.3099 | | | 720 | **0.3496** | 0.3616 | 0.8158 | 0.3660 | 0.3889 | **0.3515** | 0.6966 | 0.3552 | | | AVG | **0.2697** | 0.2739 | 0.7806 | 0.2762 | 0.3254 | **0.2918** | 0.6821 | 0.2955 | | exchange_rate | 96 | 0.1229 | **0.0853** | 2.5827 | 0.0885 | 0.2685 | **0.2095** | 1.3330 | 0.2146 | | | 192 | 0.2008 | **0.1949** | | 0.1734 | 0.3478 | 0.3221 | | **0.3052** | | | 336 | **0.2899** | 0.3579 | | 0.3197 | **0.4162** | 0.4423 | | 0.4166 | | | AVG | **0.2045** | 0.2127 | 2.5827 | 0.1939 | 0.3441 | 0.3246 | 1.3330 | **0.3121** |
