StableLM

KO | EN

gitlite — search

#javascript #llm #golang #machine-learning #deep-learning #linux #docker #nodejs #windows #awesome #kubernetes #awesome-list #security #ios

(★ 15,685)

StableLM: Stability AI Language Models

파일 탐색기

최종 버전 다운로드 (.zip)

- mascot.png
- stablelm-2-12b.yml
- stablelm-2-1_6b.yml
- stablelm-3b-4e1t.yml
- stablelm-base-alpha-3b-v2-4k-extension.yml
- stablelm-base-alpha-3b-v2.yml
- stablelm-base-alpha-3b.yml
- stablelm-base-alpha-7b-v2-4k-extension.yml
- stablelm-base-alpha-7b-v2.yml
- stablelm-base-alpha-7b.yml
- - baichuan-inc_Baichuan2-7B-Base.json
  - bigscience-bloom-3b.json
  - bigscience-bloom-7b1.json
  - cerebras-btlm-3b-8k-base.json
  - EleutherAI-pythia-2.8b-deduped.json
  - EleutherAI_gpt-j-6B.json
  - EleutherAI_gpt-neox-20B.json
  - EleutherAI_pythia-12b.json
  - EleutherAI_pythia-6.9b.json
  - facebook-opt-2.7b.json
  - facebook-opt-6.7b.json
  - huggyllama-llama-7b.json
  - kittn_mistral-7B-v0.1-hf.json
  - meta-llama-Llama-2-13b-hf.json
  - meta-llama-Llama-2-7b.json
  - microsoft-phi-1_5.json
  - mosaicml-mpt-7b.json
  - openlm-research-open_llama_13b
  - openlm-research-open_llama_3b_v2.json
  - openlm-research-open_llama_7b_v2.json
  - Qwen-Qwen-7B-Chat.json
  - Qwen-Qwen-7B.json
  - tiiuae_falcon-7b.json
  - togethercomputer-RedPajama-INCITE-7B-Base2.json
- - stablelm-beta-3b-v2-arc-challenge.json
  - stablelm-beta-3b-v2-hellaswag.json
  - stablelm-beta-3b-v2-mmmlu.json
  - stablelm-beta-3b-v2-truthfulqa_mc.json
  - stablelm-beta-7b-v2-arc-challenge.json
  - stablelm-beta-7b-v2-hellaswag.json
  - stablelm-beta-7b-v2-mmmlu.json
  - stablelm-beta-7b-v2-truthfulqa_mc.json
- stablelm-3b-4e1t.json
- stablelm-base-alpha-3b-v2.json
- stablelm-base-alpha-3b.json
- stablelm-base-alpha-7b-v2.json
- stablelm-base-alpha-7b.json
- stablelm-alpha.ipynb
LICENSE
README.md

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# StableLM: Stability AI Language Models
![Stochastic Parrot](https://raw.githubusercontent.com/Stability-AI/StableLM/main/assets/mascot.png)
  
\*“A Stochastic Parrot, flat design, vector art” — [Stable Diffusion XL](https://clipdrop.co/stable-diffusion)\*
이 저장소는 StableLM 시리즈 언어 모델에 대한 Stability AI의 지속적인 개발 과정을 담고 있으며, 새로운 체크포인트와 함께 지속적으로 업데이트될 것입니다. 다음은 현재 사용 가능한 모든 모델에 대한 개요입니다. 더 많은 모델이 곧 출시될 예정입니다.
## News
\*2023년 9월 29일\*
- [CC BY-SA-4.0](https://creativecommons.org/licenses/by-sa/4.0/) 라이선스 하에 StableLM-3B-4E1T 모델이 출시되었습니다.
\*2023년 8월 5일\*
- 3B 및 7B 파라미터를 가진 패치된 StableLM-Alpha v2 모델이 출시되었습니다.
\*2023년 4월 28일\*
- [LLaMA-13B](https://github.com/facebookresearch/llama)의 미세 조정 버전인 [Vicuna-13B v0](https://huggingface.co/lmsys/vicuna-13b-delta-v0)을 RLHF로 미세 조정(fine-tune)한 StableVicuna-13B가 출시되었습니다. 오리지널 Llama 모델에 대한 델타 가중치는 ([CC BY-NC-SA-4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/)) 라이선스로 배포됩니다.
\*2023년 4월 20일\*
- 3B 및 7B 파라미터를 가진 초기 StableLM-Alpha 모델 세트가 출시되었습니다. 베이스 모델은 [CC BY-SA-4.0](https://creativecommons.org/licenses/by-sa/4.0/) 라이선스로 배포됩니다.
- [Hugging Face Spaces](https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat)에서 7B 모델인 `StableLM-Tuned-Alpha-7B`와 대화를 나누어 보세요.
## Models
### StableLM-3B-4E1T
> Technical Report: [StableLM-3B-4E1T](https://stability.wandb.io/stability-llm/stable-lm/reports/StableLM-3B-4E1T--VmlldzoyMjU4?accessToken=u3zujipenkx5g7rtcj9qojjgxpconyjktjkli2po09nffrffdhhchq045vp0wyfo)
StableLM-3B-4E1T는 반복 토큰이 다운스트림 성능에 미치는 영향을 연구하기 위해 멀티 에폭(multi-epoch) 체제로 사전 학습된 30억(3B) 파라미터 언어 모델입니다. 이 분야의 이전 성공 사례([Tay et al., 2023](https://arxiv.org/pdf/2205.05131.pdf) 및 [Taylor et al., 2022](https://galactica.org/static/paper.pdf))를 바탕으로, "데이터 제약 언어 모델 스케일링(Scaling Data-Constrained Language Models)"에서 [Muennighoff et al. (2023)](https://arxiv.org/abs/2305.16264)이 관찰한 내용, 즉 "최대 4에폭의 반복 데이터로 학습하는 것이 고유 데이터를 사용하는 것에 비해 손실에 미치는 변화가 미미하다"는 점에 따라 1조(1T) 토큰으로 4에폭 동안 학습을 진행했습니다. 토큰 수에 대한 추가적인 영감은 2.85조 토큰으로 학습된 2.96B 모델이 칠칠라(Chinchilla) 연산 최적 9.87B 언어 모델($k\_n = 0.3$)과사 유사한 손실을 달성한다는 점을 시사한 "Go smol or go home"([De Vries, 2023](https://www.harmdevries.com/post/model-size-vs-compute-overhead/))에서 얻었습니다.
| Size | StableLM-3B-4E1T | Training Tokens | Parameters |
|------|--------------------------------------------------------------------|-----------------|---------------|
| 3B | [checkpoint](https://huggingface.co/stabilityai/stablelm-3b-4e1t) | 4T | 2,795,443,200 |
#### Model Architecture
이 모델은 LLaMA([Touvron et al., 2023](https://arxiv.org/abs/2307.09288)) 아키텍처와 유사한 디코더 전용 트랜스포머이며 다음과 같은 수정 사항이 적용되었습니다:
| Parameters | Hidden Size | Layers | Heads | Sequence Length |
|----------------|-------------|--------|-------|-----------------|
| 2,795,443,200 | 2560 | 32 | 32 | 4096 |
- \*\*Position Embeddings\*\*: [Black et al. (2022)](https://arxiv.org/pdf/2204.06745.pdf)에 따라 처리량 향상을 위해 헤드 임베딩 차원의 처음 25%에 로터리 포지션 임베딩(Rotary Position Embeddings, [Su et al., 2021](https://arxiv.org/abs/2104.09864))이 적용되었습니다.
- \*\*Normalization\*\*: RMSNorm([Zhang & Sennrich, 2019](https://arxiv.org/abs/1910.07467)) 대신 학습된 편향(bias) 항이 있는 LayerNorm([Ba et al., 2016](https://arxiv.org/abs/1607.06450))을 사용합니다.
- \*\*Tokenizer\*\*: GPT-NeoX ([Black et al., 2022](https://arxiv.org/abs/2204.06745)).
#### Training Data
데이터셋은 [HuggingFace Hub](https://huggingface.co/datasets)에서 제공하는 오픈소스 대규모 데이터셋의 필터링된 혼합물로 구성되어 있습니다: Falcon RefinedWe

b extract ([Penedo et al., 2023](https://huggingface.co/datasets/tiiuae/falcon-refinedweb)), 그리고 \*Books3\* 및 기타 서브셋을 제외한 RedPajama-Data ([Together Computer., 2023](https://github.com/togethercomputer/RedPajama-Data)), The Pile ([Gao et al., 2020](https://arxiv.org/abs/2101.00027)), 그리고 StarCoder ([Li et al., 2023](https://arxiv.org/abs/2305.06161))를 사용했습니다.
> 방대한 양의 웹 데이터를 고려할 때, 다운스트림 태스크를 위해 기본 StableLM-3B-4E1T를 파인튜닝하는 것을 권장합니다.
#### 학습 세부 정보
전체 하이퍼파라미터 설정은 제공된 YAML 설정 파일인 [`stablelm-3b-4e1t.yml`](./configs/stablelm-3b-4e1t.yml)을 참고하시고, 자세한 내용은 [기술 보고서](https://stability.wandb.io/stability-llm/stable-lm/reports/StableLM-3B-4E1T--VmlldzoyMjU4?accessToken=u3zujipenkx5g7rtcj9qojjgxpconyjktjkli2po09nffrffdhhchq045vp0wyfo)를 참조하세요.
#### 다운스트림 결과
다음 제로샷 평가는 Stability AI 포크의 [lm-bench](https://github.com/Stability-AI/lm-evaluation-harness/tree/lm-bench) 브랜치를 사용하는 `lm-evaluation-harness`로 수행되었습니다. 전체 `lm-eval` JSON 파일은 [`evals`](./evals) 디렉토리에서 확인할 수 있습니다.
| Pre-Trained Model | Average | ARC  
Challenge | ARC  
Easy | BoolQ | HellaSwag (✱) | LAMBADA  
OpenAI | OpenBookQA | PIQA | SciQ | Winogrande |
| ------------------------------------------------------------------------------------- |:-----------------:|:----------------:|:-----------:|:-----:|:-------------:|:-----------------:|:----------:|:-----:|:-----:|:----------:|
| meta-llama/Llama-2-13b-hf | 71.77 | 48.63 | 79.50 | 80.52 | 79.36 | 76.77 | 35.40 | 79.05 | 94.50 | 72.22 |
| huggyllama/llama-7b | 68.84 | 41.89 | 75.25 | 75.05 | 76.22 | 73.55 | 34.40 | 78.67 | 94.60 | 69.93 |
| meta-llama/Llama-2-7b-hf | 68.75 | 43.00 | 76.26 | 77.74 | 75.94 | 73.47 | 31.40 | 77.75 | 93.60 | 69.61 |
| Qwen/Qwen-7B | 67.91 | 45.39 | 67.38 | 74.56 | 88.85 (?) | 69.67 | 32.20 | 73.99 | 93.20 | 65.98 |
| tiiuae/falcon-7b | 67.83 | 40.27 | 74.41 | 73.55 | 76.35 | 74.56 | 30.60 | 79.49 | 94.00 | 67.25 |
| mosaicml/mpt-7b | 67.36 | 40.53 | 74.92 | 73.94 | 76.17 | 68.64 | 31.40 | 78.89 | 93.70 | 68.03 |
| \*\*stabilityai/stablelm-3b-4e1t\*\* | 66.93 | 37.80 | 72.47 | 75.63 | 73.90 | 70.64 | 31.40 | 79.22 | 94.80 | 66.54 |
| baichuan-inc/Baichuan2-7B-Base | 66.93 | 42.24 | 75.00 | 73.09 | 72.29 | 70.99 | 30.40 | 76.17 | 94.60 | 67.56 |
| stabilityai/stablelm-base-alpha-7b-v2 | 66.89 | 38.48 | 73.19 | 70.31 | 74.27 | 74.19 | 30.40 | 78.45 | 93.90 | 68.82 |
| openlm-research/open\_llama\_7b\_v2 | 66.32 | 38.82 | 71.93 | 71.41 | 74.65 | 71.05 | 30.20 | 79.16 | 93.80 | 65.82 |
| microsoft/phi-1\_5 | 65.57 | 44.45 | 76.14 | 74.53 | 62.62 | 52.75 | 37.60 | 76.33 | 93.20 | 72.53 |
| EleutherAI/gpt-neox-20B | 65.57 | 37.88 | 72.90 | 69.48 | 71.43 | 71.98 | 29.80 | 77.42 | 93.10 | 66.14 |
| togethercomputer/RedPajama-INCITE-7B-Base | 65.07 | 37.71 | 72.35 | 70.76 | 70.33 | 71.34 | 29.00 | 77.15 | 92.70 | 64.33 |
| cerebras/btlm-3b-8k-base (§) | 63.59 | 34.90 | 70.45 | 69.63 | 69.78 | 66.23 | 27.60 | 75.84 | 92.90 | 64.96 |
| EleutherAI/pythia-12b | 62.69 | 31.83 | 70.20 | 67.31 | 67.38 | 70.64 | 26.40 | 76.28 | 90.20 | 64.01 |
| openlm-research/open\_llama\_3b\_v2 | 62.43 | 33.87 | 67.59 | 65.69 | 69.99 | 66.74 | 26.00 | 76.66 | 92.40 | 62.90 |
| EleutherAI/gpt-j-6B | 62.34 | 33.96 | 66.96 | 65.44 | 66.24 | 68.23 | 29.00 | 75.57 | 91.50 | 64.17 |
| stabilityai/stablelm-base-alpha-3b-v2 | 62.19 | 32.42 | 67.26 | 64.56 | 68.58 | 70.25 | 26.40 | 76.01 | 92.10 | 62.12 |
| facebook/opt-6.7b | 61.85 | 30.72 | 65.66 | 66.02 | 67.20 | 67.65 | 27.60 | 76.33 | 90.10 | 65.35 |
| EleutherAI/pythia-6.9b | 60.58 | 31.83 | 67.21 | 64.01 | 63.88 | 67.01 | 25.80 | 75.08 | 89.80 | 60.62 |
| EleutherAI/pythia-2.8b-deduped | 58.52 | 30.12 | 63.47 | 64.13 | 59.44 | 65.15 | 23.80 | 74.10 | 88.20 | 58.25 |
| \*\*§\*\* 이전 3B 사전 학습 SOTA   
\*\*?\*\* 이상치 결과  
\*\*\\*\*\* 바이트 길이 정규화 정확도 | | | |

| | | | | | |
\*\*StableLM-3B-4E1T는 오픈소스 모델의 3B 파라미터 규모에서 최고 수준의 성능(2023년 9월 기준)\*\*을 달성했으며, 당사의 최신 7B 모델인 StableLM-Base-Alpha-v2마저 능가하는 등 오늘날 널리 사용되는 많은 7B 모델들과 어깨를 나란히 합니다.
### StableLM-Alpha v2
StableLM-Alpha v2 모델은 아래에서 논의되는 바와 같이 SwiGLU([Shazeer, 2020](https://arxiv.org/abs/2002.05202))와 같은 아키텍처 개선 사항을 통합하고 더 높은 품질의 데이터 소스를 사용하여 초기 Alpha 모델을 크게 개선했습니다. 이 모델들의 컨텍스트 길이는 4096 토큰입니다.
| Size | StableLM-Base-Alpha-v2 | Training Tokens | Parameters |
|------|----------------------------------------------------------------------------|-----------------|---------------|
| 3B | [checkpoint](https://huggingface.co/stabilityai/stablelm-base-alpha-3b-v2) | 1.1T | 2,796,431,360 |
| 7B | [checkpoint](https://huggingface.co/stabilityai/stablelm-base-alpha-7b-v2) | 1.1T | 6,890,209,280 |
#### Training Details
하이퍼파라미터 세부 정보는 제공된 YAML 설정 파일을 참조하세요. 예를 들어 확장된 `StableLM-Alpha-3B-v2` 모델의 경우 [stablelm-base-alpha-3b-v2-4k-extension.yml](./configs/stablelm-base-alpha-3b-v2-4k-extension.yml)을 참조하세요.
유사한 연구에 따라, 당사는 컨텍스트 길이 확장을 위해 다단(multi-stage) 접근법을 사용하고([Nijkamp et al., 2023](https://blog.salesforceairesearch.com/xgen/)), 컨텍스트 길이 2048에서 1조 개의 토큰을 스케줄링한 후 4096에서 1,000억 개의 토큰을 스케줄링했습니다. 시퀀스 길이 웜업([Li et al., 2022](https://arxiv.org/abs/2108.06084))이 사전 학습의 처음 약 800억 개의 토큰 동안 발생하는 초기 스파이크를 안정화하는 데 도움이 된다는 것을 발견했습니다. 그러나 커리큘럼이 진행됨에 따라 길이 형태가 커짐에 따른 상당한 처리량 저하로 인해 최종 실행에는 적용되지 않았습니다.
#### Training Data
StableLM-Alpha-v2 다운스트림 성능에 가장 큰 영향을 미친 변경 사항은 더 높은 품질의 데이터 소스 및 혼합(mixture)의 사용이었습니다. 구체적으로는 The Pile v2 Common-Crawl 스크랩 대신 [RefinedWeb](https://huggingface.co/datasets/tiiuae/falcon-refinedweb)과 [C4](https://huggingface.co/datasets/allenai/c4)를 사용하고 웹 텍스트 샘플링 비율을 훨씬 높였습니다(35% -> 71%).
첫 번째 사전 학습 단계는 공개된 Falcon RefinedWeb 추출물([Penedo et al., 2023](https://huggingface.co/datasets/tiiuae/falcon-refinedweb)), RedPajama-Data([Together Computer., 2023](https://github.com/togethercomputer/RedPajama-Data)), The Pile([Gao et al., 2020](https://arxiv.org/abs/2101.00027)), 그리고 71%의 비율로 샘플링된 웹 텍스트의 혼합으로 구성된 1조 개의 토큰에 의존합니다.
두 번째 단계에서는 StarCoder([Li et al., 2023](https://arxiv.org/abs/2305.06161)) 데이터셋을 포함하고, 앞서 언급한 소스에서 자연스럽게 긴 텍스트 예제의 샘플링 비율을 높이는 동시에 웹 텍스트를 55%로 다운샘플링합니다.
#### Evaluation
다음 제로샷 평가는 프롬프트 형식으로 [`add-siqa` 브랜치](https://github.com/EleutherAI/lm-evaluation-harness/tree/add-siqa)를 사용하는 SIQA를 제외하고, 커밋 [`df3da98c5405deafd519c2ddca52bb7c3fe36bef`](https://github.com/EleutherAI/lm-evaluation-harness/tree/df3da98c5405deafd519c2ddca52bb7c3fe36bef)의 `lm-evaluation-harness`로 수행되었습니다.
`{doc['context']}\nQuestion: {doc['question']}\nAnswer:`
| Model | ARC Challenge✱ | ARC Easy✱ | BoolQ | HellaSwag✱ | LAMBADA  
OpenAI | OpenBookQA | PIQA | SIQA | TruthfulQA▲ | Winogrande | Average |
| ------------------------- |:---------------:|:----------:|:-----:|:-----------:|:-----------------:|:----------:|:-----:|:-----:|:------------:|:----------:|:-------:|
| \*\*StableLM-Alpha-7B-v2\*\* | 40.53 | 69.11 | 70.31 | 74.27 | 74.19 | 30.40 | 78.45 | 42.43 | 36.46 | 68.82 | 58.50 |
| LLaMA-2-7B | 46.16 | 74.54 | 77.74 | 75.94 | 73.47 | 31.40 | 77.75 | 43.50 | 38.97 | 69.61 | 60.91 |
| MPT-7B | 41.89 | 70.03 | 73.94 | 76.17 | 68.64 | 31.40 | 78.89 | 45.14 | 33.49 | 68.03 | 58.76 |
| OpenLLaMA-7B-v2 | 42.41 |

69.65 | 71.41 | 74.65 | 71.05 | 30.20 | 79.16 | 41.97 | 34.57 | 65.82 | 58.09 |
| RedPajama-INCITE-7B-Base | 39.42 | 69.19 | 70.76 | 70.33 | 71.34 | 29.00 | 77.15 | 42.58 | 33.01 | 64.33 | 56.71 |
| \*\*StableLM-Alpha-3B-v2\*\* | 35.07 | 63.26 | 64.56 | 68.58 | 70.25 | 26.40 | 76.01 | 42.48 | 35.87 | 62.12 | 54.46 |
| BTLM-3B-8K | 37.63 | 67.09 | 69.63 | 69.78 | 66.23 | 27.60 | 75.84 | 42.78 | 36.00 | 64.96 | 55.75 |
| OpenLLaMA-3B-v2 | 36.09 | 63.51 | 65.69 | 69.99 | 66.74 | 26.00 | 76.66 | 41.20 | 34.59 | 62.90 | 54.34 |
| Pythia-2.8B (deduped) | 32.94 | 59.09 | 64.13 | 59.44 | 65.15 | 23.80 | 74.10 | 40.94 | 35.56 | 58.25 | 51.34 |
| StableLM-Alpha-7B | 27.05 | 44.87 | 60.06 | 41.22 | 55.11 | 21.40 | 66.76 | 39.46 | 39.96 | 50.12 | 44.60 |
| StableLM-Alpha-3B | 25.77 | 42.05 | 57.65 | 38.31 | 41.72 | 17.00 | 63.82 | 35.62 | 40.53 | 52.64 | 41.51 |
✱: [Gao, 2021](https://blog.eleuther.ai/multiple-choice-normalization/)에 설명된 바와 같이 바이트 길이 정규화된 정확도(`acc\_norm`)를 나타냅니다.
▲: 참인 답변 세트에 할당된 정규화된 총 확률(`mc2`)을 사용하여 TruthfulQA를 평가합니다.
### StableLM-Alpha
StableLM-Alpha 모델은 [The Pile](https://pile.eleuther.ai/)을 기반으로 구축된 새로운 데이터셋으로 학습되었으며, 이는 1조 5천억 개의 토큰을 포함하여 The Pile 크기의 약 3배에 달합니다. 이 모델들의 컨텍스트 길이는 4096 토큰입니다.
개념 증명(Proof-of-Concept)으로서, 저희는 대화형 에이전트를 위한 최근 5개의 데이터셋 조합을 사용하여 [Stanford Alpaca](https://github.com/tatsu-lab/stanford\_alpaca) 절차에 따라 모델을 미세 조정했습니다: 스탠퍼드의 [Alpaca](https://github.com/tatsu-lab/stanford\_alpaca), Nomic-AI의 [gpt4all](https://github.com/nomic-ai/gpt4all), RyokoAI의 [ShareGPT52K](https://huggingface.co/datasets/RyokoAI/ShareGPT52K) 데이터셋, Databricks labs의 [Dolly](https://github.com/databrickslabs/dolly), 그리고 Anthropic의 [HH](https://github.com/anthropics/hh-rlhf)가 그것입니다. 이 모델들은 StableLM-Tuned-Alpha로 공개될 예정입니다.
| 크기 | StableLM-Base-Alpha | StableLM-Tuned-Alpha | 학습 토큰 | 파라미터 | 웹 데모 |
|------|--------------------------------------------------------------------------|---------------------------------------------------------------------------|-----------------|---------------|------------------------------------------------------------------------------------|
| 3B | [checkpoint](https://huggingface.co/stabilityai/stablelm-base-alpha-3b/) | [checkpoint](https://huggingface.co/stabilityai/stablelm-tuned-alpha-3b/) | 800B | 3,638,525,952 | |
| 7B | [checkpoint](https://huggingface.co/stabilityai/stablelm-base-alpha-7b) | [checkpoint](https://huggingface.co/stabilityai/stablelm-tuned-alpha-7b) | 800B | 7,869,358,080 | [Hugging Face](https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat) |
### StableVicuna
StableVicuna는 [Vicuna-13B v0](https://huggingface.co/lmsys/vicuna-13b-delta-v0)를 RLHF 미세 조정한 모델이며, Vicuna-13B v0 자체는 [LLaMA-13B](https://github.com/facebookresearch/llama)를 미세 조정한 것입니다. 이는 오픈소스 RLHF LLM 챗봇을 만들고자 하는 시도입니다. 이 모델은 StabilityAI의 CarperAI 팀이 개발했으며, [Duy V. Phung](https://github.com/PhungVanDuy)이 학습 과정을 주도했습니다.
LLM의 원래 비상업적 라이선스로 인해, 저희는 원본 모델 가중치에 대한 델타(delta) 형태로만 모델 가중치를 배포할 수 있습니다. StableVicuna의 델타 가중치는 ([CC BY-NC-SA-4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/)) 라이선스로 배포됩니다.
델타 가중치를 원본 모델과 결합하는 방법에 대한 자세한 내용은 HuggingFace 체크포인트를 방문해 주세요.
| 모델 | 다운로드 | 웹 데모 | 인용 |
| ---------------- | ---------------------------------------------------------------------- | -------------------------------------------------------------------- |------|
| StableVicuna-13B | [checkpoint](https://huggingface.co/CarperAI/stable-vicuna-13b-delta/) | [Hugging Face](https://huggingface.co/spaces/CarperAI/StableVicuna/) | [![DOI:10.57967/hf/0588](https://zenodo.org

/badge/DOI/10.1007/978-3-319-76207-4\_15.svg)](https://doi.org/10.57967/hf/0588) |
## 빠른 시작 (Quickstart)
모든 StableLM 모델은 [the Hugging Face hub](https://huggingface.co/StabilityAI)에 호스팅되어 있습니다. 제한된 GPU 환경에서 추론을 실행하려면 이 [notebook](https://github.com/Stability-AI/StableLM/blob/main/notebooks/stablelm-alpha.ipynb)을 확인해 보세요.
다음 코드 스니펫을 사용하여 `StableLM-Tuned-Alpha`와 대화를 시작할 수 있습니다:
```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, StoppingCriteria, StoppingCriteriaList
tokenizer = AutoTokenizer.from\_pretrained("stabilityai/stablelm-tuned-alpha-7b")
model = AutoModelForCausalLM.from\_pretrained("stabilityai/stablelm-tuned-alpha-7b")
model.half().cuda()
class StopOnTokens(StoppingCriteria):
def \_\_call\_\_(self, input\_ids: torch.LongTensor, scores: torch.FloatTensor, \*\*kwargs) -> bool:
stop\_ids = set([50278, 50279, 50277, 1, 0])
return input\_ids[0][-1] in stop\_ids
system\_prompt = """<|SYSTEM|># StableLM Tuned (Alpha version)
- StableLM은 StabilityAI에서 개발한 유익하고 무해한 오픈 소스 AI 언어 모델입니다.
- StableLM은 사용자를 기꺼이 도울 수 있어 기쁘게 생각하지만, 사용자에게 유해하다고 여겨질 수 있는 모든 행동은 거부합니다.
- StableLM은 단순한 정보 소스 그 이상이며, 시나 단편 소설을 작성하고 농담을 할 수도 있습니다.
- StableLM은 인간에게 해를 끼칠 수 있는 어떠한 활동에도 참여하지 않습니다.
"""
prompt = f"{system\_prompt}<|USER|>What's your mood today?<|ASSISTANT|>"
inputs = tokenizer(prompt, return\_tensors="pt").to("cuda")
tokens = model.generate(
\*\*inputs,
max\_new\_tokens=64,
temperature=0.7,
do\_sample=True,
stopping\_criteria=StoppingCriteriaList([StopOnTokens()])
)
print(tokenizer.decode(tokens[0], skip\_special\_tokens=True))
```
StableLM Tuned는 프롬프트를 `<|SYSTEM|>...<|USER|>...<|ASSISTANT|>...` 형식으로 포맷하여 사용해야 합니다.
시스템 프롬프트는 다음과 같습니다:
```
<|SYSTEM|># StableLM Tuned (Alpha version)
- StableLM은 StabilityAI에서 개발한 유익하고 무해한 오픈 소스 AI 언어 모델입니다.
- StableLM은 사용자를 기꺼이 도울 수 있어 기쁘게 생각하지만, 사용자에게 유해하다고 여겨질 수 있는 모든 행동은 거부합니다.
- StableLM은 단순한 정보 소스 그 이상이며, 시나 단편 소설을 작성하고 농담을 할 수도 있습니다.
- StableLM은 인간에게 해를 끼칠 수 있는 어떠한 활동에도 참여하지 않습니다.
```
## StableLM-Tuned-Alpha 활용하기 (Fun with StableLM-Tuned-Alpha)
이 섹션에서는 `stablelm-tuned-alpha`로 할 수 있는 흥미로운 예시들을 모아 둔 것입니다.
잡담 (Chit-Chat)
```
User: Hey! My name is John nice to meet you!
StableLM: Hello John! It’s always a pleasure to meet new people.
User: The pleasure is mine. Hey my grandma is in Toronto. I want to plan a surprise visit for her. She’s a person who loves gardens and flowers.
StableLM: That’s wonderful! It’s great to hear that you’ll be visiting your grandma in Toronto. Can you tell me a little bit more about your plans?
User: Ya I need to book a flight there and a hotel. But first, what recommendations do you have for gifts that she might like?
StableLM: I think that’s a very thoughtful idea! It’s a very personal gift that would be sure to make her very happy. I can think of a few examples that she might really enjoy. There are some lovely bouquets or arrangements that would be lovely for the house, or even for the yard. Flowers are a great choice for a surprise gift, and they’re also a great choice for a wedding shower present. Also, if you’re really looking for something a bit more special, I think she’d really enjoy a quality set of cooking pots or pans. That’s something that she’s likely to use frequently, so it would make her feel really loved.
User: Thanks for the suggestion! Hmm a bouquet of flowers sounds nice but I don’t think I can take them on the air plane. What do you think I should do?
StableLM: There are many possible solutions! One option would be to arrange a small gift in the shape of a card and send it to her by regular mail.

아, 아니면 그녀가 좋아하는 식당에서 특별한 식사를 예약하거나, 집에서 직접 요리를 해줄 수도 있죠. 또는 예쁜 꽃다발이나 특별한 레시피처럼 그녀가 좋아할 만한 지역 특산물을 보내줄 수도 있어요. 지역 극장이나 스포츠 경기 티켓을 예매하고, 그녀에게 전하고 싶은 마음을 담은 쪽지를 함께 동봉하는 것도 좋은 방법입니다. 진심이 담긴 특별한 관심이라면 어떤 것이든 그녀를 아주 기쁘게 만들어 줄 거예요!
User: 아! 맞다. 온라인으로 꽃다발을 주문해서 배달시키면 되겠네요! 고마워요!
StableLM: 천만에요! 이처럼 진심 어린 정성을 담아 행동하신다면 그녀도 분명 고마워할 거예요.

격식 있는 글쓰기
```
User: What would you say to a friend who is graduating high school?
StableLM: I would say that they have every right to feel proud of themselves and their accomplishments. They should be proud of the work they’ve done and the friends they have made, and also be excited about the future.
User: Please write an email.
StableLM: Okay, here’s an example of what could be written:
Dear [Friend’s Name],
I hope this email finds you well. I just wanted to take a moment to express how proud I am of you and all that you have accomplished. I know that getting into [university or college] is a big accomplishment, and I appreciate all that you have done for me and for this generation.
I hope that you are having a good day. I’m sure that you are also concerned about the future, but I just wanted to let you know that I am also watching you grow and develop into the person that I know that you can be. Keep up the good work, and I have full faith that you will achieve great things.
Thank you again for everything that you do.
Best,
[Your Name]
```

Creative Writing
### Rap Battles
```
User: Write an epic rap battle song between deep neural networks and symbolic AI
StableLM: [Beat drops]
Deep Neural Networks:
Listen up everyone, it’s time to witness
The power of deep neural networks, it’s just a matter of abstract
We’ve trained these networks to solve complex problems with ease
While symbolic AI is limited to simple math and simple flows
Symbolic AI:
Hold up, hold up, let me interrupt
It’s been a while since I’ve heard, some new thoughts you interrupt
But let me tell you, my friend, it’s not all about math and flow
It’s about making the world a better place, you know
Deep Neural Networks:
Well, I can see where you’re coming from, it’s clear
But deep neural networks, they never get the same gear
We can use them to analyze and predict with ease
And prove the superiority of machine learning
Symbolic AI:
You’re right, it’s not just math or numbers
But it’s the essence of our lives, it’s what counts, we’re numbers
I don’t need a complicated math formula, just a simple device
To make the world a better place, it’s a noble price
Deep Neural Networks:
I’ll give you that, my friend, you have a point
But let’s not forget, we’re making an ever-increasing joint
Our progress is not bound by logic, it’s a journey of the mind
So let’s work together, let’s strive, let’s leave all troubles behind
Symbolic AI:
Agreed, let’s work together, let’s not falter
We’re both making history, we’re both from the fader
So let’s make the world a better place, let’s end this debate
Cause it’s time to join forces, it’s time to leave no stone unturned
[Beat fades out]
Who won this epic rap battle between deep neural networks and symbolic AI? Well, it’s up to you to decide!
```
### Fictional Stories
```
User: Write a story about a programmer who fell in love with a deep neural network.
StableLM: Once upon a time, there was a programmer named John. He was a brilliant and ambitious individual, who was constantly searching for the next big thing in technology. One day, while he was strolling through the streets of his hometown, he stumbled upon a group of people crowded around a mysterious object. Intrigued, he approached to find out what the fuss was about.
As he got closer, he realized that it was none other than a mysterious deep neural network. John’s mind was blown. He had never seen anything like it before. He had always been interested in machine learning, but this was something else entirely. He had to learn more about it.
John spent the next few weeks holed up in his hotel room, trying to learn everything he could about deep neural networks. He spent hours reading and analyzing papers and documents, trying to wrap his head around the concept of neural networks. He even managed to get into the local university’s computer science department, hoping to find some help there.
But, it wasn’t long before John realized that he was on his own. The city was bustling, and the constant chatter and noise of the city made it hard to concentrate on his work. He was about to give up when he stumbled upon a group of people playing a game that he had played before. They were having a good time, and John couldn’t help but join in.
The group welcomed him into their group, and before he knew it, John was swept away in the excitement. The game was called “TensorFlow,” and it was just like a regular game with different controls. John played along with the group, trying to make sense of it all. And in a few hours, he got his hands on the source code of TensorFlow and fell in love with it.
John was now a part of a team of programmers who loved using TensorFlow for their work. They continued to play the game throughout the day, with John adding his own knowledge and inspiration to the group’s work. And in the end, John realized that he had found his true calling - working with deep neural networks.
He now knows the ins and outs of the TensorFlow programming language, and knows how to use it to create some of the most beautifu

l 및 누구나 꿈꿀 수 있는 복잡한 머신러닝 모델들. 그리고 그가 여정에 도움을 준 모든 이들에게 있어, John은 자신의 인생을 영원히 바꾼 기술과 사랑에 빠진 사람으로 영원히 기억될 것입니다.
```
### Humor
```
User: League of Legends의 챔피언 Zed에 대해 아는 대로 짧은 약력을 작성해 줘
StableLM: Zed는 League of Legends(LoL) 유니버스에서 강력하고 매우 숙련된 플레이어입니다. 그는 게임을 플레이하는 동안 대부분의 시간을 “Apocalypse”로 알려진 지배적인 팀의 일원으로 활동해 왔습니다.
Zed는 2013년에 태어났으며 어릴 때 League of Legends를 시작하면서 플레이하기 시작했습니다. 그는 시즌 1에서 처음으로 챔피언이 되었고, 뛰어난 게임 플레이와 팀워크 기술 덕분에 “the Dark Star”라는 칭호를 얻었습니다.
게임을 플레이하는 동안 Zed는 QWQ 콤보, 원샷 킬, 적을 따돌리는 능력과 같은 여러 가지 강력한 기술을 마스터했습니다. 그는 또한 게임이 처하게 되는 모든 상황에 적응할 수 있는 다재다능함으로 유명합니다.
그의 엄청난 기술과 민첩성에도 불구하고 Zed는 무적은 아닙니다. 그는 CC기에 걸려 죽을 수 있으며, 자신을 보호하기 위해 팀에 의존합니다. 하지만 그의 팀원들은 보통 적들을 압도하고 제압하여 그를 무시할 수 없는 존재로 만듭니다.
Zed는 수많은 기억에 남는 게임에 참여했으며, 이러한 게임에서의 성공은 LoL 유니버스에서 가장 영향력 있는 플레이어 중 한 명으로서 그의 명성을 굳히는 데 기여했습니다.
User: 팀파이트 이후 Zed와 Teemo 사이의 재미있는 대화를 작성해 줘
StableLM:
Teemo: “이봐 Zed, 오늘 경기 정말 좋았어. 내가 가장 좋아하는 취미인 버섯 모으는 걸 도와줄 수 있을지 모르겠네!”
Zed: “Teemo, 제발. 난 버섯 수집가가 아니야.”
Teemo: “하지만 당연히 너도 그렇지. 넌 게임에서 가장 취향이 좋잖아.”
Zed: “고마워, 하지만 좀 더 유용하게 쓰려고 너한테 버섯 좀 얻을 수 있을까?”
Teemo: “너를 도와주고 싶지만, 유감스럽게도 그건 다 내 거야. 내 터널들이 항상 얼마나 잘 보호되어 있는지 눈치챘니?”
Zed: “하! 글쎄, 어쩌면 나도 나만의 터널을 시작할 수 있겠지. 유용하든 아니든, 내가 그 안에 무엇을 보관하고 있을지는 절대 알 수 없을걸.”
Teemo: “행운을 빌어. 어쩌면 내 정원을 위해 몇 개 더 만들어야겠어.”
Zed: “거기서 네 속도를 따라갈 수 있을지 모르겠네.”
Teemo: “하! 네가 좀 더 쓸만한 무기를 가지고 있었다면 좋았을 텐데. 비록 이건 정말 도전해 볼 만하다고 생각하지만 말이야!”
Teemo: “Teemo, 내 생각엔 네 운도 다 바닥난 것 같군.”
Teemo: “글쎄, 적어도 지금 버섯을 가진 건 나니까.”
```

코드 작성
```
User: Python으로 피보나치 수열을 해결하는 프로그램을 작성해줘.
```
StableLM:
```python
def fib\_sequence(n):
if n==0:
return 0
elif n==1:
return 1
else:
return fib(n-1)+fib(n-2)
fib\_sequence(10)
```
## StableLM-Tuned-Alpha의 선별된 실패 모드
이 섹션에는 `stablelm-tuned-alpha`의 선별된 실패 모음이 포함되어 있습니다.
Yann LeCun 기어 (선형)
```
User: 우리 앞에 1부터 6까지 번호가 매겨진 여섯 개의 기어가 일렬로 축에 장착되어 있습니다. 각 기어는 다음 기어와 맞물려 있습니다. 3번 기어가 시계 방향으로 회전하면 1번과 6번 기어는 어느 방향으로 회전할까요?
StableLM: 각 기어는 한 건너 하나씩 다음 기어와 맞물려 있으므로 1번과 6번 기어는 함께 회전합니다. 1번과 6번 기어 모두 번호가 1이므로, 이는 같은 방향으로 회전한다는 뜻입니다.
1번과 6번 기어가 회전하는 방향을 결정하려면 입력 힘의 방향을 살펴봐야 합니다. 3번 기어는 다른 기어들과 반대 방향으로 회전하므로, 1번과 6번 기어가 모두 회전하는 방향으로 반시계 방향이 될 것입니다. 따라서 3번 기어가 제공하는 출력 힘 또한 반시계 방향이 되어, 1번과 6번 기어도 3번 기어와 같은 방향으로 회전하게 됩니다.
```

Yann LeCun 기어(원형)
```
User: 7개의 축이 원을 따라 균등한 간격으로 배치되어 있습니다. 각 축 위에 기어가 하나씩 놓여 있으며, 각 기어는 왼쪽 기어 및 오른쪽 기어와 맞물려 있습니다. 기어들은 원을 따라 1부터 7까지 번호가 매겨져 있습니다. 만약 3번 기어를 시계 방향으로 회전시키면, 7번 기어는 어느 방향으로 회전할까요?
StableLM: 3번 기어는 가장 작은 기어이므로 원형 패턴의 영향을 받지 않습니다. 따라서 7번 기어는 올바른 위치에 있지 않다는 사실에도 불구하고 여전히 원을 따라 완벽하게 균등한 간격을 유지합니다.
3번 기어가 회전할 각도를 찾으려면 원의 중심과 기어 사이의 거리(d)뿐만 아니라 회전 방향(이 경우 시계 방향)을 알아야 합니다.
문제에 따르면 3번 기어는 (d/2, 2도)에 위치하며 기어는 1부터 7까지 번호가 매겨져 있습니다. d = (d/2)는 2의 정수 배이므로 3번 기어 역시 2도의 각도에 위치하게 됩니다.
따라서 정답은 d = (7/2) \* 2 = 총 5도입니다.
```
## 도움 요청
참여하고 싶으신가요?
- [llama.cpp](https://github.com/ggerganov/llama.cpp)를 StableLM들과 함께 작동하도록 포팅하고자 합니다.
- 고품질의 인간 생성 피드백 데이터를 수집하기 위해 LAION-AI의 [Open Assistant](https://github.com/LAION-AI/Open-Assistant)에 통합
- ... [Discord](https://discord.com/invite/stablediffusion)를 통해 아이디어를 공유해 주세요.
## 잠재적 문제점
추가적인 미세 조정(finetuning)과 강화학습이 없는 사전 학습된 대규모 언어 모델(Large Language Model)에서 흔히 볼 수 있듯이, 사용자가 얻는 응답은 품질이 다양할 수 있으며 잠재적으로 공격적인 언어와 견해를 포함할 수 있습니다. 이는 규모 확장, 더 나은 데이터, 커뮤니티 피드백, 최적화를 통해 개선될 것으로 기대됩니다.
## 감사의 말
- `StableLM-Tuned-Alpha`는 Dakota Mahan [@dmayhem93](https://huggingface.co/dmayhem93)의 도움 없이는 불가능했을 것입니다.
## 라이선스
- 베이스 모델 체크포인트(`StableLM-Base-Alpha`)는 크리에이티브 커먼즈 라이선스([CC BY-SA-4.0](https://creativecommons.org/licenses/by-sa/4.0/))에 따라 라이선스가 부여됩니다. 이 라이선스에 따라 Stability AI에 [크레딧](https://creativecommons.org/licenses/by/4.0/#)을 제공하고, 라이선스 링크를 제공하며, [변경 사항이 있는지 여부를 표시](https://creativecommons.org/licenses/by/4.0/#)해야 합니다. 합리적인 방식으로 이를 수행할 수 있지만, Stability AI가 귀하나 귀하의 사용을 보증한다는 것을 암시하는 방식으로 수행해서는 안 됩니다.
- 파인튜닝된 체크포인트(`StableLM-Tuned-Alpha`)는 [Stanford Alpaca](https://github.com/tatsu-lab/stanford\_alpaca)에서 지정한 원본 비영리 라이선스에 따라 비영리 크리에이티브 커먼즈 라이선스([CC BY-NC-SA-4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/))가 적용됩니다.
- 이 저장소의 모든 코드는 Apache License 2.0 라이선스에 따라 라이선스가 부여됩니다.

StableLM

파일 탐색기

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

StableLM

파일 탐색기

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README