MoE-PEFT
An Efficient LLM Fine-Tuning Factory Optimized for MoE PEFT
파일 탐색기
최종 버전 다운로드 (.zip)- docker-build.yml
- python-publish.yml
- python-test.yml
- code-formatter.sh
- finetune-demo.ipynb
- inference-demo.ipynb
- install-extra-linux.sh
- mixlora-demo.ipynb
- mmlu_calscore.py
- mmlu_evaluate.py
- __init__.py
- config.py
- model.py
- __init__.py
- config.py
- model.py
- __init__.py
- config.py
- model.py
- __init__.py
- __init__.py
- abstracts.py
- attention.py
- cache.py
- checkpoint.py
- config.py
- feed_forward.py
- lora_linear.py
- moe_utils.py
- rope.py
- __init__.py
- common.py
- cpu.py
- cuda.py
- mps.py
- __init__.py
- modeling_chatglm.py
- modeling_gemma.py
- modeling_gemma2.py
- modeling_llama.py
- modeling_mistral.py
- modeling_phi.py
- modeling_phi3.py
- __init__.py
- common.py
- glue_tasks.py
- qa_tasks.py
- __init__.py
- dispatcher.py
- evaluator.py
- generator.py
- model.py
- prompter.py
- tokenizer.py
- trainer.py
- utils.py
- alpaca.json
- mlora.json
- lora.json
- lora_glm.json
- lora_phi.json
- lora_phi3.json
- loramoe.json
- loramoe_glm.json
- loramoe_phi.json
- loramoe_phi3.json
- mixlora.json
- mixlora_dynamic.json
- mixlora_dynamic_glm.json
- mixlora_dynamic_phi.json
- mixlora_dynamic_phi3.json
- mixlora_glm.json
- mixlora_phi.json
- mixlora_phi3.json
- mola.json
- mola_glm.json
- mola_phi.json
- mola_phi3.json
- dummy_data.json
- dummy_train.py
- dummy_train_mixlora.py
- mixlora_generation.py
- peft_generation.py
- test_demo.py
- .gitignore
- Dockerfile
- evaluator.py
- generate.py
- inference.py
- Install.md
- launch.py
- LICENSE
- moe_peft.py
- pyproject.toml
- README.md
- requirements.txt
# 설치 가이드
1. 코드 내려받기
git clone https://github.com/TUDB-Labs/MoE-PEFT
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd MoE-PEFT
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. 공식 설치 스크립트
쉬움 추천사전 준비물
- Python 3 pip 명령어를 쓰려면 Python이 필요합니다.
pip3 install ninja
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip3 install flash-attn==2.5.8 --no-build-isolation
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip3 install bitsandbytes==0.43.1
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
3. Docker
쉬움사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker run --gpus all -it --rm mikecovlee/moe_peft
빌드된 이미지를 실제 컨테이너로 실행합니다.
터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
4. Python
쉬움사전 준비물
pip3 install ninja
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip3 install flash-attn==2.5.8 --no-build-isolation
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip3 install bitsandbytes==0.43.1
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
// repository documentation
Was this content helpful?
(0 ratings)