relora

(★ 475)

Official code for ReLoRA from the paper Stack More Layers Differently: High-Rank Training Through Low-Rank Updates

파일 탐색기

최종 버전 다운로드 (.zip)
  • .gitignore
  • CITATION.cff
  • LICENSE
  • pretokenize.py
  • README.dev.md
  • README.md
  • requirements.txt
  • run_glue.py
  • setup.py
  • torchrun_main.py

# 설치 가이드

1. 코드 내려받기
git clone https://github.com/Guitaricet/relora

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd relora

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천
사전 준비물
  • Python 3 pip 명령어를 쓰려면 Python이 필요합니다.
pip install flash-attn

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Python

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).
pip install -e .

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

pip install flash-attn

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

4. Make

보통
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Make Linux/macOS는 보통 기본 설치되어 있습니다. Windows는 별도 설치(예: MSYS2, WSL)가 필요합니다.
⚠️ 이 프로젝트는 규모가 큰 저장소라, 이 방법이 실제 핵심 제품이 아니라 내부 하위 패키지를 가리키는 것일 수 있습니다. README 전체를 함께 확인해보세요.
cd peft_pretraining/megatron_dataset

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

make

생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.

✅ 에러 없이 끝나면 성공입니다. 생성된 실행 파일을 직접 실행해보세요.

오늘의 추천 프로젝트

caveman ★ 96,051

🪨 why use many token when few token do trick — 원시인처럼 말해서 토큰 65%를 줄여주는 Claude Code 스킬

JavaScript
supabase ★ 108,059

Postgres 개발 플랫폼. Supabase는 웹, 모바일, AI 애플리케이션을 구축할 수 있는 전용 Postgres 데이터베이스를 제공합니다.

TypeScript
fucking-algorithm ★ 135,358

LeetCode를 격파하세요. 어떻게 해야 하는지뿐만 아니라, 왜 그런지까지 이해하면서요.

Markdown
angular ★ 101,020

확신을 가지고 웹 앱을 배포하세요 🚀

TypeScript
bitcoin ★ 89,918

Bitcoin Core 통합/스테이징 트리

C++
gstack ★ 128,249

Garry Tan의 실제 Claude Code 설정을 사용해 보세요: CEO, 디자이너, 엔지니어링 매니저, 릴리스 매니저, 문서 엔지니어, QA 역할을 수행하는

TypeScript
// repository documentation