mistral-inference

(★ 10,830)

Mistral 모델을 위한 공식 추론 라이브러리

파일 탐색기

최종 버전 다운로드 (.zip)

- - bug_report.yml
  - config.yml
- smoe.png
- .dockerignore
- Dockerfile
- entrypoint.sh
- - __init__.py
  - args.py
  - cache.py
  - generate.py
  - lora.py
  - main.py
  - mamba.py
  - model.py
  - moe.py
  - rope.py
  - transformer.py
  - transformer_layers.py
  - vision_encoder.py
- test_generate.py
- classifier.ipynb
- getting_started.ipynb
.gitignore
LICENSE
poetry.lock
pyproject.toml
README.md

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/mistralai/mistral-inference

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd mistral-inference

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천

사전 준비물

Python 3 pip 명령어를 쓰려면 Python이 필요합니다.

pip install mistral-inference

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install packaging mamba-ssm causal-conv1d transformers

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install --upgrade mistral-common

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Docker

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.

docker build deploy --build-arg MAX_JOBS=8

Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

4. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install mistral-inference

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

cd $HOME/mistral-inference && poetry install .

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

pip install packaging mamba-ssm causal-conv1d transformers

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install --upgrade mistral-common

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

python -m pytest tests

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.