memra

(★ 319)

Rust + CUDA inference engine for NVIDIA RTX PRO 6000 Blackwell and RTX 5090. Serves safetensors and GGUF over an OpenAI-compatible API, with per-device tuned defaults and speculative decode gated byte-identical to plain decode. Hosted instance: inference.tiyuvta.ai

파일 수가 많아 일부만 표시됩니다. 전체 파일은 위 다운로드 버튼으로 확인해 주세요.

  • .gitattributes
  • .gitignore
  • .ignore
  • AGENTS.md
  • ARCHITECTURE-H100.md
  • ARCHITECTURE.md
  • bench_vllm.py
  • Cargo.lock
  • Cargo.toml
  • CITATION.cff
  • CLAUDE.md
  • CONTRIBUTING.md
  • LICENSE
  • README.md
  • SECURITY.md

# 설치 가이드

1. 코드 내려받기
git clone https://github.com/avifenesh/memra

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd memra

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천
curl -fsSL https://raw.githubusercontent.com/avifenesh/memra/main/tools/install.sh | sh

공식 설치 스크립트를 다운로드해서 바로 실행합니다. 이 한 줄로 필요한 게 자동으로 설치됩니다.

설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Rust

보통
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Rust (rustup) rustup으로 설치하면 cargo도 함께 설치됩니다.
cargo build --release

Rust 프로젝트를 컴파일합니다.

cargo build가 에러 없이 끝나면 성공입니다. target/ 폴더에 실행 파일이 생성됩니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

// repository documentation