ezlocalai

(★ 95)

ezlocalai is an easy to set up local artificial intelligence server with OpenAI Style Endpoints.

  • .dockerignore
  • .gitignore
  • AGENTS.md
  • app.py
  • benchmark.py
  • benchmark_model_lifecycle.py
  • BENCHMARKS.md
  • cli.py
  • cuda-requirements.txt
  • cuda.Dockerfile
  • dev.yml
  • docker-compose-cuda.yml
  • docker-compose-jetson.yml
  • docker-compose-local.yml
  • docker-compose-rocm.yml
  • docker-compose-router.yml
  • docker-compose-rpi.yml
  • docker-compose.yml
  • Docker.md
  • Dockerfile
  • ezlocalai-colab.ipynb
  • Globals.py
  • jetson.Dockerfile
  • LICENSE
  • MANIFEST.in
  • ModelSettings.py
  • Pipes.py
  • precache.py
  • pyproject.toml
  • README.md
  • RequestQueue.py
  • requirements.txt
  • rocm-requirements.txt
  • rocm.Dockerfile
  • ROUTER.md
  • Router.py
  • router_app.py
  • rpi-requirements.txt
  • rpi.Dockerfile
  • setup.py
  • start.ps1
  • start.py
  • test_code_analysis.py
  • test_code_analysis_4b.py
  • test_context_retry.py
  • test_ctts_chunking.py
  • test_llm_streaming.py
  • test_model_config.py
  • test_model_residency.py
  • test_music_generation.py
  • test_pipes_stream_tracking.py
  • test_request_queue_cleanup.py
  • test_router_chutes.py
  • test_router_dashboard.py
  • test_router_openrouter.py
  • test_router_selection.py
  • test_router_streaming.py
  • test_stt_async.py
  • test_tunnel_hub.py
  • test_video_generation.py
  • tests.ipynb
  • Tunnel.py

# 설치 가이드

1. 코드 내려받기
git clone https://github.com/DevXT-LLC/ezlocalai

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd ezlocalai

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천
사전 준비물
  • Python 3 pip 명령어를 쓰려면 Python이 필요합니다.
pip install ezlocalai

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Docker

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker compose -f docker-compose-router.yml up -d

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

4. Python

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).
pip install ezlocalai

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

ACE_STEP_LIVE_TEST=true python -m unittest test_music_generation.LiveAceStepMusicProofTest

파이썬 스크립트(또는 모듈)를 실행합니다.

에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

// repository documentation