quant.cpp

(★ 399)

LLM inference with 7x longer context. Pure C, zero dependencies. Lossless KV cache compression + single-header library.

파일 탐색기

최종 버전 다운로드 (.zip)
  • .dockerignore
  • .gitignore
  • CHANGELOG.md
  • CLAUDE.md
  • CMakeLists.txt
  • CODE_OF_CONDUCT.md
  • CONTRIBUTING.md
  • docker-compose.yml
  • Dockerfile
  • LICENSE
  • Makefile
  • program.md
  • quant.h
  • README.ko.md
  • README.md
  • requirements.txt
  • ROADMAP.md
  • score.sh
  • SECURITY.md

# 설치 가이드

1. 코드 내려받기
git clone https://github.com/quantumaikr/quant.cpp

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd quant.cpp

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천
사전 준비물
  • Python 3 pip 명령어를 쓰려면 Python이 필요합니다.
pip install quantcpp

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install huggingface_hub

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Docker

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker build -t quant.cpp .

Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.

docker run -v ./models:/models quant.cpp /models/SmolLM2-135M-Instruct-Q8_0.gguf -p "hello" -k uniform_4b -v q4

빌드된 이미지를 실제 컨테이너로 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

4. CMake

보통
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • CMake 빌드 설정을 생성하는 도구입니다.
  • C/C++ 컴파일러 Windows는 Visual Studio(Community 무료), macOS는 Xcode Command Line Tools, Linux는 gcc/g++ 패키지가 필요합니다.
cmake -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j$(nproc)

이 명령어를 터미널에 그대로 입력해 실행하세요.

cmake -B build && cmake --build build # build libllama

이 명령어를 터미널에 그대로 입력해 실행하세요.

cc app.c -o app -lm -lpthread # that's it — no cmake, no framework

이 명령어를 터미널에 그대로 입력해 실행하세요.

cmake -B build -DTQ_BUILD_SERVER=ON && cmake --build build

이 명령어를 터미널에 그대로 입력해 실행하세요.

✅ build 폴더 안에 실행 파일이 생성됐는지 확인하고, 직접 실행해보세요 (예: ./build/앱이름).

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

5. Node.js

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Node.js npm 명령어를 쓰려면 Node.js가 설치되어 있어야 합니다. LTS(장기지원) 버전을 추천합니다.
cd wasm

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

npm install

package.json에 명시된 라이브러리들을 내려받아 설치합니다.

npm start

개발/실행 서버를 켭니다.

✅ 명령어 실행 후 터미널에 나타나는 주소(보통 http://localhost:3000 형태)를 브라우저에서 열어보세요.

6. Python

쉬움
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).
pip install quantcpp

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install huggingface_hub

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

python3 -m http.server 8080 # Serve locally

파이썬 스크립트(또는 모듈)를 실행합니다.

cd bindings/python && pip install .

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

7. Make

보통
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Make Linux/macOS는 보통 기본 설치되어 있습니다. Windows는 별도 설치(예: MSYS2, WSL)가 필요합니다.
make

생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.

✅ 에러 없이 끝나면 성공입니다. 생성된 실행 파일을 직접 실행해보세요.

오늘의 추천 프로젝트

screenshot-to-code ★ 74,048

Drop in a screenshot and convert it to clean code (HTML/Tailwind/React/Vue)

Python
nvm ★ 94,611

Node Version Manager - 여러 개의 활성 node.js 버전을 관리하기 위한 POSIX 준수 bash 스크립트

Shell
gpt4all ★ 77,414

GPT4All: 모든 기기에서 로컬 LLM을 실행하세요. 오픈 소스이며 상업적 이용이 가능합니다.

C++
mermaid ★ 89,792

마크다운과 유사한 방식으로 텍스트로부터 순서도나 시퀀스 다이어그램 등의 다이어그램을 생성합니다.

TypeScript
rust ★ 115,523

모든 사람이 신뢰할 수 있고 효율적인 소프트웨어를 구축할 수 있도록 지원합니다.

Rust
OpenHands ★ 84,214

🙌 OpenHands: AI 기반 개발

TypeScript
// repository documentation