BitNet
1비트 LLM을 위한 공식 추론 프레임워크
파일 탐색기
최종 버전 다운로드 (.zip)- llama.cpp
- bitnet_b1.58_2b_benchmark.png
- embedding_prefill_0.6B.png
- embedding_prefill_270M.png
- embedding_prefill_performance.png
- header_embedding_release.png
- header_model_release.png
- performance.png
- tl1.png
- tl2.png
- bitnet-embeddings-i2s-guide.md
- codegen.md
- fig1_quant_per_task.png
- bitnet_kernels.cu
- bitnet_kernels.h
- compile.sh
- setup.py
- convert_checkpoint.py
- convert_safetensors.py
- generate.py
- model.py
- pack_weight.py
- README.md
- requirements.txt
- sample_utils.py
- stats.py
- test.py
- tokenizer.model
- tokenizer.py
- bitnet-lut-kernels.h
- gemm-config.h
- ggml-bitnet.h
- kernel_config.ini
- benchmark.png
- demo.mp4
- bitnet-lut-kernels-tl1.h
- bitnet-lut-kernels-tl2.h
- kernel_config_tl1.ini
- kernel_config_tl2.ini
- bitnet-lut-kernels-tl1.h
- bitnet-lut-kernels-tl2.h
- kernel_config_tl1.ini
- kernel_config_tl2.ini
- bitnet-lut-kernels-tl1.h
- bitnet-lut-kernels-tl2.h
- kernel_config_tl1.ini
- kernel_config_tl2.ini
- embedding_throughput.png
- fine_tuning_result.png
- performance_comparison_amd_epyc.png
- performance_comparison_cobalt100_dotprod.png
- performance_comparison_i7-13800h.png
- CMakeLists.txt
- ggml-bitnet-lut.cpp
- ggml-bitnet-mad.cpp
- README.md
- codegen_tl1.py
- codegen_tl2.py
- convert-bitnet-embedding-to-gguf.py
- convert-helper-bitnet.py
- convert-hf-to-gguf-bitnet.py
- convert-ms-to-gguf-bitnet.py
- convert.py
- e2e_benchmark.py
- generate-dummy-bitnet-model.py
- preprocess-huggingface-bitnet.py
- quantize_embeddings.py
- test_gemm_kernel.sh
- test_perplexity.py
- test_power.sh
- tune_gemm_config.py
- .gitignore
- .gitmodules
- CMakeLists.txt
- CODE_OF_CONDUCT.md
- LICENSE
- README.md
- requirements.txt
- run_inference.py
- run_inference_server.py
- SECURITY.md
- setup_env.py
# 설치 가이드
1. 코드 내려받기
git clone https://github.com/microsoft/BitNet
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd BitNet
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. CMake
보통 추천사전 준비물
- For Windows users, install [Visual Studio 2022](https://visualstudio.microsoft.com/downloads/). In the installer, toggle on at least the following options(this also automatically installs the required additional tools like CMake):
이 명령어를 터미널에 그대로 입력해 실행하세요.
- C++-CMake Tools for Windows
이 명령어를 터미널에 그대로 입력해 실행하세요.
build 폴더 안에 실행 파일이 생성됐는지 확인하고, 직접 실행해보세요 (예: ./build/앱이름).
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
// repository documentation
Was this content helpful?
(0 ratings)
