candle

KO | EN

gitlite — search

#javascript #python #ai #llm #go #deep-learning #macos #nodejs #awesome #cli #vue #pytorch #mcp #ios

(★ 20,937)

Rust를 위한 미니멀리스트 ML 프레임워크

파일 탐색기

최종 버전 다운로드 (.zip)

- config.toml
- - ci_cuda.yaml
  - maturin.yml
  - python.yml
  - rust-ci.yml
  - trufflehog.yml
- dependabot.yml
- - chapter_1.md
  - error_manage.md
  - lib.rs
  - README.md
  - simplified.rs
  - SUMMARY.md
  - tracing.md
- .gitignore
- book.toml
- Cargo.toml
- CONTRIBUTING.md
- - bench_main.rs
- - basics.rs
  - cuda_basics.rs
  - cuda_sum_benchmark.rs
  - metal_basics.rs
- - accelerate.rs
  - backend.rs
  - backprop.rs
  - conv.rs
  - convert.rs
  - custom_op.rs
  - device.rs
  - display.rs
  - dtype.rs
  - dummy_cuda_backend.rs
  - dummy_dtype.rs
  - dummy_metal_backend.rs
  - error.rs
  - indexer.rs
  - layout.rs
  - lib.rs
  - mkl.rs
  - nditer.rs
  - npy.rs
  - op.rs
  - pickle.rs
  - safetensors.rs
  - scalar.rs
  - shape.rs
  - sort.rs
  - storage.rs
  - streaming.rs
  - strided_index.rs
  - tensor.rs
  - tensor_cat.rs
  - test_utils.rs
  - utils.rs
  - variable.rs
- - bilinear_tests.rs
  - conv_tests.rs
  - custom_op_tests.rs
  - display_tests.rs
  - fortran_tensor_3d.pth
  - gguf_tests.rs
  - grad_tests.rs
  - indexing_tests.rs
  - layout_tests.rs
  - matmul_tests.rs
  - metal_concurrent_tests.rs
  - npy.py
  - pool_tests.rs
  - pth.py
  - pth_tests.rs
  - quantized_tests.rs
  - serialization_tests.rs
  - tensor_tests.rs
  - test.npy
  - test.npz
  - test.pt
  - test_with_key.pt
- Cargo.toml
- LICENSE
- README.md
- - batcher.rs
  - hub.rs
  - lib.rs
- Cargo.toml
- README.md
- - gguf-tokenizer.rs
  - onnx_basics.rs
- - audio.rs
  - bs1770.rs
  - chat_template.rs
  - coco_classes.rs
  - imagenet.rs
  - lib.rs
  - token_output_stream.rs
  - wav.rs
- build.rs
- buildtime_downloader.rs
- Cargo.toml
- README.md
- - alibi.h
  - block_info.h
  - dropout.h
  - error.h
  - flash.h
  - flash_api.cu
  - flash_fwd_hdim128_bf16_causal_sm80.cu
  - flash_fwd_hdim128_bf16_sm80.cu
  - flash_fwd_hdim128_fp16_causal_sm80.cu
  - flash_fwd_hdim128_fp16_sm80.cu
  - flash_fwd_hdim160_bf16_causal_sm80.cu
  - flash_fwd_hdim160_bf16_sm80.cu
  - flash_fwd_hdim160_fp16_causal_sm80.cu
  - flash_fwd_hdim160_fp16_sm80.cu
  - flash_fwd_hdim192_bf16_causal_sm80.cu
  - flash_fwd_hdim192_bf16_sm80.cu
  - flash_fwd_hdim192_fp16_causal_sm80.cu
  - flash_fwd_hdim192_fp16_sm80.cu
  - flash_fwd_hdim224_bf16_causal_sm80.cu
  - flash_fwd_hdim224_bf16_sm80.cu
  - flash_fwd_hdim224_fp16_causal_sm80.cu
  - flash_fwd_hdim224_fp16_sm80.cu
  - flash_fwd_hdim256_bf16_causal_sm80.cu
  - flash_fwd_hdim256_bf16_sm80.cu
  - flash_fwd_hdim256_fp16_causal_sm80.cu
  - flash_fwd_hdim256_fp16_sm80.cu
  - flash_fwd_hdim32_bf16_causal_sm80.cu
  - flash_fwd_hdim32_bf16_sm80.cu
  - flash_fwd_hdim32_fp16_causal_sm80.cu
  - flash_fwd_hdim32_fp16_sm80.cu
  - flash_fwd_hdim512_bf16_causal_sm80.cu
  - flash_fwd_hdim512_bf16_sm80.cu
  - flash_fwd_hdim512_fp16_causal_sm80.cu
  - flash_fwd_hdim512_fp16_sm80.cu
  - flash_fwd_hdim64_bf16_causal_sm80.cu
  - flash_fwd_hdim64_bf16_sm80.cu
  - flash_fwd_hdim64_fp16_causal_sm80.cu
  - flash_fwd_hdim64_fp16_sm80.cu
  - flash_fwd_hdim96_bf16_causal_sm80.cu
  - flash_fwd_hdim96_bf16_sm80.cu
  - flash_fwd_hdim96_fp16_causal_sm80.cu
  - flash_fwd_hdim96_fp16_sm80.cu
  - flash_fwd_kernel.h
  - flash_fwd_launch_template.h
  - flash_fwd_splitkv_hdim128_bf16_causal_sm80.cu
  - flash_fwd_splitkv_hdim128_bf16_sm80.cu
  - flash_fwd_splitkv_hdim128_fp16_causal_sm80.cu
  - flash_fwd_splitkv_hdim128_fp16_sm80.cu
  - flash_fwd_splitkv_hdim256_bf16_causal_sm80.cu
  - flash_fwd_splitkv_hdim256_bf16_sm80.cu
  - flash_fwd_splitkv_hdim256_fp16_causal_sm80.cu
  - flash_fwd_splitkv_hdim256_fp16_sm80.cu
  - flash_fwd_splitkv_hdim512_bf16_causal_sm80.cu
  - flash_fwd_splitkv_hdim512_bf16_sm80.cu
  - flash_fwd_splitkv_hdim512_fp16_causal_sm80.cu
  - flash_fwd_splitkv_hdim512_fp16_sm80.cu
  - flash_fwd_splitkv_hdim64_bf16_causal_sm80.cu
  - flash_fwd_splitkv_hdim64_bf16_sm80.cu
  - flash_fwd_splitkv_hdim64_fp16_causal_sm80.cu
  - flash_fwd_splitkv_hdim64_fp16_sm80.cu
  - hardware_info.h
  - kernel_helpers.h
  - kernel_traits.h
  - kernel_traits_sm90.h
  - kernels.h
  - mask.h
  - philox.cuh
  - rotary.h
  - softmax.h
  - static_switch.h
  - utils.h
- - ffi.rs
  - lib.rs
- - flash_attn_tests.rs
- build.rs
- Cargo.toml
- README.md
- - combine.h
  - copy_paged_sm90_tma.hpp
  - copy_paged_sm90_tma_cutlass35.hpp
  - copy_paged_sm90_tma_cutlass36.hpp
  - epilogue_fwd_sm90_tma.hpp
  - flash.h
  - flash_api.cpp
  - flash_api.cu
  - flash_fwd_hdim128_bf16_gqa16_sm90.cu
  - flash_fwd_hdim128_bf16_gqa2_sm90.cu
  - flash_fwd_hdim128_bf16_gqa32_sm90.cu
  - flash_fwd_hdim128_bf16_gqa4_sm90.cu
  - flash_fwd_hdim128_bf16_gqa8_sm90.cu
  - flash_fwd_hdim128_bf16_sm90.cu
  - flash_fwd_hdim128_e4m3_gqa16_sm90.cu
  - flash_fwd_hdim128_e4m3_gqa2_sm90.cu
  - flash_fwd_hdim128_e4m3_gqa32_sm90.cu
  - flash_fwd_hdim128_e4m3_gqa4_sm90.cu
  - flash_fwd_hdim128_e4m3_gqa8_sm90.cu
  - flash_fwd_hdim128_e4m3_sm90.cu
  - flash_fwd_hdim128_fp16_gqa16_sm90.cu
  - flash_fwd_hdim128_fp16_gqa2_sm90.cu
  - flash_fwd_hdim128_fp16_gqa32_sm90.cu
  - flash_fwd_hdim128_fp16_gqa4_sm90.cu
  - flash_fwd_hdim128_fp16_gqa8_sm90.cu
  - flash_fwd_hdim128_fp16_sm90.cu
  - flash_fwd_hdim256_bf16_gqa16_sm90.cu
  - flash_fwd_hdim256_bf16_gqa2_sm90.cu
  - flash_fwd_hdim256_bf16_gqa32_sm90.cu
  - flash_fwd_hdim256_bf16_gqa4_sm90.cu
  - flash_fwd_hdim256_bf16_gqa8_sm90.cu
  - flash_fwd_hdim256_bf16_sm90.cu
  - flash_fwd_hdim256_e4m3_gqa16_sm90.cu
  - flash_fwd_hdim256_e4m3_gqa2_sm90.cu
  - flash_fwd_hdim256_e4m3_gqa32_sm90.cu
  - flash_fwd_hdim256_e4m3_gqa4_sm90.cu
  - flash_fwd_hdim256_e4m3_gqa8_sm90.cu
  - flash_fwd_hdim256_e4m3_sm90.cu
  - flash_fwd_hdim256_fp16_gqa16_sm90.cu
  - flash_fwd_hdim256_fp16_gqa2_sm90.cu
  - flash_fwd_hdim256_fp16_gqa32_sm90.cu
  - flash_fwd_hdim256_fp16_gqa4_sm90.cu
  - flash_fwd_hdim256_fp16_gqa8_sm90.cu
  - flash_fwd_hdim256_fp16_sm90.cu
  - flash_fwd_hdim512_bf16_gqa16_sm90.cu
  - flash_fwd_hdim512_bf16_gqa2_sm90.cu
  - flash_fwd_hdim512_bf16_gqa32_sm90.cu
  - flash_fwd_hdim512_bf16_gqa4_sm90.cu
  - flash_fwd_hdim512_bf16_gqa8_sm90.cu
  - flash_fwd_hdim512_bf16_sm90.cu
  - flash_fwd_hdim512_fp16_gqa16_sm90.cu
  - flash_fwd_hdim512_fp16_gqa2_sm90.cu
  - flash_fwd_hdim512_fp16_gqa32_sm90.cu
  - flash_fwd_hdim512_fp16_gqa4_sm90.cu
  - flash_fwd_hdim512_fp16_gqa8_sm90.cu
  - flash_fwd_hdim512_fp16_sm90.cu
  - flash_fwd_hdim64_bf16_gqa16_sm90.cu
  - flash_fwd_hdim64_bf16_gqa2_sm90.cu
  - flash_fwd_hdim64_bf16_gqa32_sm90.cu
  - flash_fwd_hdim64_bf16_gqa4_sm90.cu
  - flash_fwd_hdim64_bf16_gqa8_sm90.cu
  - flash_fwd_hdim64_bf16_sm90.cu
  - flash_fwd_hdim64_e4m3_gqa16_sm90.cu
  - flash_fwd_hdim64_e4m3_gqa2_sm90.cu
  - flash_fwd_hdim64_e4m3_gqa32_sm90.cu
  - flash_fwd_hdim64_e4m3_gqa4_sm90.cu
  - flash_fwd_hdim64_e4m3_gqa8_sm90.cu
  - flash_fwd_hdim64_e4m3_sm90.cu
  - flash_fwd_hdim64_fp16_gqa16_sm90.cu
  - flash_fwd_hdim64_fp16_gqa2_sm90.cu
  - flash_fwd_hdim64_fp16_gqa32_sm90.cu
  - flash_fwd_hdim64_fp16_gqa4_sm90.cu
  - flash_fwd_hdim64_fp16_gqa8_sm90.cu
  - flash_fwd_hdim64_fp16_sm90.cu
  - flash_fwd_kernel.h
  - flash_fwd_launch_template.h
  - kernel_traits.h
  - mainloop_fwd_sm90_tma_gmma_ws.hpp
  - named_barrier.hpp
  - seq_len.h
  - softmax.h
  - static_switch.h
  - tile_scheduler.hpp
  - utils.h
- - ffi.rs
  - lib.rs
- - flash_attn_tests.rs
- build.rs
- Cargo.toml
- README.md
- - affine.cu
  - binary.cu
  - binary_op_macros.cuh
  - cast.cu
  - compatibility.cuh
  - conv.cu
  - cuda_utils.cuh
  - ffi.rs
  - fill.cu
  - indexing.cu
  - lib.rs
  - mmvq_gguf.cu
  - ptx.rs
  - quantized.cu
  - reduce.cu
  - sort.cu
  - ternary.cu
  - unary.cu
- build.rs
- Cargo.toml
- README.md
- - metal_benchmarks.rs
- - err.rs
  - kernel.rs
  - lib.rs
  - source.rs
  - tests.rs
  - utils.rs
- Cargo.toml
- README.md
- - bench_main.rs
- - basic_optimizer.rs
  - cpu_benchmarks.rs
- - activation.rs
  - batch_norm.rs
  - conv.rs
  - cpu_flash_attention.rs
  - embedding.rs
  - encoding.rs
  - func.rs
  - group_norm.rs
  - init.rs
  - kv_cache.rs
  - layer_norm.rs
  - lib.rs
  - linear.rs
  - loss.rs
  - moe.rs
  - ops.rs
  - optim.rs
  - rnn.rs
  - rotary_emb.rs
  - sampling.rs
  - sequential.rs
  - var_builder.rs
  - var_map.rs
- - batch_norm.rs
  - cpu_flash_attn.rs
  - group_norm.rs
  - kv_cache.rs
  - layer_norm.rs
  - loss.rs
  - one_hot.rs
  - ops.rs
  - optim.rs
  - rnn.rs
  - sdpa.rs
  - varlen_flash_attention.rs
- Cargo.toml
- README.md
- - eval.rs
  - lib.rs
  - onnx.proto3
- - ops.rs
- build.rs
- Cargo.toml
- README.md
- - __init__.py
  - README.md
- - lib.rs
  - onnx.rs
  - shape.rs
  - utils.rs
- - __init__.py
- .gitignore
- build.rs
- Cargo.toml
- e5.py
- pyproject.toml
- quant-llama.py
- README.md
- stub.py
- test.py
- test_pytorch.py
- - fused_moe.rs
  - lib.rs
  - object_detection.rs
  - quantized_nn.rs
  - quantized_var_builder.rs
  - utils.rs
- - generation_tests.rs
  - nms_tests.rs
- Cargo.toml
- README.md
- - lib.rs
- Cargo.toml
- - bertWorker.js
  - build-lib.sh
  - Cargo.toml
  - lib-example.html
  - README.md
  - utils.js
- - blipWorker.js
  - build-lib.sh
  - Cargo.toml
  - index.html
  - README.md
- - Cargo.toml
  - README.md
- - build-lib.sh
  - Cargo.toml
  - index.html
  - lib-example.html
  - llama2cWorker.js
  - README.md
- - build-lib.sh
  - Cargo.toml
  - code.js
  - index.html
  - moondreamWorker.js
  - README.md
- - build-lib.sh
  - Cargo.toml
  - index.html
  - phiWorker.js
  - README.md
- - Cargo.toml
  - index.html
  - README.md
  - serve.py
- - build-lib.sh
  - Cargo.toml
  - lib-example.html
  - README.md
  - samWorker.js
- - build-lib.sh
  - Cargo.toml
  - index.html
  - README.md
  - T5ModelConditionalGeneration.js
  - T5ModelEncoderWorker.js
  - utils.js
- - build-lib.sh
  - Cargo.toml
  - index.html
  - lib-example.html
  - main.js
  - README.md
  - whisperWorker.js
- - build-lib.sh
  - Cargo.toml
  - index.html
  - lib-example.html
  - README.md
  - yoloWorker.js
- - lib.rs
- - quantized_tests.rs
- Cargo.toml
- README.md
- webdriver.json
- - main.rs
- Cargo.toml
.gitignore
.pre-commit-config.yaml
Cargo.toml
CHANGELOG.md
LICENSE-APACHE
LICENSE-MIT
Makefile
README.md

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# candle
[![discord server](https://dcbadge.limes.pink/api/server/hugging-face-879548962464493619)](https://discord.gg/hugging-face-879548962464493619)
[![Latest version](https://img.shields.io/crates/v/candle-core.svg)](https://crates.io/crates/candle-core)
[![Documentation](https://docs.rs/candle-core/badge.svg)](https://docs.rs/candle-core)
[![License](https://img.shields.io/github/license/base-org/node?color=blue)](https://github.com/huggingface/candle/blob/main/LICENSE-MIT)
[![License](https://img.shields.io/badge/license-Apache%202.0-blue?style=flat-square)](https://github.com/huggingface/candle/blob/main/LICENSE-APACHE)
Candle은 성능(GPU 지원 포함)과 사용 편의성에 초점을 맞춘 Rust용 미니멀리즘 ML 프레임워크입니다. 온라인 데모를 직접 체험해 보세요:
[whisper](https://huggingface.co/spaces/lmz/candle-whisper),
[LLaMA2](https://huggingface.co/spaces/lmz/candle-llama2),
[T5](https://huggingface.co/spaces/radames/Candle-T5-Generation-Wasm),
[yolo](https://huggingface.co/spaces/lmz/candle-yolo),
[Segment
Anything](https://huggingface.co/spaces/radames/candle-segment-anything-wasm).
## 시작하기
[\*\*Installation\*\*](https://huggingface.github.io/candle/guide/installation.html)에 설명된 대로 [`candle-core`](https://github.com/huggingface/candle/tree/main/candle-core)가 올바르게 설치되어 있는지 확인하세요.
간단한 행렬 곱셈을 실행하는 방법을 살펴보겠습니다.
`myapp/src/main.rs` 파일에 다음 내용을 작성하세요:
```rust
use candle\_core::{Device, Tensor};
fn main() -> Result<(), Box> {
let device = Device::Cpu;
let a = Tensor::randn(0f32, 1., (2, 3), &device)?;
let b = Tensor::randn(0f32, 1., (3, 4), &device)?;
let c = a.matmul(&b)?;
println!("{c}");
Ok(())
}
```
`cargo run`을 실행하면 `Tensor[[2, 4], f32]` 형태의 텐서가 출력되어야 합니다.
Cuda 지원과 함께 `candle`을 설치한 경우, 다음과 같이 GPU에서 실행되도록 `device`를 정의하면 됩니다:
```diff
- let device = Device::Cpu;
+ let device = Device::new\_cuda(0)?;
```
더 고급 예제는 다음 섹션을 참고해 주세요.
## 예제 살펴보기
이 온라인 데모들은 브라우저에서 완전히 실행됩니다:
- [yolo](https://huggingface.co/spaces/lmz/candle-yolo): 포즈 추정 및 객체 인식.
- [whisper](https://huggingface.co/spaces/lmz/candle-whisper): 음성 인식.
- [LLaMA2](https://huggingface.co/spaces/lmz/candle-llama2): 텍스트 생성.
- [T5](https://huggingface.co/spaces/radames/Candle-T5-Generation-Wasm): 텍스트 생성.
- [Phi-1.5, and Phi-2](https://huggingface.co/spaces/radames/Candle-Phi-1.5-Wasm): 텍스트 생성.
- [Segment Anything Model](https://huggingface.co/spaces/radames/candle-segment-anything-wasm): 이미지 분할.
- [BLIP](https://huggingface.co/spaces/radames/Candle-BLIP-Image-Captioning): 이미지 캡션 생성.
또한 최신 모델을 사용하는 명령줄 기반 예제도 제공합니다:
- [LLaMA v1, v2, and v3](./candle-examples/examples/llama/): 일반 LLM, SOLAR-10.7B 변형 포함.
- [Falcon](./candle-examples/examples/falcon/): 일반 LLM.
- [Codegeex4](./candle-examples/examples/codegeex4-9b/): 코드 완성, 코드 인터프리터, 웹 검색, 함수 호출, 리포지토리 수준 지원
- [GLM4](./candle-examples/examples/glm4/): THUDM의 오픈 다국어 멀티모달 챗 LLM
- [Gemma v1 and v2](./candle-examples/examples/gemma/): Google Deepmind의 2b, 7b+/9b 일반 LLM.
- [RecurrentGemma](./candle-examples/examples/recurrent-gemma/): 어텐션과 RNN 유사 상태를 혼합한 Google의 2b 및 7b Griffin 기반 모델.
- [Phi-1, Phi-1.5, Phi-2, and Phi-3](./candle-examples/examples/phi/): 7b 모델과 맞먹는 성능을 가진 1.3b, 2.7b, 3.8b 일반 LLM.
- [StableLM-3B-4E1T](./candle-examples/examples/stable-lm/): 영어 및 코드 데이터셋의 1T 토큰으로 사전 학습된 3b 일반 LLM. 2T 토큰으로 학습된 1.6b LLM인 StableLM-2 및 그 코드 변형도 지원합니다.
- [Mamba](./candle-examples/examples/mamba/): Mamba 상태 공간 모델의 추론 전용 구현.
- [Mistral7b-v0.1](./candle-examples/examp

les/mistral/): 2023년 9월 28일 기준으로 공개된 모든 13b 모델보다 뛰어난 성능을 보이는 7b 일반 LLM입니다.
- [Mixtral8x7b-v0.1](./candle-examples/examples/mixtral/): 훨씬 더 빠른 추론 속도로 Llama 2 70B 모델보다 더 뛰어난 성능을 발휘하는 8x7b 일반 LLM sparse mixture of experts 모델입니다.
- [StarCoder](./candle-examples/examples/bigcode/) 및
[StarCoder2](./candle-examples/examples/starcoder2/): 코드 생성에 특화된 LLM입니다.
- [Qwen1.5](./candle-examples/examples/qwen/): 이중 언어(영어/중국어) LLM입니다.
- [RWKV v5 and v6](./candle-examples/examples/rwkv/): Transformer 수준의 LLM 성능을 갖춘 RNN입니다.
- [Replit-code-v1.5](./candle-examples/examples/replit-code/): 코드 완성에 특화된 3.3b LLM입니다.
- [Yi-6B / Yi-34B](./candle-examples/examples/yi/): 6b 및 34b 파라미터를 가진 두 개의 이중 언어(영어/중국어) 일반 LLM입니다.
- [Quantized LLaMA](./candle-examples/examples/quantized/): [llama.cpp](https://github.com/ggerganov/llama.cpp)와 동일한 양자화 기법을 사용한 LLaMA 모델의 양자화 버전입니다.
- [Quantized Qwen3 MoE](./candle-examples/examples/quantized-qwen3-moe/): Qwen3 MoE 모델의 gguf 양자화 버전을 지원합니다.
![](https://github.com/huggingface/candle/raw/main/candle-examples/examples/quantized/assets/aoc.gif)
- [Stable Diffusion](./candle-examples/examples/stable-diffusion/): 텍스트-이미지 생성 모델로, 1.5, 2.1, SDXL 1.0 및 Turbo 버전을 지원합니다.
![](https://github.com/huggingface/candle/raw/main/candle-examples/examples/stable-diffusion/assets/stable-diffusion-xl.jpg)
- [Wuerstchen](./candle-examples/examples/wuerstchen/): 또 다른 텍스트-이미지 생성 모델입니다.
![](https://github.com/huggingface/candle/raw/main/candle-examples/examples/wuerstchen/assets/cat.jpg)
- [yolo-v3](./candle-examples/examples/yolo-v3/) 및
[yolo-v8](./candle-examples/examples/yolo-v8/): 객체 감지 및 포즈 추정 모델입니다.
![](https://github.com/huggingface/candle/raw/main/candle-examples/examples/yolo-v8/assets/bike.od.jpg)![](https://github.com/huggingface/candle/raw/main/candle-examples/examples/yolo-v8/assets/bike.pose.jpg)
- [segment-anything](./candle-examples/examples/segment-anything/): 프롬프트를 사용하는 이미지 분할 모델입니다.
![](https://github.com/huggingface/candle/raw/main/candle-examples/examples/segment-anything/assets/sam_merged.jpg)
- [SegFormer](./candle-examples/examples/segformer/): Transformer 기반 시맨틱 분할 모델입니다.
- [Whisper](./candle-examples/examples/whisper/): 음성 인식 모델입니다.
- [EnCodec](./candle-examples/examples/encodec/): 잔차 벡터 양자화(residual vector quantization)를 사용하는 고품질 오디오 압축 모델입니다.
- [MetaVoice](./candle-examples/examples/metavoice/): 텍스트 음성 변환(TTS)을 위한 파운데이션 모델입니다.
- [Parler-TTS](./candle-examples/examples/parler-tts/): 대규모 텍스트 음성 변환 모델입니다.
- [T5](./candle-examples/examples/t5), [Bert](./candle-examples/examples/bert/),
[JinaBert](./candle-examples/examples/jina-bert/) : 문장 임베딩에 유용합니다.
- [DINOv2](./candle-examples/examples/dinov2/): 자기 지도 학습(self-supervision)으로 학습된 컴퓨터 비전 모델 (ImageNet 분류, 깊이 평가, 분할에 사용 가능).
- [VGG](./candle-examples/examples/vgg/),
[RepVGG](./candle-examples/examples/repvgg): 컴퓨터 비전 모델입니다.
- [BLIP](./candle-examples/examples/blip/): 이미지-텍스트 모델로, 이미지의 캡션을 생성하는 데 사용할 수 있습니다.
- [CLIP](./candle-examples/examples/clip/): 멀티모달 비전 및 언어 모델입니다.
- [TrOCR](./candle-examples/examples/trocr/): 손글씨 및 인쇄물 인식을 위한 전용 서브모델이 포함된 Transformer OCR 모델입니다.
- [Marian-MT](./candle-examples/examples/marian-mt/): 신경망 기계 번역 모델로, 입력 텍스트로부터 번역된 텍스트를 생성합니다.
- [Moondream](./candle-examples/examples/moondream/): 이미지에 대한 실세계 질문에 답할 수 있는 소형 컴퓨터 비전 모델입니다.
다음과 같은 명령어로 실행할 수 있습니다:
```
cargo run --example quantized --release
```
**CUDA**를 사용하려면 명령어에 `--features cuda`를 추가하세요.

간단한 명령줄입니다. 만약 cuDNN이 설치되어 있다면, 속도를 더욱 높이기 위해 `--features cudnn`을 사용하세요.
whisper와 [llama2.c](https://github.com/karpathy/llama2.c)를 위한 몇 가지 wasm 예제도 있습니다. `trunk`로 빌드하거나 온라인에서 직접 체험해 볼 수 있습니다:
[whisper](https://huggingface.co/spaces/lmz/candle-whisper),
[llama2](https://huggingface.co/spaces/lmz/candle-llama2),
[T5](https://huggingface.co/spaces/radames/Candle-T5-Generation-Wasm),
[Phi-1.5, and Phi-2](https://huggingface.co/spaces/radames/Candle-Phi-1.5-Wasm),
[Segment Anything Model](https://huggingface.co/spaces/radames/candle-segment-anything-wasm).
LLaMA2의 경우, 다음 명령을 실행하여 가중치 파일을 다운로드하고 테스트 서버를 시작하세요:
```bash
# install target platform 'wasm32-unknown-unknown'
rustup target add wasm32-unknown-unknown
cd candle-wasm-examples/llama2-c
wget https://huggingface.co/spaces/lmz/candle-llama2/resolve/main/model.bin
wget https://huggingface.co/spaces/lmz/candle-llama2/resolve/main/tokenizer.json
trunk serve --release --port 8081
```
그런 다음 [http://localhost:8081/](http://localhost:8081/)으로 이동하세요.
## 유용한 외부 리소스
- [`candle-tutorial`](https://github.com/ToluClassics/candle-tutorial): PyTorch 모델을 Candle로 변환하는 방법을 보여주는 매우 자세한 튜토리얼입니다.
- [`candle-lora`](https://github.com/EricLBuehler/candle-lora): Candle을 위한 효율적이고 직관적인 LoRA 구현입니다. `candle-lora`는 [여기](https://github.com/EricLBuehler/candle-lora/tree/master/candle-lora-transformers/examples)에서 확인할 수 있는 Candle의 많은 모델에 대해 기본적으로 LoRA를 지원합니다.
- [`candle-video`](https://github.com/FerrisMind/candle-video): 빠르고 Python이 필요 없는 추론에 초점을 맞춰 Candle을 기반으로 구축된 텍스트-비디오 생성(LTX-Video 및 관련 모델)용 Rust 라이브러리입니다.
- [`optimisers`](https://github.com/KGrewal1/optimisers): 모멘텀 SGD, AdaGrad, AdaDelta, AdaMax, NAdam, RAdam, RMSprop을 포함한 최적화 알고리즘 모음입니다.
- [`candle-vllm`](https://github.com/EricLBuehler/candle-vllm): OpenAI 호환 API 서버를 포함하여 로컬 LLM을 추론하고 서빙하기 위한 효율적인 플랫폼입니다.
- [`candle-ext`](https://github.com/mokeyish/candle-ext): 현재 Candle에서 사용할 수 없는 PyTorch 함수를 제공하는 Candle 확장 라이브러리입니다.
- [`candle-coursera-ml`](https://github.com/vishpat/candle-coursera-ml): Coursera의 [Machine Learning Specialization](https://www.coursera.org/specializations/machine-learning-introduction) 코스에 나오는 머신러닝 알고리즘 구현입니다.
- [`kalosm`](https://github.com/floneum/floneum/tree/master/interfaces/kalosm): 제어된 생성, 사용자 정의 샘플러, 인메모리 벡터 데이터베이스, 오디오 전사 등을 지원하며 로컬 사전 학습된 모델과 인터페이스하기 위한 Rust의 멀티모달 메타 프레임워크입니다.
- [`candle-sampling`](https://github.com/EricLBuehler/candle-sampling): Candle을 위한 샘플링 기법입니다.
- [`gpt-from-scratch-rs`](https://github.com/jeroenvlek/gpt-from-scratch-rs): 토이 문제를 통해 Candle API를 보여주는 Андрей Карпати(Andrej Karpathy)의 유튜브 \_Let's build GPT\_ 튜토리얼을 포팅한 것입니다.
- [`candle-einops`](https://github.com/tomsanbear/candle-einops): 파이썬 [einops](https://github.com/arogozhnikov/einops) 라이브러리의 순수 Rust 구현입니다.
- [`atoma-infer`](https://github.com/atoma-network/atoma-infer): 효율적인 어텐션 계산을 위한 FlashAttention2, 효율적인 KV-캐시 메모리 관리를 위한 PagedAttention, 그리고 멀티 GPU 지원을 활용하여 대규모에서 빠른 추론을 수행하기 위한 Rust 라이브러리입니다. OpenAI API와 호환됩니다.
- [`llms-from-scratch-rs`](https://github.com/nerdai/llms-from-scratch-rs): Sebastian Raschka의 Build an LLM from Scratch 책에 나오는 코드를 포괄적으로 Rust로 번역한 것입니다.
- [`vllm.rs`](https://github.com/guoqingbao/vllm.rs): Candle을 기반으로 한 Rust의 미니멀리스트 vLLM 구현입니다.
이 목록에 추가할 내용이 있다면 풀 리퀘스트를 제출해 주세요.

## Features
- PyTorch와 유사하고 직관적인 간단한 문법.
- 모델 학습.
- [flash-attention v2](https://github.com/huggingface/candle/blob/89ba005962495f2bfbda286e185e9c3c7f5300a3/candle-flash-attn/src/lib.rs#L152)와 같은 사용자 정의 연산/커널 임베딩.
- 백엔드.
- x86용 선택적 MKL 지원 및 Mac용 Accelerate를 갖춘 최적화된 CPU 백엔드.
- GPU에서 효율적으로 실행하기 위한 CUDA 백엔드, NCCL을 통한 다중 GPU 분산.
- WASM 지원, 브라우저에서 모델 실행.
- 포함된 모델.
- 언어 모델.
- LLaMA v1, v2, v3 및 SOLAR-10.7B와 같은 파생 모델.
- Falcon.
- StarCoder, StarCoder2.
- Phi 1, 1.5, 2, 3.
- Mamba, Minimal Mamba.
- Gemma v1 2b 및 7b+, v2 2b 및 9b.
- Mistral 7b v0.1.
- Mixtral 8x7b v0.1.
- StableLM-3B-4E1T, StableLM-2-1.6B, Stable-Code-3B.
- Replit-code-v1.5-3B.
- Bert.
- Yi-6B 및 Yi-34B.
- Qwen1.5, Qwen1.5 MoE, Qwen3 MoE.
- RWKV v5 및 v6.
- 양자화된 LLM.
- Llama 7b, 13b, 70b 및 챗(chat) 및 코드(code) 변형 버전.
- Mistral 7b 및 7b instruct.
- Mixtral 8x7b.
- Zephyr 7b a 및 b (Mistral-7b 기반).
- OpenChat 3.5 (Mistral-7b 기반).
- Qwen3 MoE (16B-A3B, 32B-A3B).
- 텍스트 투 텍스트 (Text to text).
- T5 및 그 파생 모델: FlanT5, UL2, MADLAD400 (번역), CoEdit (문법 교정).
- Marian MT (기계 번역).
- 텍스트 투 이미지 (Text to image).
- Stable Diffusion v1.5, v2.1, XL v1.0.
- Wurstchen v2.
- 이미지 투 텍스트 (Image to text).
- BLIP.
- TrOCR.
- 오디오.
- Whisper, 다국어 음성 인식 (speech-to-text).
- EnCodec, 오디오 압축 모델.
- MetaVoice-1B, 텍스트 음성 변환 (text-to-speech) 모델.
- Parler-TTS, 텍스트 음성 변환 (text-to-speech) 모델.
- 컴퓨터 비전 모델.
- DINOv2, ConvMixer, EfficientNet, ResNet, ViT, VGG, RepVGG, ConvNeXT,
ConvNeXTv2, MobileOne, EfficientVit (MSRA), MobileNetv4, Hiera, FastViT.
- yolo-v3, yolo-v8.
- Segment-Anything Model (SAM).
- SegFormer.
- 파일 형식: safetensors, npz, ggml 또는 PyTorch 파일에서 모델 로드.
- 서버리스 (CPU 기반), 작고 빠른 배포.
- llama.cpp 양자화 유형을 사용한 양자화 지원.

## How to use
치트시트:
| | Using PyTorch | Using Candle |
|------------|------------------------------------------|------------------------------------------------------------------|
| Creation | `torch.Tensor([[1, 2], [3, 4]])` | `Tensor::new(&[[1f32, 2.], [3., 4.]], &Device::Cpu)?` |
| Creation | `torch.zeros((2, 2))` | `Tensor::zeros((2, 2), DType::F32, &Device::Cpu)?` |
| Indexing | `tensor[:, :4]` | `tensor.i((.., ..4))?` |
| Operations | `tensor.view((2, 2))` | `tensor.reshape((2, 2))?` |
| Operations | `a.matmul(b)` | `a.matmul(&b)?` |
| Arithmetic | `a + b` | `&a + &b` |
| Device | `tensor.to(device="cuda")` | `tensor.to\_device(&Device::new\_cuda(0)?)?` |
| Dtype | `tensor.to(dtype=torch.float16)` | `tensor.to\_dtype(&DType::F16)?` |
| Saving | `torch.save({"A": A}, "model.bin")` | `candle::safetensors::save(&HashMap::from([("A", A)]), "model.safetensors")?` |
| Loading | `weights = torch.load("model.bin")` | `candle::safetensors::load("model.safetensors", &device)` |

## Structure
- [candle-core](./candle-core): 코어 연산, 디바이스 및 `Tensor` 구조체 정의
- [candle-nn](./candle-nn/): 실제 모델 구축을 위한 도구
- [candle-examples](./candle-examples/): 실제 환경에서 라이브러리를 사용하는 예제
- [candle-kernels](./candle-kernels/): CUDA 커스텀 커널
- [candle-datasets](./candle-datasets/): 데이터셋 및 데이터 로더.
- [candle-transformers](./candle-transformers): 트랜스포머 관련 유틸리티.
- [candle-flash-attn](./candle-flash-attn): Flash attention v2 레이어.
- [candle-onnx](./candle-onnx/): ONNX 모델 평가.

## FAQ
### Why should I use Candle?
Candle의 핵심 목표는 \*서버리스 추론을 가능하게 만드는 것\*입니다. PyTorch와 같은 완전한 머신러닝 프레임워크는
매우 크기 때문에 클러스터에서 인스턴스를 생성하는 속도가 느립니다. Candle을 사용하면 경량화된
바이너리를 배포할 수 있습니다.

둘째, Candle을 사용하면 프로덕션 워크로드에서 \*Python을 제거\*할 수 있습니다. Python 오버헤드는 성능에 심각한 타격을 줄 수 있으며, [GIL](https://www.backblaze.com/blog/the-python-gil-past-present-and-future/)은

악명 높은 골칫거리입니다.
마침내 Rust가 대세가 되었습니다! [safetensors](https://github.com/huggingface/safetensors)나 [tokenizers](https://github.com/huggingface/tokenizers)처럼 많은 HF 생태계 라이브러리들이 이미 Rust crate로 제공되고 있습니다.
### 기타 ML 프레임워크
- [dfdx](https://github.com/coreylowman/dfdx)는 텐서의 형태(shape)가 타입에 포함되는 강력한 crate입니다. 컴파일러가 형태 불일치를 즉시 감지하여 오류를 발생시키기 때문에 많은 골칫거리를 사전에 방지할 수 있습니다.
그러나 여전히 일부 기능에는 nightly 버전이 필요하며, Rust 전문가가 아닌 이들에게는 코딩 다소 어렵게 느껴질 수 있습니다.
저희는 런타임을 위해 다른 핵심 crate들을 활용하고 기여하고 있으며, 이를 통해 두 crate 모두 서로 상호 혜택을 얻기를 바랍니다.
- [burn](https://github.com/burn-rs/burn)은 여러 백엔드를 활용할 수 있는 범용 crate로, 작업 부하에 가장 적합한 엔진을 선택할 수 있습니다.
- [tch-rs](https://github.com/LaurentMazare/tch-rs.git)는 Rust에서 torch 라이브러리를 사용할 수 있게 해주는 바인딩입니다. 매우 다재다능하지만 전체 torch 라이브러리를 런타임에 불러옵니다. `tch-rs`의 메인 기여자 역시 `candle` 개발에 참여하고 있습니다.
### 일반적인 오류
#### mkl 기능을 활성화하고 컴파일할 때 누락된 심볼 발생
mkl 또는 accelerate 기능을 사용하여 바이너리나 테스트를 컴파일할 때 누락된 심볼이 발생하는 경우, 예를 들어 mkl의 경우 다음과 같은 오류가 발생합니다:
```
= note: /usr/bin/ld: (....o): in function `blas::sgemm':
.../blas-0.22.0/src/lib.rs:1944: undefined reference to `sgemm\_' collect2: error: ld returned 1 exit status
= note: some `extern` functions couldn't be found; some native libraries may need to be installed or have their path specified
= note: use the `-l` flag to specify native libraries to link
= note: use the `cargo:rustc-link-lib` directive to specify the native libraries to link with Cargo
```
또는 accelerate의 경우:
```
Undefined symbols for architecture arm64:
"\_dgemm\_", referenced from:
candle\_core::accelerate::dgemm::h1b71a038552bcabe in libcandle\_core...
"\_sgemm\_", referenced from:
candle\_core::accelerate::sgemm::h2cf21c592cba3c47 in libcandle\_core...
ld: symbol(s) not found for architecture arm64
```
이는 mkl 라이브러리를 활성화하는 데 필요한 링커 플래그가 누락되었기 때문일 가능성이 높습니다. 바이너리 상단에 mkl을 위한 다음 코드를 추가해 볼 수 있습니다:
```rust
extern crate intel\_mkl\_src;
```
또는 accelerate를 위한 코드:
```rust
extern crate accelerate\_src;
```
#### LLaMA 예제를 실행할 수 없음: 소스 접근에 로그인 자격 증명이 필요함
```
Error: request error: https://huggingface.co/meta-llama/Llama-2-7b-hf/resolve/main/tokenizer.json: status code 401
```
이는 LLaMA-v2 모델에 대한 권한이 없기 때문일 가능성이 높습니다. 이를 해결하려면 huggingface-hub에 가입하고 [LLaMA-v2 모델 조건](https://huggingface.co/meta-llama/Llama-2-7b-hf)에 동의한 다음, 인증 토큰을 설정해야 합니다. 자세한 내용은 이슈 [#350](https://github.com/huggingface/candle/issues/350)을 참고하세요.
#### Docker 빌드
Dockerfile 내부에서 CUDA 커널을 빌드할 때는 nvidia-smi를 사용하여 연산 능력(compute capability)을 자동 감지할 수 없습니다.
다음과 같이 CUDA\_COMPUTE\_CAP을 명시적으로 설정해야 합니다:
```
FROM nvidia/cuda:12.9.0-devel-ubuntu22.04
# Install git and curl
RUN set -eux; \
apt-get update; \
apt-get install -y curl git ca-certificates;
# Install Rust
RUN curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh -s -- -y
# Clone candle repo
RUN git clone https://github.com/huggingface/candle.git
# Set compute capability for the build
ARG CUDA\_COMPUTE\_CAP=90
ENV CUDA\_COMPUTE\_CAP=${CUDA\_COMPUTE\_CAP}
# Build with explicit compute cap
WORKDIR /app
COPY . .
RUN cargo build --release features cuda
```
#### flash-attention 컴파일 실패
```
/usr/include/c++/11/bits/std\_function.h:530:146: error: parameter packs not expanded with ‘...’:
```
이는 Cuda 컴파일러로 인해 발생하는 gcc-11의 버그입니다. 이를 해결하려면 gcc-10과 같이 지원되는 다른 gcc 버전을 설치하고, NVCC\_CCBIN 환경 변수에 컴파일러 경로를 지정하세요.
```
env NVCC\_CCBI

N=/usr/lib/gcc/x86\_64-linux-gnu/10 cargo ...
```
#### Windows에서 rustdoc 또는 mdbook 테스트 실행 시 링크 에러 발생
```
Couldn't compile the test.
---- .\candle-book\src\inference\hub.md - Using\_the\_hub::Using\_in\_a\_real\_model\_ (line 50) stdout ----
error: linking with `link.exe` failed: exit code: 1181
//very long chain of linking
= note: LINK : fatal error LNK1181: cannot open input file 'windows.0.48.5.lib'
```
프로젝트 타겟 외부에 위치할 수 있는 모든 네이티브 라이브러리가 링크되도록 확인하세요. 예를 들어 mdbook 테스트를 실행하려면 다음을 실행해야 합니다:
```
mdbook test candle-book -L .\target\debug\deps\ `
-L native=$env:USERPROFILE\.cargo\registry\src\index.crates.io-6f17d22bba15001f\windows\_x86\_64\_msvc-0.42.2\lib `
-L native=$env:USERPROFILE\.cargo\registry\src\index.crates.io-6f17d22bba15001f\windows\_x86\_64\_msvc-0.48.5\lib
```
#### WSL 사용 시 극도로 느린 모델 로드 시간
이는 모델이 `/mnt/c`에서 로드되기 때문일 수 있으며, 자세한 내용은 [Stack Overflow](https://stackoverflow.com/questions/68972448/why-is-wsl-extremely-slow-when-compared-with-native-windows-npm-yarn-processing)에서 확인하실 수 있습니다.
#### 에러 추적
candle 에러가 발생했을 때 백트레이스를 제공받으려면 `RUST\_BACKTRACE=1`을 설정할 수 있습니다.
#### CudaRC 에러
Windows에서 `called `Result::unwrap()` on an `Err` value: LoadLibraryExW { source: Os { code: 126, kind: Uncategorized, message: "The specified module could not be found." } }`과 같은 에러가 발생하는 경우, 이 3개의 파일을 복사하여 이름을 변경하면 해결할 수 있습니다(파일들이 경로에 있는지 확인하세요). 경로는 CUDA 버전에 따라 다릅니다.
`c:\Windows\System32\nvcuda.dll` -> `cuda.dll`
`c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin\cublas64\_12.dll` -> `cublas.dll`
`c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin\curand64\_10.dll` -> `curand.dll`

candle

파일 탐색기

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

candle

파일 탐색기

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README