Tutel

(★ 1,010)

Tutel MoE: Optimized Mixture-of-Experts Library, Support GptOss/DeepSeek/Kimi-K2/Qwen3 using FP8/NVFP4/MXFP4

파일 탐색기

- Asymmetric-RMS-Norms.svg
- CHECKPOINT.md
- DeepSeek-V3.2.png
- DeepSeekR1-tutel-accel.png
- test_baseline.json
- test_tutel.py
- - __init__.py
  - gather.py
  - scatter.py
- - __init__.py
  - antares_ops.h
  - backend.hpp
  - custom_kernel.cpp
- - __init__.py
  - bandwidth_test.py
  - figure.svg
  - helloworld.py
  - helloworld_amp.py
  - helloworld_custom_expert_sharded.py
  - helloworld_custom_gate_expert.py
  - helloworld_ddp.py
  - helloworld_ddp_tutel.py
  - helloworld_from_scratch.py
  - helloworld_switch.py
  - moe_cifar10.py
  - moe_mnist.py
  - nccl_all_gather_v.py
  - nccl_all_to_all_v.py
  - nccl_allreduce_perf.py
  - oai_request.py
  - oai_request_stream.py
  - README.md
- - __init__.py
  - ffn.py
  - llama_ffn.py
- - __init__.py
  - cosine_top.py
  - top.py
- - __init__.py
  - communicate.py
  - fast_dispatch.py
  - jit_compiler.py
  - losses.py
  - moe_layer.py
  - overlap.py
- - __init__.py
  - gating.py
  - sparse.py
- - __init__.py
  - execl.py
  - run.py
- - __init__.py
- - __init__.py
  - patterns.py
  - solver.py
  - spmdx.py
- __init__.py
- jit.py
- moe.py
- net.py
- system.py
.gitignore
CODE_OF_CONDUCT.md
figure.svg
LICENSE
MANIFEST.in
README.md
SECURITY.md
setup.py
SUPPORT.md

1. 코드 내려받기

git clone https://github.com/microsoft/Tutel

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd Tutel

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

쉬움 추천

사전 준비물

> pip3 install -U "huggingface_hub[cli]" --upgrade

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

>   python3 -m tutel.examples.oai_request_stream --url '0.0.0.0:8000' --prompt 'Write a Python code of the Quicksort algorithm.'

파이썬 스크립트(또는 모듈)를 실행합니다.

python3 -m torch.distributed.run --nproc_per_node=8 -m tutel.examples.bandwidth_test --size_mb=256

파이썬 스크립트(또는 모듈)를 실행합니다.

python3 -m tutel.examples.helloworld --dtype=float32

파이썬 스크립트(또는 모듈)를 실행합니다.

python3 -m tutel.examples.helloworld --dtype=float32 --use_tensorcore

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.