TensorSharp

(★ 375)

A native .NET LLM inference engine for GGUF models. TensorSharp provides a console application, a web-based chatbot interface, and Ollama/OpenAI-compatible HTTP APIs for programmatic access. It supports Windows/MacOS/Linux with full GPU capability

파일 탐색기

최종 버전 다운로드 (.zip)
  • .gitattributes
  • .gitignore
  • DEVELOPMENT.md
  • DEVELOPMENT_zh-cn.md
  • Directory.Build.props
  • Directory.Solution.props
  • docs_models_README_zh-cn.md
  • docs_models_wan_zh-cn.md
  • FEATURES.md
  • FEATURES_zh-cn.md
  • LICENSE
  • MODEL_DOWNLOADS.md
  • MODEL_DOWNLOADS_zh-cn.md
  • README.md
  • README_zh-cn.md
  • TENSOR_PARALLELISM_PLAN.md
  • TensorSharp.slnx
  • USAGE.md
  • USAGE_zh-cn.md

🚀 설치 가이드

1. 코드 내려받기
git clone https://github.com/zhongkaifu/TensorSharp

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd TensorSharp

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. CMake

보통 추천
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • CMake 빌드 설정을 생성하는 도구입니다.
  • C/C++ 컴파일러 Windows는 Visual Studio(Community 무료), macOS는 Xcode Command Line Tools, Linux는 gcc/g++ 패키지가 필요합니다.
cd TensorSharp.Backends.MLX/Native

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

mkdir build && cd build

빌드 결과물을 담을 폴더를 만들고 그 안으로 이동합니다.

cmake ..

소스코드를 분석해 빌드 설정 파일을 생성합니다 (build 폴더 안에서 실행해야 함).

make

생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.

✅ build 폴더 안에 실행 파일이 생성됐는지 확인하고, 직접 실행해보세요 (예: ./build/앱이름).

3. .NET

보통
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • .NET SDK dotnet 명령어를 쓰기 위한 SDK입니다.
dotnet --list-sdks

이 명령어를 터미널에 그대로 입력해 실행하세요.

dotnet run --project TensorSharp.Cli -c Release -p:TensorSharpSkipMlxNative=true -- --model models\gemma-4-E4B-it-Q8_0.gguf --input prompt.txt --max-tokens 128 --backend ggml_cuda

프로젝트를 빌드하고 바로 실행합니다.

add-apt-repository ppa:dotnet/backports

이 명령어를 터미널에 그대로 입력해 실행하세요.

apt update && apt install dotnet-sdk-10.0

이 명령어를 터미널에 그대로 입력해 실행하세요.

dotnet build -c Release

이 명령어를 터미널에 그대로 입력해 실행하세요.

✅ dotnet run 실행 후 터미널에 나타나는 안내 메시지나 주소를 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

오늘의 추천 프로젝트

opencv ★ 90,456

오픈 소스 컴퓨터 비전 라이브러리

C++
paperclip ★ 78,484

The open-source app everyone uses to manage agents at work

TypeScript
react ★ 247,300

웹 및 네이티브 사용자 인터페이스를 만들기 위한 라이브러리입니다.

JavaScript
Deep-Live-Cam ★ 95,973

단 한 장의 이미지로 실시간 얼굴 스와프와 원클릭 비디오 딥페이크를 구현합니다.

Python
langflow ★ 153,325

Langflow는 AI 기반 에이전트와 워크플로우를 구축하고 배포하기 위한 강력한 도구입니다.

Python
skills ★ 219,156

진짜 엔지니어들을 위한 스킬. 제 `.agents` 디렉토리에서 바로 가져왔습니다.

Shell
// repository documentation