GenieX
Run frontier LLMs and VLMs locally on Qualcomm devices across NPU, GPU, and CPU with a few lines of code
파일 탐색기
최종 버전 다운로드 (.zip)- build.md
- release.md
- SKILL.md
- SKILL.md
- settings.json
- action.yml
- action.yml
- action.yml
- action.yml
- action.yml
- action.yml
- ggml-htp-v1.cer
- README.md
- toolchain-android.Dockerfile
- toolchain-linux.Dockerfile
- bug_report.md
- feature_request.md
- pr_template.md
- release.js
- _build-android-aar.yml
- _build-cli.yml
- _build-docker.yml
- _build-python-sdist.yml
- _build-sdk.yml
- _build-toolchain-docker.yml
- _lint.yml
- _qdc-test.yml
- _test-rust.yml
- _unit-test.yml
- bench.yml
- docs-check.yml
- docs.yml
- pr-check.yml
- qcom-preflight-checks.yml
- release.yml
- stale-issues.yaml
- test.yml
- dependabot.yaml
- libomp.so
- CMakeLists.txt
- android_utils.cpp
- android_utils.h
- CMakeLists.txt
- geniex_sdk.cpp
- jni_cb.cpp
- jni_cb.h
- jniutils.cpp
- jniutils.h
- llm_bridge_jni.cpp
- model_manager_jni.cpp
- vlm_bridge_jni.cpp
- ChatMessage.kt
- ChipsetInfo.kt
- CreateInputBase.kt
- FileProgress.kt
- GenerationConfig.kt
- HubModel.kt
- HubSource.kt
- InputPluginBase.kt
- LlmApplyChatTemplateOutput.kt
- LlmCreateInput.kt
- LlmGenerateResult.kt
- LlmStreamResult.kt
- LLMTokenCallback.kt
- ModelConfig.kt
- ModelDetail.kt
- ModelPaths.kt
- ModelPullInput.kt
- ModelQuery.kt
- ModelType.kt
- PrecisionCandidate.kt
- ProfilingData.kt
- SamplerConfig.kt
- VlmCapabilities.kt
- VlmChatMessage.kt
- VlmContent.kt
- VlmCreateInput.kt
- DownloadProgressCallback.kt
- LLm.kt
- ModelManager.kt
- Vlm.kt
- GenieXSdk.kt
- LlmWrapper.kt
- ModelManagerWrapper.kt
- VlmWrapper.kt
- AndroidManifest.xml
- build.gradle.kts
- gradle-wrapper.jar
- gradle-wrapper.properties
- libs.versions.toml
- .gitignore
- build.gradle.kts
- gradle.properties
- gradlew
- gradlew.bat
- pom.xml
- README.md
- settings.gradle.kts
- BUILD.bazel
- common.go
- common_test.go
- crash_handler.c
- device.go
- go.mod
- helpers.go
- llm.go
- ml.go
- model_manager.go
- vlm.go
- __init__.py
- _api.py
- _lib.py
- _types.py
- __init__.py
- config.py
- output.py
- streamer.py
- __init__.py
- _progress.py
- _version.py
- auto.py
- cli.py
- model_manager.py
- modeling.py
- tokenizer.py
- test_cli_load_banner.py
- test_ensure_cached.py
- test_error_messages.py
- test_modeling_decode.py
- test_qairt_coerce.py
- test_quant_validation.py
- test_sdk_variant.py
- __init__.py
- conftest.py
- test_cli.py
- test_local_aihub_pull.py
- test_model_manager.py
- test_progress.py
- .gitignore
- _geniex_backend.py
- _sdk_fetch.py
- _shared_setup.py
- BUILD.bazel
- BUILD.md
- LICENSE
- MANIFEST.in
- pyproject.toml
- README.md
- setup.py
- .gitignore
- setup.py
- .gitignore
- setup.py
- sync_siblings.py
- BUILD.bazel
- console_other.go
- console_windows.go
- error.go
- error_test.go
- log.go
- process.go
- process_test.go
- repl.go
- sdk.go
- util_linux.go
- util_windows.go
- BUILD.bazel
- config.go
- help.go
- infer.go
- infer_test.go
- main.go
- model.go
- model_test.go
- run.go
- serve.go
- update.go
- version.go
- BUILD.bazel
- compute.go
- compute_test.go
- config.go
- config_test.go
- BUILD.bazel
- http.go
- http_test.go
- action.go
- buffer.go
- BUILD.bazel
- history.go
- package_test.go
- readline.go
- terminal.go
- terminal_linux.go
- terminal_windows.go
- BUILD.bazel
- package_test.go
- record.go
- stream_record.go
- BUILD.bazel
- progressbar.go
- spinner.go
- theme.go
- theme_test.go
- BUILD.bazel
- config.go
- manager.go
- package_test.go
- BUILD.bazel
- capture.go
- BUILD.bazel
- thinkfsm.go
- thinkfsm_test.go
- BUILD.bazel
- check.sh
- dedup_tar.bzl
- entrypoint.sh
- install.sh
- trixie.lock.json
- trixie.yaml
- BUILD.bazel
- geniex-cli-setup.iss
- geniex.ico
- iscc.bzl
- iss_manifest.bzl
- favicon-16x16.png
- favicon-32x32.png
- index.css
- index.html
- oauth2-redirect.html
- swagger-initializer.js
- swagger-ui-bundle.js
- swagger-ui-es-bundle-core.js
- swagger-ui-es-bundle.js
- swagger-ui-standalone-preset.js
- swagger-ui.css
- swagger-ui.js
- BUILD.bazel
- package_test.go
- swagger.go
- swagger.yaml
- BUILD.bazel
- chat.go
- chat_messages.go
- chat_response.go
- chat_stream.go
- chat_test.go
- chat_token.go
- completion.go
- completion_test.go
- logits.go
- model.go
- auth.go
- BUILD.bazel
- cors.go
- gil.go
- gil_test.go
- package_test.go
- BUILD.bazel
- keepalive.go
- keepalive_test.go
- service.go
- BUILD.bazel
- model.go
- BUILD.bazel
- common.go
- common_test.go
- toolcall.go
- toolcall_gemma4.go
- toolcall_gemma4_test.go
- toolcall_test.go
- BUILD.bazel
- route.go
- server.go
- server_test.go
- BUILD.bazel
- go.mod
- go.sum
- README.md
- README_zh.md
- platforms.mdx
- quickstart.mdx
- what-is-geniex.mdx
- supported.mdx
- faq.mdx
- troubleshooting.mdx
- api-reference.mdx
- install.mdx
- quickstart.mdx
- install.mdx
- local-server.mdx
- quickstart.mdx
- reference.mdx
- install.mdx
- api-reference.mdx
- install.mdx
- quickstart.mdx
- platforms.mdx
- quickstart.mdx
- what-is-geniex.mdx
- supported.mdx
- faq.mdx
- troubleshooting.mdx
- api-reference.mdx
- install.mdx
- quickstart.mdx
- install.mdx
- local-server.mdx
- quickstart.mdx
- reference.mdx
- install.mdx
- api-reference.mdx
- install.mdx
- quickstart.mdx
- audio-input.mdx
- speculative-decoding-mtp.mdx
- thumbs-down.svg
- thumbs-up.svg
- qdc-1.png
- qdc-2.png
- qdc-3.png
- curl-1.png
- curl-2.png
- curl-3.png
- curl-4.png
- curl-5.png
- updateStars.js
- GenieX-Logo-Icon-Black.png
- GenieX-Logo-Icon-White.png
- geniex_arch.png
- geniex_arch_v2.png
- page-feedback.mdx
- .gitignore
- docs.json
- README.md
- style.css
- windows.ipynb
- AI.md
- bench.md
- build.md
- README.md
- release.md
- run.md
- BUILD.bazel
- cgo_test.bzl
- multirun.bzl
- runfiles_symlink.bzl
- run_linux.sh
- sample_prompt_1024.txt
- sample_prompt_4096.txt
- sample_prompt_512.txt
- conftest.py
- requirements.txt
- test_bench.py
- utils.py
- run_windows.ps1
- _qdc.py
- bench-models.json
- run_qdc_jobs.py
- benchmark.c
- CMakeLists.txt
- README.md
- arm64-android-llvm-cpu.cmake
- arm64-android-llvm.cmake
- arm64-linux-gnu-cpu.cmake
- arm64-linux-gnu.cmake
- arm64-windows-llvm.cmake
- args.h
- base.h
- chrono.h
- color.h
- compile.h
- core.h
- format-inl.h
- format.h
- os.h
- ostream.h
- printf.h
- ranges.h
- std.h
- xchar.h
- date.h
- httplib.h
- json.hpp
- ILlm.h
- IVlm.h
- Plugin.h
- build_config.h
- geniex.h
- image_utils.h
- logging.h
- profile.h
- registry.h
- utils.h
- bench_pull.rs
- README.md
- chunk.rs
- mod.rs
- detect.rs
- dto.rs
- mod.rs
- remote_zip.rs
- selector.rs
- dockerhub.rs
- hf.rs
- localfs.rs
- mod.rs
- config.rs
- error.rs
- lib.rs
- logging.rs
- manifest.rs
- manifest_builder.rs
- mapping.rs
- pull.rs
- query.rs
- resume.rs
- store.rs
- transport.rs
- validation.rs
- go_manifest.json
- ai_hub_latest_version.rs
- ai_hub_live.rs
- ai_hub_pull.rs
- compat.rs
- executor.rs
- hf_live.rs
- local_aihub_pull.rs
- proxy_smoke.rs
- pull_resume.rs
- Cargo.toml
- chipset.rs
- hub_models.rs
- init.rs
- lib.rs
- logging.rs
- mapping.rs
- pull.rs
- query.rs
- store.rs
- types.rs
- Cargo.toml
- geniex_model.h
- geniex_model.ld
- .gitignore
- Cargo.lock
- Cargo.toml
- .gitattributes
- llama-hexagon-release-sessions.patch
- llama-opencl-adreno-cpy-constreg.patch
- htp_session.h
- llm.h
- params.h
- profiler.h
- threadpool.h
- vlm.h
- CMakeLists.txt
- htp_session.cpp
- llm.cpp
- params.cpp
- plugin.cpp
- profiler.cpp
- threadpool.cpp
- vlm.cpp
- CMakeLists.txt
- llm.h
- path_utils.h
- qnn_runtime_utils.h
- sampler_config_utils.h
- vlm.h
- CMakeLists.txt
- llm.cpp
- log_filter.cpp
- plugin.cpp
- vlm.cpp
- CMakeLists.txt
- CMakeLists.txt
- CMakeLists.txt
- device.cpp
- error.cpp
- llm.cpp
- logging_bridge.cpp
- ml.cpp
- registry.cpp
- utils.cpp
- version.cpp
- vlm.cpp
- .gitignore
- BUILD.bazel
- CMakeLists.txt
- CMakePresets.json
- README.md
- NOTICE.md
- quality_dog.jpg
- android_deploy.py
- conftest.py
- requirements.txt
- test_run_device.py
- run_pytest.sh
- run_pytest.ps1
- run_qdc_pytest.py
- _models.py
- _quality_data.py
- conftest.py
- models.json
- pytest.ini
- README.md
- ruff.toml
- test_api.py
- test_llama_cpp.py
- test_qairt.py
- geniex-qairt
- llama.cpp
- .bazelignore
- .bazelrc
- .bazelversion
- .clang-format
- .gitignore
- .gitmodules
- .mailmap
- BUILD.bazel
- CLAUDE.md
- CODE-OF-CONDUCT.md
- CODEOWNERS
- CONTRIBUTING.md
- GenieX-Logo-Hor-1-Black.png
- GenieX-Logo-Hor-1-White.png
- LICENSE
- MODULE.bazel
- MODULE.bazel.lock
- NOTICE
- README.md
- README_zh-CN.md
- repolint.json
- SECURITY.md
🚀 설치 가이드
1. 코드 내려받기
git clone https://github.com/qualcomm/GenieX
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd GenieX
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. 공식 설치 스크립트
쉬움 추천사전 준비물
- Python 3 pip 명령어를 쓰려면 Python이 필요합니다.
curl -fsSL https://qaihub-public-assets.s3.us-west-2.amazonaws.com/qai-hub-geniex/install.sh | sh
공식 설치 스크립트를 다운로드해서 바로 실행합니다. 이 한 줄로 필요한 게 자동으로 설치됩니다.
pip install geniex
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
3. CMake
보통사전 준비물
cd bindings/android/app/src/main/cpp
이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.
mkdir build && cd build
빌드 결과물을 담을 폴더를 만들고 그 안으로 이동합니다.
cmake ..
소스코드를 분석해 빌드 설정 파일을 생성합니다 (build 폴더 안에서 실행해야 함).
make
생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.
build 폴더 안에 실행 파일이 생성됐는지 확인하고, 직접 실행해보세요 (예: ./build/앱이름).
4. Maven (Java)
보통사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- JDK (Java) Java 프로젝트를 빌드/실행하려면 필요합니다.
- Maven mvn 명령어를 쓰기 위한 빌드 도구입니다.
cd bindings/android
이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.
mvn clean install
Maven으로 의존성 설치와 빌드를 진행합니다.
BUILD SUCCESS 메시지가 뜨면 성공입니다. target/ 폴더에 결과물이 생성됩니다.
5. Gradle (Java/Kotlin)
보통사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- JDK (Java) Java/Kotlin 프로젝트를 빌드/실행하려면 필요합니다.
- Gradle 레포에 포함된 gradlew(Gradle Wrapper)를 쓰면 Gradle을 따로 설치할 필요가 없습니다.
cd bindings/android/app
이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.
./gradlew build
Gradle로 빌드를 진행합니다.
BUILD SUCCESSFUL 메시지가 뜨면 성공입니다. build/ 폴더에 결과물이 생성됩니다.
6. Python
쉬움사전 준비물
pip install geniex
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
7. Go
보통cd bindings/go
이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.
go build ./...
Go 프로그램을 컴파일해 실행 파일을 만듭니다.
go run .
따로 빌드하지 않고 바로 Go 프로그램을 실행합니다.
빌드가 에러 없이 끝나면 성공입니다. go run . 을 썼다면 터미널 출력을 확인하세요.
8. Rust
보통사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Rust (rustup) rustup으로 설치하면 cargo도 함께 설치됩니다.
cd sdk/model-manager
이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.
cargo build --release
Rust 프로젝트를 컴파일합니다.
cargo run
빌드 후 바로 실행까지 진행합니다.
cargo build가 에러 없이 끝나면 성공입니다. target/ 폴더에 실행 파일이 생성됩니다.
// repository documentation
Was this content helpful?
(0 ratings)