MNN

KO | EN

gitlite — search

#javascript #python #hacktoberfest #react #ai #typescript #llm #go #golang #android #machine-learning #rust #deep-learning #linux

(★ 15,883)

MNN: 알리바바(Alibaba)의 실전 검증을 거친 초고속 경량 추론 엔진으로, 고성능 온디바이스 LLM 및 엣지 AI(Edge AI)를 구동합니다.

MNN 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

![MNN](https://raw.githubusercontent.com/alibaba/MNN/master/doc/banner.png)
---
[![License](https://img.shields.io/github/license/alibaba/MNN)](https://raw.githubusercontent.com/alibaba/MNN/master/LICENSE.txt)
[![Documentation](https://img.shields.io/badge/Documentation-Read-green)](https://mnn-docs.readthedocs.io/en/latest/)
[![簡體中文版本](https://img.shields.io/badge/Language-%E7%AE%80%E4%BD%93%E4%B8%AD%E6%96%87-green)](https://raw.githubusercontent.com/alibaba/MNN/master/README\_CN.md)
[![繁體中文版本](https://img.shields.io/badge/Language-%E7%B9%81%E9%AB%94%E4%B8%AD%E6%96%87-green)](https://raw.githubusercontent.com/alibaba/MNN/master/README\_TW.md)
[![日本語バージョン](https://img.shields.io/badge/Language-%E6%97%A5%E6%9C%AC%E8%AA%9E-green)](https://raw.githubusercontent.com/alibaba/MNN/master/README\_JP.md)
[![MNN Homepage](https://img.shields.io/badge/Homepage-Visit-green)](http://www.mnn.zone)
[![zread](https://img.shields.io/badge/Zread-ask-green)](https://zread.ai/alibaba/MNN)
[![MNN Chat App](https://img.shields.io/badge/Apps-MNN\_Chat-blue)](https://raw.githubusercontent.com/alibaba/MNN/master/apps/Android/MnnLlmChat/README.md)
[![TaoAvatar](https://img.shields.io/badge/Apps-MNN\_TaoAvatar-blue)](https://raw.githubusercontent.com/alibaba/MNN/master/apps/Android/Mnn3dAvatar/README.md)
[![Sana](https://img.shields.io/badge/Apps-Sana\_Image\_Edit-blue)](https://raw.githubusercontent.com/alibaba/MNN/master/apps/sana/README.md)
## 소식 🔥
- [2026/07/22] 새로운 🚀 Hexagon 백엔드가 포함된 MNN 3.6.1이 출시되어 Qualcomm Hexagon DSP에서 모델 추론 가속이 가능해졌습니다. [자세히 알아보기](./source/backend/hexagon/README.md).
 이전 소식 
- [2026/03/05] Qwen3.5 시리즈 지원.

![Icon](https://meta.alicdn.com/data/mnn/assets/qwen35_1.jpg)
![Icon](https://meta.alicdn.com/data/mnn/assets/qwen35_2.jpg)
![Icon](https://meta.alicdn.com/data/mnn/assets/qwen35_3.jpg)

- [2026/02/13] 이제 [apps](./apps/sana/README.md)에서 MNN-Sana-Edit-V2를 사용할 수 있으며, Sana를 기반으로 한 카툰 스타일 사진 편집 기능을 제공합니다.

![Icon](https://meta.alicdn.com/data/mnn/assets/sana_show_case.jpg)

- [2025/10/16] Qwen3-VL 시리즈 지원.
- [2025/06/11] 새로운 앱인 MNN TaoAvatar가 출시되었습니다. LLM, ASR, TTS, A2BS 및 NNR 모델이 모두 기기에서 로컬로 실행되는 상태로 3DAvatar와 오프라인으로 대화할 수 있습니다!! [MNN TaoAvatar](./apps/Android/Mnn3dAvatar/README.md)

![Icon](https://meta.alicdn.com/data/mnn/avatar/avatar_demo.gif)

- [2025/05/12] 안드로이드 앱에서 qwen2.5 omni 3b 및 7b 지원 [MNN Chat App](./apps/Android/MnnLlmChat/README.md#releases).

![Icon](./apps/Android/MnnLlmChat/assets/image_home_new.jpg)
![Icon](./apps/Android/MnnLlmChat/assets/image_sound_new.jpg)
![Icon](./apps/Android/MnnLlmChat/assets/image_image_new.jpg)

- [2025/04/30] 안드로이드 앱에서 qwen3 및 다크 모드 지원 [MNN Chat App](./apps/Android/MnnLlmChat/README.md#releases).

![Icon](https://meta.alicdn.com/data/mnn/qwen_3.gif)

- [2025/02/18] iOS 멀티모달 LLM 앱 출시 [MNN LLM iOS](./apps/iOS/MNNLLMChat/README.md).

![Icon](./apps/iOS/MNNLLMChat/assets/introduction.gif)

- [2025/02/11] 안드로이드 앱에서 [deepseek r1 1.5b](./project/android/apps/MnnLlmApp/README.md#version-021) 지원.

![Icon](./apps/Android/MnnLlmChat/assets/deepseek_support.gif)

- [2025/01/23] 완전한 멀티모달 LLM 안드로이드 앱인 [MNN-LLM-Android](./apps/Android/MnnLlmChat/README.md)를 출시했습니다. 텍스트-텍스트, 이미지-텍스트, 오디오-텍스트, 텍스트-이미지 생성을 포함합니다.

![Icon](./apps/Android/MnnLlmChat/assets/image_home_new.jpg)
![Icon](./apps/Android/MnnLlmChat/assets/image_diffusion_new.jpg)
![Icon](./apps/Android/MnnLlmChat/assets/image_sound_new.jpg)
![Icon](./apps/Android/MnnLlmChat/assets/image_image_new.jpg)

## 소개
MNN은 매우 효율적이고 가벼운 딥러닝 프레임워크입니다. 딥러닝 모델의 추론과 학습을 지원하며, 온디바이스(on-device) 추론 및 학습 분야에서 업계 최고 수준의 성능을 자랑합니다. 현재 MNN은 타오바오, 티몰, 유쿠, 딩톡, 闲鱼(Xianyu) 등 알리바바 그룹의 30개 이상의 앱에 통합되어 있으며, 라이브 방송, 숏폼 비디오 캡처, 검색 추천, 이미지 검색, 인터랙티브 마케팅, 자산 분배, 보안 위험 제어 등 70개 이상의 사용 시나리오를 아우르고 있습니다. 또한 MNN은 IoT와 같은 임베디드 기기에서도 사용됩니다.
[MNN-LLM](./transformers/README.md)은 MNN 엔진을 기반으로 개발된 대형 언어 모델 런타임 솔루션입니다. 이 프로젝트의 목적은 모든 사람의 플랫폼(휴대폰/PC/IOT)에서 로컬로 LLM 모델을 배포하는 것입니다. Qianwen, Baichuan, Zhipu, LLAMA 등 널리 사용되는 대형 언어 모델을 지원합니다. [MNN-LLM User guide](https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html)
[MNN-Diffusion](https://github.com/alibaba/MNN/tree/master/transformers/diffusion)은 MNN 엔진을 기반으로 개발된 스테이블 디퓨전 모델 런타임 솔루션입니다. 이 프로젝트의 목적은 모든 사람의 플랫폼에서 로컬로 스테이블 디퓨전 모델을 배포하는 것입니다. [MNN-Diffusion User guide](https://mnn-docs.readthedocs.io/en/latest/transformers/diffusion.html)
![architecture](https://raw.githubusercontent.com/alibaba/MNN/master/doc/architecture.png)
알리바바 내부에서 [MNN](https://mp.weixin.qq.com/s/5I1ISpx8lQqvCS8tGd6EJw)은 최고 시스템 학회인 OSDI’22에 채택된, 최초의 엔드투엔드 범용 대규모 디바이스-클라우드 협업 머신러닝 프로덕션 시스템인 [Walle](https://mp.weixin.qq.com/s/qpeCETty0BqqNJV9CMJafA) 시스템의 연산 컨테이너 기본 모듈로 작동합니다. MNN의 주요 설계 원칙과 광범위한 벤치마크 테스트 결과(TensorFlow, TensorFlow Lite, PyTorch, PyTorch Mobile, TVM 대비)는 OSDI 논문에서 확인할 수 있습니다. 벤치마크 테스트를 위한 스크립트와 지침은 “/benchmark” 경로에 있습니다. MNN 또는 Walle의 설계가 연구나 프로덕션에 도움이 된다면, 다음과 같이 OSDI 논문을 인용해 주시기 바랍니다.
@inproceedings {proc:osdi22:walle,
author = {Chengfei Lv and Chaoyue Niu and Renjie Gu and Xiaotang Jiang and Zhaode Wang and Bin Liu and Ziqi Wu and Qiulin Yao and Congyu Huang and Panos Huang and Tao Huang and Hui Shu and Jinde Song and Bin Zou and Peng Lan and Guohuan Xu and Fei Wu and Shaojie Tang and Fan Wu and Guihai Chen},
title = {Walle: An {End-to-End}, {General-Purpose}, and {Large-Scale} Production System for {Device-Cloud} Collaborative Machine Learning},
booktitle = {16th USENIX Symposium on Operating Systems Design and Implementation (OSDI 22)},
year = {2022},
isbn = {978-1-939133-28-1},
address = {Carlsbad, CA},
pages = {249--265},
url = {https://www.usenix.org/conference/osdi22/presentation/lv},
publisher = {USENIX Association},
month = jul,
}
## 문서 및 워크벤치
MNN의 문서는 [Read the docs](https://mnn-docs.readthedocs.io/en/latest)에서 확인할 수 있습니다.
또한 docs/README를 읽고 문서의 HTML을 빌드할 수 있습니다.
MNN 워크벤치는 [MNN's homepage](http://www.mnn.zone)에서 다운로드할 수 있으며, 사전 학습된 모델, 시각화된 학습 도구, 그리고 기기로의 원클릭 모델 배포 기능을 제공합니다.
## 주요 특징
### 경량화
- 기기에 최적화되어 있고 종속성이 없으며, 모바일 기기 및 다양한 임베디드 기기에 쉽게 배포할 수 있습니다.
- iOS 플랫폼: armv7+arm64 플랫폼을 위한 전체 옵션 적용 시 정적 라이브러리 크기는 약 12MB이며, 링크된 실행 파일의 크기 증가분은 약 2MB입니다.
- Android 플랫폼: 코어 so 파일 크기는 약 800KB (armv7a - c++\_shared)입니다.
- MNN\_BUILD\_MINI를 사용하면 고정된 모델 입력 크기 제한과 함께 패키지 크기를 약 25% 줄일 수 있습니다.
- FP16 / Int8 양자화를 지원하여 모델 크기를 50%~70% 줄일 수 있습니다.
### 범용성
- `Tensorflow`, `Caffe`, `ONNX`, `Torchscripts`를 지원하며 `CNN`, `RNN`, `GAN`, `Tra` 등 일반적인 신경망을 지원합니다.

nsformer`.
- 멀티 입력 또는 멀티 출력, 모든 종류의 차원 포맷, 동적 입력, 제어 흐름을 지원하는 AI 모델을 지원합니다.
- MNN은 AI 모델에 사용되는 거의 모든 연산자(OP)를 지원합니다. 변환기는 178개의 `Tensorflow` 연산자, 52개의 `Caffe` 연산자, 163개의 `Torchscripts` 연산자, 158개의 `ONNX` 연산자를 지원합니다.
- iOS 8.0+, Android 4.3+, 그리고 POSIX 인터페이스를 갖춘 임베디드 장치를 지원합니다.
- 여러 장치에서의 하이브리드 컴퓨팅을 지원합니다. 현재 CPU와 GPU를 지원합니다.
### 고성능
- ARM / x64 CPU를 최대한 활용할 수 있도록 최적화된 어셈블리 코드로 핵심 연산을 구현했습니다.
- Metal / OpenCL / Vulkan을 사용하여 모바일에서의 GPU 추론을 지원합니다.
- 더 나은 성능을 위해 CUDA와 tensorcore를 사용하여 NVIDIA GPU를 지원합니다.
- 컨볼루션 및 전치 컨볼루션 알고리즘이 효율적이고 안정적입니다. Winograd 컨볼루션 알고리즘은 3x3, 4x4, 5x5, 6x6, 7x7과 같은 대칭 컨볼루션을 더 잘 처리하기 위해 널리 사용됩니다.
- FP16 반정밀도 계산을 지원하는 새로운 아키텍처 ARM v8.2에서 속도가 2배 향상되었습니다. ARM v8.2 및 VNNI용 sdot을 사용하면 2.5배 빨라집니다.
### 사용 편의성
- numpy처럼 수치 계산을 수행하는 MNN 연산자 사용을 지원합니다.
- 100k에 불과한 OpenCV와 같은 경량 이미지 처리 모듈을 지원합니다.
- PC / 모바일에서 모델 구축 및 학습을 지원합니다.
- MNN Python API는 ML 엔지니어가 C++ 코드를 깊게 파고들지 않고도 MNN을 사용하여 쉽게 추론, 학습 및 이미지 처리를 할 수 있도록 돕습니다.
MNN이 지원하는 아키텍처 / 정밀도는 다음과 같습니다:
- S: 지원하며 잘 작동함, 깊이 최적화됨, 사용 권장
- A: 지원하며 잘 작동함, 사용 가능
- B: 지원하지만 버그가 있거나 최적화되지 않음, 사용 권장하지 않음
- C: 미지원
| 아키텍처 / 정밀도 | | Normal | FP16 | BF16 | Int8 |
| --- | --- | --- | --- | --- | --- |
| CPU | Native | B | C | B | B |
| | x86/x64-SSE4.1 | A | C | C | A |
| | x86/x64-AVX2 | S | C | C | A |
| | x86/x64-AVX512 | S | C | C | S |
| | ARMv7a | S | S (ARMv8.2) | S | S |
| | ARMv8 | S | S (ARMv8.2) | S(ARMv8.6) | S |
| GPU | OpenCL | A | S | C | S |
| | Vulkan | A | A | C | A |
| | Metal | A | S | C | S |
| | CUDA | A | S | C | A |
| NPU | CoreML | A | C | C | C |
| | HIAI | A | C | C | C |
| | NNAPI | B | B | C | B |
| | QNN | C | B | C | C |
## 도구
MNN(Tensor compute engine)을 기반으로 추론, 학습 및 일반 연산을 위한 일련의 도구를 제공합니다.
- MNN-Converter: Tensorflow(lite), Caffe, ONNX, Torchscripts 등 다른 모델을 MNN 모델로 변환하여 추론합니다. 또한 연산을 줄이기 위해 그래프 최적화를 수행합니다.
- MNN-Compress: 크기를 줄이고 성능/속도를 높이기 위해 모델 압축
- MNN-Express: 제어 흐름이 있는 모델을 지원하고 MNN의 연산자를 사용하여 범용 컴퓨팅 수행
- MNN-CV: OpenCV와 유사한 라이브러리이지만 MNN 기반으로 훨씬 더 경량화됨
- MNN-Train: MNN 모델 학습 지원
## MNN 커뮤니티에서 토론하고 도움을 받는 방법
토론 그룹은 주로 중국어로 진행됩니다. 하지만 영어 사용자도 환영하며 도움을 드립니다.
딩톡(Dingtalk) 토론 그룹:
그룹 #4 (사용 가능): 160170007549
그룹 #3 (가득 참)
그룹 #2 (가득 참): 23350225
그룹 #1 (가득 참): 23329087
## 과거 논문
수동 최적화에 중점을 둔 모바일 추론 엔진으로서의 MNN 예비 버전은 MLSys 2020에도 게재되었습니다. MNN이 이전에 연구에 도움이 되었다면 논문을 인용해 주세요:
@inproceedings{alibaba2020mnn,
author = {Jiang, Xiaotang and Wang, Huan and Chen, Yiliu and Wu, Ziqi and Wang, Lichuan and Zou, Bin and Yang, Yafeng and Cui, Zongyang and Cai, Yu and Yu, Tianhang and Lv, Chengfei and Wu, Zhihua},
title = {MNN: A Universal and Efficient Inference Engine},
booktitle = {MLSys},
year = {2020}
}
## 라이선스
Apache 2.0
## 감사의 글
MNN 참여자: 타오바오 기술부, 검색 엔지니어링 팀, DAMO 팀, 요쿠 및 기타 알리바바 그룹 임직원.
MNN은 다음 프로젝트를 참고했습니다:
- [Caffe](https://github.com/BVLC/caffe)
- [flatbuffer](https://github.com/google/flatbuffers)
- [gemmlowp](https://github.com/google/gemmlowp)
- [Google Vulkan demo](http://www.github.com/googlesa

mples/android-vulkan-tutorials)
- [Halide](https://github.com/halide/Halide)
- [Mace](https://github.com/XiaoMi/mace)
- [ONNX](https://github.com/onnx/onnx)
- [protobuffer](https://github.com/protocolbuffers/protobuf)
- [skia](https://github.com/google/skia)
- [Tensorflow](https://github.com/tensorflow/tensorflow)
- [ncnn](https://github.com/Tencent/ncnn)
- [paddle-mobile](https://github.com/PaddlePaddle/paddle-mobile)
- [stb](https://github.com/nothings/stb)
- [rapidjson](https://github.com/Tencent/rapidjson)
- [pybind11](https://github.com/pybind/pybind11)
- [pytorch](https://github.com/pytorch/pytorch)
- [bolt](https://github.com/huawei-noah/bolt)
- [libyuv](https://chromium.googlesource.com/libyuv/libyuv)
- [libjpeg](https://github.com/libjpeg-turbo/libjpeg-turbo)
- [opencv](https://github.com/opencv/opencv)
- [onnxruntime](https://github.com/microsoft/onnxruntime)

MNN

MNN 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

MNN

MNN 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README