MNN 全面解读阿里轻量级深度学习引擎的架构、特性与工具生态【免费下载链接】MNNMNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.项目地址: https://gitcode.com/GitHub_Trending/mn/MNNMNN 是阿里巴巴开源的轻量级深度神经网络推理与训练引擎当前仓库版本为 3.6.1见 MNNDefine.h。本文基于官方介绍文档 docs/intro/about.md 展开系统梳理 MNN 的设计理念、整体架构、轻量性/通用性/高性能/易用性四大特点、硬件与精度支持矩阵以及 Converter、Compress、Express、CV、Train 五大工具并结合仓库源码给出对应的实现位置帮助读者快速建立对 MNN 的整体认知并定位到感兴趣的模块继续深入。定位端侧 AI 的“计算容器”MNN 的定位是一个轻量级的深度神经网络引擎支持深度学习的推理与训练适用于服务器、个人电脑、手机、嵌入式等各类设备。官方文档给出的核心事实包括已在阿里巴巴的手机淘宝、手机天猫、优酷等 30 多个 App 中使用覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景英文 README 中还提到钉钉、闲鱼以及 IoT 嵌入式设备在阿里巴巴内部MNN 被用作 Walle 系统中计算容器的基础模块。Walle 是首个端到端、通用型、规模化产业应用的端云协同机器学习系统发表于操作系统顶会 OSDI 2022该文档明确说明 MNN 的关键设计理念与相对于 TensorFlow、TensorFlow Lite、PyTorch、PyTorch Mobile、TVM 的 benchmark 测试细节以 OSDI 论文为准仓库中的 benchmark 目录则提供了对应的测试脚本、模型与历史结果。若 MNN 或 Walle 的设计对研究或生产有所帮助可引用 OSDI 论文BibTeX 原文见 about.mdinproceedings {proc:osdi22:walle, author {Chengfei Lv and Chaoyue Niu and Renjie Gu and Xiaotang Jiang and Zhaode Wang and Bin Liu and Ziqi Wu and Qiulin Yao and Congyu Huang and Panos Huang and Tao Huang and Hui Shu and Jinde Song and Bin Zou and Peng Lan and Guohuan Xu and Fei Wu and Shaojie Tang and Fan Wu and Guihai Chen}, title {Walle: An {End-to-End}, {General-Purpose}, and {Large-Scale} Production System for {Device-Cloud} Collaborative Machine Learning}, booktitle {16th USENIX Symposium on Operating Systems Design and Implementation (OSDI 22)}, year {2022}, isbn {978-1-939133-28-1}, address {Carlsbad, CA}, pages {249--265}, publisher {USENIX Association}, month jul, }从仓库结构看这套“推理引擎 端侧大模型运行时”的组合在代码中体现得非常清楚source/下是引擎主体core、backend、geometry、shape、cv 等transformers/ 下则是在 MNN 引擎之上构建的 MNN-LLM大语言模型运行时与 MNN-Diffusion稳定扩散运行时二者均声明“将模型本地部署到每个人的设备上手机/PC/IOT”。版本发布与工作台版本发布记录以仓库官方 GitHub Releases 为准原文档中的外链此处不再重复。当前源码版本号为 3.6.1README 的 News 区记录了最新动态例如 2026/07/22 发布的 3.6.1 新增了 Hexagon 后端可在高通 Hexagon DSP 上加速模型推理对应实现位于 source/backend/hexagonMNN 工作台官网提供 MNN 工作台下载涵盖开箱即用模型、可视化训练等工具支持一键部署到多端设备工作台为外部资源仓库内不含其安装包仅 README 与 about.md 有介绍。整体架构一次推理经历哪些阶段上图about.md 引用的架构图展示了 MNN 的内部层次。结合 docs/start/overall.md 的“使用 MNN 整体流程”可以将其归纳为三个阶段这与架构图的层次一一对应训练在 TensorFlow、PyTorch 等成熟训练框架上训练模型MNN 自身也提供端侧训练/调优能力见后文 MNN-Train转换通过 MNN-Converter 将 TF(TFLite) / Caffe / ONNX / TorchScript 模型转为 MNN 模型并进行图优化推理在端侧加载 MNN 模型执行推荐高层的 Module API支持控制流也可用低层 Session API。在源码层面这一“图 → 运行时”的分工清晰可见source/core引擎核心包含 Pipeline、Session、Schedule、Backend、BufferAllocator 等模块负责会话管理、内存分配与算子调度source/geometry几何计算层处理 reshape、concat、broadcast 等形状变换类算子source/shape形状推断shape inference支撑动态输入source/backend各硬件后端实现详见下一节expressMNN-Express 表达式与控制流运行时tools/converter模型转换器其source/目录下按框架划分了tensorflow/、tflite/、caffe/、onnx/、torch/五个前端以及optimizer/图优化 Pass 管理器含 TestPassManager.cpp 测试与compression/。整体特点官方文档将 MNN 的特点归纳为轻量性、通用性、高性能、易用性四个方面下面逐一说明并在可行处给出仓库内的对应实现。轻量性主体功能模型推理 CPUGPU无任何依赖代码精简可部署到移动设备和各种嵌入式设备iOS 平台功能全开的 MNN 静态库 armv7arm64 约 12MB链接生成可执行文件增加约 2MB裁剪主体功能后静态库 6.1M链接增加 600KBAndroid 平台主体功能 armv7ac_shared动态库约 800KB支持采用Mini 构建选项进一步降低包大小大约能在上述库体积基础上再降低 25% 左右支持模型 FP16/Int8 压缩与量化可减少模型 50%–75% 的体积。从 CMakeLists.txt 的源码看Mini 选项的落地方式非常直接option(MNN_SKIPBUILD_GEOMETRY Skip Build MNN-Geometry, then only supports fixed shape models. OFF) option(MNN_BUILD_MINI Build minimal MNN so, set MNN_SKIPBUILD_GEOMETRY and MNN_REDUCE_SIZE ON OFF) ... if (MNN_BUILD_MINI) set(MNN_SKIPBUILD_GEOMETRY ON CACHE BOOL docstring FORCE) set(MNN_REDUCE_SIZE ON CACHE BOOL docstring FORCE) endif()也就是说MNN_BUILD_MINION会强制同时打开MNN_SKIPBUILD_GEOMETRY跳过几何计算层代价是仅支持固定形状模型与MNN_REDUCE_SIZE移除不常用算子并精简代码见 CMakeLists.txt它还会关闭MNN_SUPPORT_DEPRECATED_OP、MNN_SUPPORT_QUANT_EXTEND、MNN_USE_SPARSE_COMPUTE。量化压缩则由 tools/quantization 实现docs/tools/quant.md 与 docs/tools/compress.md 给出了具体用法。通用性支持 Tensorflow、Caffe、ONNX、TorchScript 等主流模型文件格式支持 CNN / RNN / GAN / Transformer 等主流网络结构支持多输入多输出、任意维度的输入输出、动态输入输入大小可变、带控制流的模型算子覆盖178 个 Tensorflow Op、52 个 Caffe Op、163 个 TorchScript Op、158 个 ONNX OpONNX 基本完整支持支持服务器 / 个人电脑 / 手机及具有 POSIX 接口的嵌入式设备支持设备的 CPU / GPU 计算支持部分设备的 NPU 计算iOS 11 CoreML / Huawei HIAI / Android NNAPI支持 Windows / iOS 8.0 / Android 4.3 / Linux 及具有 POSIX 接口的操作系统。模型格式的“前端”支持直接对应 tools/converter 的目录结构source/tensorflow、source/tflite、source/caffe、source/onnx、source/torch。而“控制流 自定义计算”的能力则实现在 express 模块中其中 IfModule、WhileModule 对应 if/while 控制流Module 提供了子图复用的高层接口。高性能对 iOS / Android / PC / Server 的 CPU 架构进行了适配编写 SIMD 代码或手写汇编实现核心运算单线程下运行常见 CV 模型接近设备算力峰值支持基于 Metal / OpenCL / Vulkan 使用移动端 GPU 推理支持基于 CUDA 使用 PC / Server 上的 NVIDIA GPU 更快推理广泛运用 Winograd 卷积算法提升卷积性能首次在业界工程实践中实现转置卷积的 Winograd 优化与矩阵乘的 Strassen 算法优化并取得加速效果支持低精度计算int8 / fp16 / bf16以提升推理性能并对 ARMv8.2 和 AVX512 架构的指令进行了适配。仓库中每一项都有对应的实现目录与编译开关能力实现位置CMake 开关CMakeLists.txtCPU通用/SIMD/汇编source/backend/cpu默认开启ARMv8.2 FP16source/backend/arm82MNN_ARM82默认 ONOpenCLsource/backend/openclMNN_OPENCLVulkansource/backend/vulkanMNN_VULKANMetalsource/backend/metalMNN_METALCUDAsource/backend/cudaMNN_CUDACoreMLNPUsource/backend/coremlMNN_COREMLHIAINPUsource/backend/hiai见 compile/engine.mdNNAPINPUsource/backend/nnapiMNN_NNAPIQNNsource/backend/qnnMNN_QNNHexagon DSP3.6.1 新增source/backend/hexagonMNN_HEXAGONTensorRT / RKNN / MUSAsource/backend/tensorrt 等MNN_TENSORRT/MNN_RKNN/MNN_MUSAWinograd 卷积生成器source/math/WingoradGenerater.cpp默认bf16 算子source/backend/arm82等MNN_SUPPORT_BF16另外CMakeLists.txt 还暴露了较新的微架构开关MNN_SME2Arm SME2 指令默认 ON与MNN_METAL_TENSORMetal4 tensor 指令默认 ON说明“高性能”这一特点仍在持续跟进最新的 CPU/GPU 指令集。易用性支持使用 MNN 算子进行常用数值计算覆盖 numpy 常用功能express/MathOp.cpp 提供矩阵/张量数学算子Python 侧封装见 pymnn提供 MNN CV 模块支持图像仿射变换与归一化等支持常用图像处理armv7a 架构下小于 100KB实现位于 tools/cv编译开关MNN_BUILD_OPENCV支持各平台下的模型训练尤其是移动端上的模型训练训练框架位于 tools/train编译开关MNN_BUILD_TRAIN支持 Python 调用PyMNN 桥接实现见 pymnn/srcPython 侧封装位于 pymnn/pip_package/MNNLLM、扩散、CV、numpy 等子模块。硬件架构与精度支持矩阵原文档给出的完整矩阵如下评级含义S 深度优化并已有应用场景推荐A 有初步优化或已有应用场景可用B 支持但无优化或实验状态不推荐C 不支持Architecture / PrecisionNormalFP16BF16Int8CPUNativeBCBBx86/x64-SSE4.1ACCAx86/x64-AVX2SCCAx86/x64-AVX512SCCSARMv7aSS (ARMv8.2)SSARMv8S (ARMv8.2)S (ARMv8.2)S (ARMv8.6)SGPUOpenCLASCSVulkanAACAMetalASCSCUDAASCANPUCoreMLACCCHIAIACCCNNAPIBBCBQNNCBCC上表 ARMv8 一行 Normal 列原文为 S此处按原文照录原文表格中 ARMv8 行的 Normal 亦标注为 SFP16 需 ARMv8.2、BF16 需 ARMv8.6。这张矩阵可以直接指导选型例如在 ARMv8.2 手机上跑 Int8/FP16 量化模型是推荐路径而在 x86 桌面机上推荐 FP32AVX2/AVX512或 Int8。各后端是否启用由 CMake 开关独立控制默认仅启用 CPU 后端GPU/NPU 后端按需开启这也是 MNN “主体功能无依赖” 的原因之一。工具生态基于张量计算引擎的五大工具原文档指出基于 MNN张量计算引擎提供了一系列工具以支持模型推理、训练和通用计算。下表将五个工具与仓库中的实现位置对应起来便于深入查看工具功能仓库实现位置MNN-Converter模型转换由 Frontends支持 TF/Caffe/ONNX/TorchScript和 Graph Optimize算子融合、算子替代、布局调整一般离线运行构成tools/converter前端在tools/converter/source/下按框架分目录MNN-Compress在精度误差许可下压缩 MNN 模型减小体积、提升性能tools/quantization文档见 docs/tools/compress.mdMNN-Express支持带控制流的模型运行支持调用 MNN 算子做自定义计算express文档见 docs/cpp/Expr.md、docs/inference/expr.mdMNN-CV类似 OpenCV 但核心计算基于 MNN 的图像处理库tools/cvMNN-TrainMNN 训练模块支持各平台训练tools/train文档见 docs/train/转换流程的入口是 tools/converter/MNNConverter.cpp转换后模型使用 FlatBuffers 存储格式schema 定义见 schema/default/MNN.fbs生成头文件见 schema/current/MNN_generated.h——这也是 3rd_party 中内置 flatbuffers 与 protobuf 的原因。推理侧的示例代码可参考 demo/exec如pictureRecognition.cpp图像识别、segment.cpp人像分割、transformerDemo.cpp等docs/start/overall.md 对“训练 → 转换 → 推理”三阶段有完整的入门指引。性能验证方面benchmark/ 目录提供了标准 CV 模型benchmark/models 下含 resnet-v2-50.mnn、mobilenetV3.mnn 等的 benchmark 工具与历史结果记录benchmark/result对应 OSDI 论文中提到的测试脚本与说明。社区、论文与许可社区交流官方维护钉钉交流群原文档列有群号 23329087、23350225 及第三个群的申请入口README 中另列有 4 群号 160170007549群内讨论以中文为主也欢迎英文使用者历史论文MNN 初步版本论文关注移动端推理引擎的手动算子优化发表于 MLSys 2020若曾受益于早期版本可引用inproceedings{alibaba2020mnn, author {Jiang, Xiaotang and Wang, Huan and Chen, Yiliu and Wu, Ziqi and Wang, Lichuan and Zou, Bin and Yang, Yafeng and Cui, Zongyang and Cai, Yu and Yu, Tianhang and Lv, Chengfei and Wu, Zhihua}, title {MNN: A Universal and Efficient Inference Engine}, booktitle {MLSys}, year {2020} }LicenseApache 2.0LICENSE.txt致谢MNN 参与人员来自淘宝技术部、搜索工程团队、达摩院团队、优酷等集团员工。MNN 参考、借鉴了 Caffe、flatbuffer、gemmlowp、Google Vulkan demo、Halide、Mace、ONNX、protobuf、skia、TensorFlow、ncnn、paddle-mobile、stb、rapidjson、pybind11、pytorch、bolt、libyuv、libjpeg、opencv 等项目——这些依赖在仓库中的实际落点也可以逐一对照3rd_party/flatbuffers、3rd_party/protobuf、3rd_party/rapidjson、3rd_party/imageHelperstb 系列头文件、3rd_party/halfFP16 数值支持等。小结结合 docs/intro/about.md 与仓库代码MNN 可以概括为“一个引擎 五个工具 多后端”引擎核心在 source/ 提供图执行、内存与调度后端在 source/backend/ 覆盖 CPUSIMD/汇编、ARMv8.2、AVX512、移动端 GPUMetal/OpenCL/Vulkan、桌面 GPUCUDA与 NPUCoreML/HIAI/NNAPI/QNN及 3.6.1 新增的 Hexagon工具链覆盖模型转换Converter、压缩量化Compress/quantization、控制流计算Express、图像处理CV与端侧训练Train。对读者而言建议的路径是先通过 docs/start/overall.md 走通“转换 → 推理”主流程再用 docs/compile/engine.md 按需开启 CMake 后端开关最后在需要时查阅benchmark/与test/目录定位性能与正确性问题。【免费下载链接】MNNMNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.项目地址: https://gitcode.com/GitHub_Trending/mn/MNN创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
MNN 全面解读：阿里轻量级深度学习引擎的架构、特性与工具生态
MNN 全面解读阿里轻量级深度学习引擎的架构、特性与工具生态【免费下载链接】MNNMNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.项目地址: https://gitcode.com/GitHub_Trending/mn/MNNMNN 是阿里巴巴开源的轻量级深度神经网络推理与训练引擎当前仓库版本为 3.6.1见 MNNDefine.h。本文基于官方介绍文档 docs/intro/about.md 展开系统梳理 MNN 的设计理念、整体架构、轻量性/通用性/高性能/易用性四大特点、硬件与精度支持矩阵以及 Converter、Compress、Express、CV、Train 五大工具并结合仓库源码给出对应的实现位置帮助读者快速建立对 MNN 的整体认知并定位到感兴趣的模块继续深入。定位端侧 AI 的“计算容器”MNN 的定位是一个轻量级的深度神经网络引擎支持深度学习的推理与训练适用于服务器、个人电脑、手机、嵌入式等各类设备。官方文档给出的核心事实包括已在阿里巴巴的手机淘宝、手机天猫、优酷等 30 多个 App 中使用覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景英文 README 中还提到钉钉、闲鱼以及 IoT 嵌入式设备在阿里巴巴内部MNN 被用作 Walle 系统中计算容器的基础模块。Walle 是首个端到端、通用型、规模化产业应用的端云协同机器学习系统发表于操作系统顶会 OSDI 2022该文档明确说明 MNN 的关键设计理念与相对于 TensorFlow、TensorFlow Lite、PyTorch、PyTorch Mobile、TVM 的 benchmark 测试细节以 OSDI 论文为准仓库中的 benchmark 目录则提供了对应的测试脚本、模型与历史结果。若 MNN 或 Walle 的设计对研究或生产有所帮助可引用 OSDI 论文BibTeX 原文见 about.mdinproceedings {proc:osdi22:walle, author {Chengfei Lv and Chaoyue Niu and Renjie Gu and Xiaotang Jiang and Zhaode Wang and Bin Liu and Ziqi Wu and Qiulin Yao and Congyu Huang and Panos Huang and Tao Huang and Hui Shu and Jinde Song and Bin Zou and Peng Lan and Guohuan Xu and Fei Wu and Shaojie Tang and Fan Wu and Guihai Chen}, title {Walle: An {End-to-End}, {General-Purpose}, and {Large-Scale} Production System for {Device-Cloud} Collaborative Machine Learning}, booktitle {16th USENIX Symposium on Operating Systems Design and Implementation (OSDI 22)}, year {2022}, isbn {978-1-939133-28-1}, address {Carlsbad, CA}, pages {249--265}, publisher {USENIX Association}, month jul, }从仓库结构看这套“推理引擎 端侧大模型运行时”的组合在代码中体现得非常清楚source/下是引擎主体core、backend、geometry、shape、cv 等transformers/ 下则是在 MNN 引擎之上构建的 MNN-LLM大语言模型运行时与 MNN-Diffusion稳定扩散运行时二者均声明“将模型本地部署到每个人的设备上手机/PC/IOT”。版本发布与工作台版本发布记录以仓库官方 GitHub Releases 为准原文档中的外链此处不再重复。当前源码版本号为 3.6.1README 的 News 区记录了最新动态例如 2026/07/22 发布的 3.6.1 新增了 Hexagon 后端可在高通 Hexagon DSP 上加速模型推理对应实现位于 source/backend/hexagonMNN 工作台官网提供 MNN 工作台下载涵盖开箱即用模型、可视化训练等工具支持一键部署到多端设备工作台为外部资源仓库内不含其安装包仅 README 与 about.md 有介绍。整体架构一次推理经历哪些阶段上图about.md 引用的架构图展示了 MNN 的内部层次。结合 docs/start/overall.md 的“使用 MNN 整体流程”可以将其归纳为三个阶段这与架构图的层次一一对应训练在 TensorFlow、PyTorch 等成熟训练框架上训练模型MNN 自身也提供端侧训练/调优能力见后文 MNN-Train转换通过 MNN-Converter 将 TF(TFLite) / Caffe / ONNX / TorchScript 模型转为 MNN 模型并进行图优化推理在端侧加载 MNN 模型执行推荐高层的 Module API支持控制流也可用低层 Session API。在源码层面这一“图 → 运行时”的分工清晰可见source/core引擎核心包含 Pipeline、Session、Schedule、Backend、BufferAllocator 等模块负责会话管理、内存分配与算子调度source/geometry几何计算层处理 reshape、concat、broadcast 等形状变换类算子source/shape形状推断shape inference支撑动态输入source/backend各硬件后端实现详见下一节expressMNN-Express 表达式与控制流运行时tools/converter模型转换器其source/目录下按框架划分了tensorflow/、tflite/、caffe/、onnx/、torch/五个前端以及optimizer/图优化 Pass 管理器含 TestPassManager.cpp 测试与compression/。整体特点官方文档将 MNN 的特点归纳为轻量性、通用性、高性能、易用性四个方面下面逐一说明并在可行处给出仓库内的对应实现。轻量性主体功能模型推理 CPUGPU无任何依赖代码精简可部署到移动设备和各种嵌入式设备iOS 平台功能全开的 MNN 静态库 armv7arm64 约 12MB链接生成可执行文件增加约 2MB裁剪主体功能后静态库 6.1M链接增加 600KBAndroid 平台主体功能 armv7ac_shared动态库约 800KB支持采用Mini 构建选项进一步降低包大小大约能在上述库体积基础上再降低 25% 左右支持模型 FP16/Int8 压缩与量化可减少模型 50%–75% 的体积。从 CMakeLists.txt 的源码看Mini 选项的落地方式非常直接option(MNN_SKIPBUILD_GEOMETRY Skip Build MNN-Geometry, then only supports fixed shape models. OFF) option(MNN_BUILD_MINI Build minimal MNN so, set MNN_SKIPBUILD_GEOMETRY and MNN_REDUCE_SIZE ON OFF) ... if (MNN_BUILD_MINI) set(MNN_SKIPBUILD_GEOMETRY ON CACHE BOOL docstring FORCE) set(MNN_REDUCE_SIZE ON CACHE BOOL docstring FORCE) endif()也就是说MNN_BUILD_MINION会强制同时打开MNN_SKIPBUILD_GEOMETRY跳过几何计算层代价是仅支持固定形状模型与MNN_REDUCE_SIZE移除不常用算子并精简代码见 CMakeLists.txt它还会关闭MNN_SUPPORT_DEPRECATED_OP、MNN_SUPPORT_QUANT_EXTEND、MNN_USE_SPARSE_COMPUTE。量化压缩则由 tools/quantization 实现docs/tools/quant.md 与 docs/tools/compress.md 给出了具体用法。通用性支持 Tensorflow、Caffe、ONNX、TorchScript 等主流模型文件格式支持 CNN / RNN / GAN / Transformer 等主流网络结构支持多输入多输出、任意维度的输入输出、动态输入输入大小可变、带控制流的模型算子覆盖178 个 Tensorflow Op、52 个 Caffe Op、163 个 TorchScript Op、158 个 ONNX OpONNX 基本完整支持支持服务器 / 个人电脑 / 手机及具有 POSIX 接口的嵌入式设备支持设备的 CPU / GPU 计算支持部分设备的 NPU 计算iOS 11 CoreML / Huawei HIAI / Android NNAPI支持 Windows / iOS 8.0 / Android 4.3 / Linux 及具有 POSIX 接口的操作系统。模型格式的“前端”支持直接对应 tools/converter 的目录结构source/tensorflow、source/tflite、source/caffe、source/onnx、source/torch。而“控制流 自定义计算”的能力则实现在 express 模块中其中 IfModule、WhileModule 对应 if/while 控制流Module 提供了子图复用的高层接口。高性能对 iOS / Android / PC / Server 的 CPU 架构进行了适配编写 SIMD 代码或手写汇编实现核心运算单线程下运行常见 CV 模型接近设备算力峰值支持基于 Metal / OpenCL / Vulkan 使用移动端 GPU 推理支持基于 CUDA 使用 PC / Server 上的 NVIDIA GPU 更快推理广泛运用 Winograd 卷积算法提升卷积性能首次在业界工程实践中实现转置卷积的 Winograd 优化与矩阵乘的 Strassen 算法优化并取得加速效果支持低精度计算int8 / fp16 / bf16以提升推理性能并对 ARMv8.2 和 AVX512 架构的指令进行了适配。仓库中每一项都有对应的实现目录与编译开关能力实现位置CMake 开关CMakeLists.txtCPU通用/SIMD/汇编source/backend/cpu默认开启ARMv8.2 FP16source/backend/arm82MNN_ARM82默认 ONOpenCLsource/backend/openclMNN_OPENCLVulkansource/backend/vulkanMNN_VULKANMetalsource/backend/metalMNN_METALCUDAsource/backend/cudaMNN_CUDACoreMLNPUsource/backend/coremlMNN_COREMLHIAINPUsource/backend/hiai见 compile/engine.mdNNAPINPUsource/backend/nnapiMNN_NNAPIQNNsource/backend/qnnMNN_QNNHexagon DSP3.6.1 新增source/backend/hexagonMNN_HEXAGONTensorRT / RKNN / MUSAsource/backend/tensorrt 等MNN_TENSORRT/MNN_RKNN/MNN_MUSAWinograd 卷积生成器source/math/WingoradGenerater.cpp默认bf16 算子source/backend/arm82等MNN_SUPPORT_BF16另外CMakeLists.txt 还暴露了较新的微架构开关MNN_SME2Arm SME2 指令默认 ON与MNN_METAL_TENSORMetal4 tensor 指令默认 ON说明“高性能”这一特点仍在持续跟进最新的 CPU/GPU 指令集。易用性支持使用 MNN 算子进行常用数值计算覆盖 numpy 常用功能express/MathOp.cpp 提供矩阵/张量数学算子Python 侧封装见 pymnn提供 MNN CV 模块支持图像仿射变换与归一化等支持常用图像处理armv7a 架构下小于 100KB实现位于 tools/cv编译开关MNN_BUILD_OPENCV支持各平台下的模型训练尤其是移动端上的模型训练训练框架位于 tools/train编译开关MNN_BUILD_TRAIN支持 Python 调用PyMNN 桥接实现见 pymnn/srcPython 侧封装位于 pymnn/pip_package/MNNLLM、扩散、CV、numpy 等子模块。硬件架构与精度支持矩阵原文档给出的完整矩阵如下评级含义S 深度优化并已有应用场景推荐A 有初步优化或已有应用场景可用B 支持但无优化或实验状态不推荐C 不支持Architecture / PrecisionNormalFP16BF16Int8CPUNativeBCBBx86/x64-SSE4.1ACCAx86/x64-AVX2SCCAx86/x64-AVX512SCCSARMv7aSS (ARMv8.2)SSARMv8S (ARMv8.2)S (ARMv8.2)S (ARMv8.6)SGPUOpenCLASCSVulkanAACAMetalASCSCUDAASCANPUCoreMLACCCHIAIACCCNNAPIBBCBQNNCBCC上表 ARMv8 一行 Normal 列原文为 S此处按原文照录原文表格中 ARMv8 行的 Normal 亦标注为 SFP16 需 ARMv8.2、BF16 需 ARMv8.6。这张矩阵可以直接指导选型例如在 ARMv8.2 手机上跑 Int8/FP16 量化模型是推荐路径而在 x86 桌面机上推荐 FP32AVX2/AVX512或 Int8。各后端是否启用由 CMake 开关独立控制默认仅启用 CPU 后端GPU/NPU 后端按需开启这也是 MNN “主体功能无依赖” 的原因之一。工具生态基于张量计算引擎的五大工具原文档指出基于 MNN张量计算引擎提供了一系列工具以支持模型推理、训练和通用计算。下表将五个工具与仓库中的实现位置对应起来便于深入查看工具功能仓库实现位置MNN-Converter模型转换由 Frontends支持 TF/Caffe/ONNX/TorchScript和 Graph Optimize算子融合、算子替代、布局调整一般离线运行构成tools/converter前端在tools/converter/source/下按框架分目录MNN-Compress在精度误差许可下压缩 MNN 模型减小体积、提升性能tools/quantization文档见 docs/tools/compress.mdMNN-Express支持带控制流的模型运行支持调用 MNN 算子做自定义计算express文档见 docs/cpp/Expr.md、docs/inference/expr.mdMNN-CV类似 OpenCV 但核心计算基于 MNN 的图像处理库tools/cvMNN-TrainMNN 训练模块支持各平台训练tools/train文档见 docs/train/转换流程的入口是 tools/converter/MNNConverter.cpp转换后模型使用 FlatBuffers 存储格式schema 定义见 schema/default/MNN.fbs生成头文件见 schema/current/MNN_generated.h——这也是 3rd_party 中内置 flatbuffers 与 protobuf 的原因。推理侧的示例代码可参考 demo/exec如pictureRecognition.cpp图像识别、segment.cpp人像分割、transformerDemo.cpp等docs/start/overall.md 对“训练 → 转换 → 推理”三阶段有完整的入门指引。性能验证方面benchmark/ 目录提供了标准 CV 模型benchmark/models 下含 resnet-v2-50.mnn、mobilenetV3.mnn 等的 benchmark 工具与历史结果记录benchmark/result对应 OSDI 论文中提到的测试脚本与说明。社区、论文与许可社区交流官方维护钉钉交流群原文档列有群号 23329087、23350225 及第三个群的申请入口README 中另列有 4 群号 160170007549群内讨论以中文为主也欢迎英文使用者历史论文MNN 初步版本论文关注移动端推理引擎的手动算子优化发表于 MLSys 2020若曾受益于早期版本可引用inproceedings{alibaba2020mnn, author {Jiang, Xiaotang and Wang, Huan and Chen, Yiliu and Wu, Ziqi and Wang, Lichuan and Zou, Bin and Yang, Yafeng and Cui, Zongyang and Cai, Yu and Yu, Tianhang and Lv, Chengfei and Wu, Zhihua}, title {MNN: A Universal and Efficient Inference Engine}, booktitle {MLSys}, year {2020} }LicenseApache 2.0LICENSE.txt致谢MNN 参与人员来自淘宝技术部、搜索工程团队、达摩院团队、优酷等集团员工。MNN 参考、借鉴了 Caffe、flatbuffer、gemmlowp、Google Vulkan demo、Halide、Mace、ONNX、protobuf、skia、TensorFlow、ncnn、paddle-mobile、stb、rapidjson、pybind11、pytorch、bolt、libyuv、libjpeg、opencv 等项目——这些依赖在仓库中的实际落点也可以逐一对照3rd_party/flatbuffers、3rd_party/protobuf、3rd_party/rapidjson、3rd_party/imageHelperstb 系列头文件、3rd_party/halfFP16 数值支持等。小结结合 docs/intro/about.md 与仓库代码MNN 可以概括为“一个引擎 五个工具 多后端”引擎核心在 source/ 提供图执行、内存与调度后端在 source/backend/ 覆盖 CPUSIMD/汇编、ARMv8.2、AVX512、移动端 GPUMetal/OpenCL/Vulkan、桌面 GPUCUDA与 NPUCoreML/HIAI/NNAPI/QNN及 3.6.1 新增的 Hexagon工具链覆盖模型转换Converter、压缩量化Compress/quantization、控制流计算Express、图像处理CV与端侧训练Train。对读者而言建议的路径是先通过 docs/start/overall.md 走通“转换 → 推理”主流程再用 docs/compile/engine.md 按需开启 CMake 后端开关最后在需要时查阅benchmark/与test/目录定位性能与正确性问题。【免费下载链接】MNNMNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.项目地址: https://gitcode.com/GitHub_Trending/mn/MNN创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
