运行 Qwen1.5 时如何挑选并下载正确的 llama.cpp 预编译二进制包OS、架构与 GPU 后端版本解析【免费下载链接】Qwen1.5Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen1.5用 llama.cpp 在本地机器上跑 Qwen 模型时如果你不想本地编译可以直接下载预编译二进制。Qwen1.5 仓库的 llama.cpp 本地运行文档 llama.cpp.md 明确提醒这些预编译包是按架构architecture、后端backend和操作系统OS区分的拿到不兼容的版本运行most likely fail or lead to poor performance大概率失败或性能很差。所以下载前要把文件名里的四个要素定下来版本、操作系统、后端 feature、系统架构。下文按文档给出挑包、下载解压和运行验证的完整路径。先定版本号模型支持的版本下限文件名中的version是 llama.cpp 的版本号。文档对 Qwen 系列给出两个依据文档注释llama.cpp supports Qwen3 and Qwen3MoE from versionb5092即从b5092起支持 Qwen3 和 Qwen3MoEREADME.md 进一步建议llama.cppb5401is recommended for the full support of Qwen3。因此你选的文件名版本号应不低于b5092推荐b5401及以上。文档同时说明优先选最新发布版本但由于 llama.cpp 更新和发布频繁最新版本可能含有 bug——If the latest version does not work, try the previous release until it works最新版不工作时逐个回退到前一个 release直到可用。文件名结构llama-version-bin-os-feature-arch.zip文档给出的文件名格式是llama-version-bin-os-feature-arch.zip四个要素含义如下部分含义文档给出的取值versionllama.cpp 版本不低于b5092推荐b5401优先最新、可回退os操作系统winWindowsmacosmacOSlinuxLinuxarch系统架构x64对应x86_64大多数 Intel/AMD 系统包括 Intel Macarm64对应arm64Apple Silicon 或 Snapdragon 系系统featureCPU 加速选项或 GPU 后端因操作系统而异见下两节os和arch的判定很直接先确认自己系统是 Windows/macOS/Linux再看 CPU 是 x86_64 还是 arm64。arch里有一个容易忽略的细节Intel Mac 属于x64Apple SiliconM 系列芯片才属于arm64。macOS 与 Linux选项很少但对号入座文档原文说明You dont have much choice for macOS or LinuxLinux只有一个预编译包llama-version-bin-linux-x64.zip仅支持 CPU。Linux x64 GPU 的用户走不到预编译这条路需要走文末的本地编译路径。macOSllama-version-bin-macos-x64.zipIntel Mac 用无 GPU 支持llama-version-bin-macos-arm64.zipApple Silicon 用带 GPU 支持。所以 macOS 用户只要分清机器是 Intel 还是 Apple Silicon文件名就唯一确定了。Windowsfeature部分要按 CPU 或 GPU 场景匹配文档称 Windows 的 feature 部分complicated分纯 CPU 与 GPU 加速两种情况。纯 CPU 场景x86_64 CPU文档建议先试avx2。各选项含义noavx完全没有硬件加速avx、avx2、avx512基于 SIMD 的加速。Most modern desktop CPUs should support avx2部分 CPU 支持avx512openblas依赖 OpenBLAS 加速 prompt processing但不加速 generation。arm64 CPU文档建议先试llvm。llvm与msvc是两种不同的编译器文件名按各自命名。GPU 加速场景文档建议优先尝试的后端NVIDIA GPU 选cucuda_versionAMD GPU 选komputeIntel GPU 选sycl。前提是确保已安装对应的驱动Ensure that you have related drivers installed。各后端的补充说明vulkan文档中拼作vulcan支持部分 NVIDIA 和 AMD GPUkompute支持部分 NVIDIA 和 AMD GPUsycl面向 Intel GPUoneAPI runtime 已包含在包内cucuda_version面向 NVIDIA GPUCUDA runtime 不包含在包内。如果没有安装对应的 CUDA toolkit可以下载cudart-llama-bin-win-cucuda_version-x64.zip并解压到与主程序相同的目录。也就是说cu后面的数字是与 CUDA 版本对应的部分包本身不带 CUDA runtime选哪个数字取决于你机器上已装的 CUDA toolkit 版本没有对应 toolkit 时再按文档用 cudart 压缩包补齐。下载与解压到 llama.cpp 的 GitHub Releases 页面文档 Getting the Program 一节给出的获取渠道下载文件名与你上面确定的组合一致的.zip。下载后把.zip解压到一个目录并在该目录打开终端——后续命令都假设工作目录就是解压目录。文档对预编译包的定位是它们可能不如本地编译高效但for non-production example use, they are fine。预编译包只包含llama-cli、llama-server这类示例程序不包含模型文件本身模型仍需以 GGUF 格式准备官方 Qwen GGUF 可在仓库名中搜-GGUF后缀用huggingface-cli下载细节见文档 Getting the GGUF 一节。验证用 llama-cli 实际跑起来解压后用一个 Qwen 模型实际运行llama-cli确认二进制与你的环境匹配。文档给出的示例命令文档示例以 Qwen3-8B 为例./llama-cli -hf Qwen/Qwen3-8B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 -c 40960 -n 32768 --no-context-shift与本次挑包验证相关的参数-hf Qwen/Qwen3-8B-GGUF:Q8_0从 Hugging Face Hub 使用模型文件。换成已有模型时本地 GGUF 用-m qwen3-8b-q8_0.gguf本地路径传入或按文档用-mu remote URL-ngl 99把层卸载到 GPU 计算。文档说明该参数只在programs are built with GPU support时生效——对 CPU-only 的二进制如 Linux x64 包不会带来 GPU 加速。文档给出的判断依据不兼容的版本most likely fail or lead to poor performance如果程序无法正常工作按文档的两个说法处理——最新版含 bug 时回退到前一个 release仍异常时逐项核对文件名中的os、arch、feature是否与当前机器一致尤其是 Windows 下 feature 选错 CPU/GPU 场景。可选分支本地编译与包管理器文档的主推荐其实是本地编译——you get the CPU optimizations for free预编译包只是没有 C 编译器时的备选。预编译包不适用时的典型情形就是 Linux GPU。本地编译macOS 或 Linux先确认构建工具在终端执行cc --version或cmake --version。打印出工具配置信息即已就绪报错则先安装——macOS 执行xcode-select --installUbuntu 执行sudo apt install build-essential其他 Linux 发行版命令可能不同本指南需要的关键包是gcc和cmake。然后克隆源码并编译git clone https://github.com/ggml-org/llama.cpp cd llama.cpp cmake -B build cmake --build build --config Release第一条cmake -B build会检查本地环境并决定包含哪些后端与特性第二条真正执行编译也可以用cmake --build build --config Release -j 8按 CPU 核心数开启 8 个并行编译任务。编译产物位于./build/bin/。文档说明 Windows 与 GPU 场景的编译应参考 llama.cpp 官方的 build 指南。包管理器安装macOS / Linuxllama-cli和llama-server也可以通过 Homebrew、Nix、Flox 等包管理器安装Homebrew 一条命令brew install llama.cpp文档明确该路径的两点限制安装的二进制可能没有按你的硬件使用最优编译选项可能导致性能不佳并且在 Linux 系统上不支持 GPU。边界与下一步Linux 预编译包只有 x64 的一个 CPU 版本macOS 的 x64Intel Mac包不支持 GPUWindows 的cucuda_version包不含 CUDA runtime 且需要已装驱动。挑包时先确认这些边界再决定是否改用本地编译。预编译包只提供llama-cli、llama-server等程序。按上面流程选定包并验证程序可运行后下一步按文档 Getting the GGUF 一节准备 GGUF 模型文件即可完成获取程序 → 获取模型 → 运行的完整本地运行路径。【免费下载链接】Qwen1.5Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen1.5创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
运行 Qwen1.5 时如何挑选并下载正确的 llama.cpp 预编译二进制包？（OS、架构与 GPU 后端版本解析）
运行 Qwen1.5 时如何挑选并下载正确的 llama.cpp 预编译二进制包OS、架构与 GPU 后端版本解析【免费下载链接】Qwen1.5Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen1.5用 llama.cpp 在本地机器上跑 Qwen 模型时如果你不想本地编译可以直接下载预编译二进制。Qwen1.5 仓库的 llama.cpp 本地运行文档 llama.cpp.md 明确提醒这些预编译包是按架构architecture、后端backend和操作系统OS区分的拿到不兼容的版本运行most likely fail or lead to poor performance大概率失败或性能很差。所以下载前要把文件名里的四个要素定下来版本、操作系统、后端 feature、系统架构。下文按文档给出挑包、下载解压和运行验证的完整路径。先定版本号模型支持的版本下限文件名中的version是 llama.cpp 的版本号。文档对 Qwen 系列给出两个依据文档注释llama.cpp supports Qwen3 and Qwen3MoE from versionb5092即从b5092起支持 Qwen3 和 Qwen3MoEREADME.md 进一步建议llama.cppb5401is recommended for the full support of Qwen3。因此你选的文件名版本号应不低于b5092推荐b5401及以上。文档同时说明优先选最新发布版本但由于 llama.cpp 更新和发布频繁最新版本可能含有 bug——If the latest version does not work, try the previous release until it works最新版不工作时逐个回退到前一个 release直到可用。文件名结构llama-version-bin-os-feature-arch.zip文档给出的文件名格式是llama-version-bin-os-feature-arch.zip四个要素含义如下部分含义文档给出的取值versionllama.cpp 版本不低于b5092推荐b5401优先最新、可回退os操作系统winWindowsmacosmacOSlinuxLinuxarch系统架构x64对应x86_64大多数 Intel/AMD 系统包括 Intel Macarm64对应arm64Apple Silicon 或 Snapdragon 系系统featureCPU 加速选项或 GPU 后端因操作系统而异见下两节os和arch的判定很直接先确认自己系统是 Windows/macOS/Linux再看 CPU 是 x86_64 还是 arm64。arch里有一个容易忽略的细节Intel Mac 属于x64Apple SiliconM 系列芯片才属于arm64。macOS 与 Linux选项很少但对号入座文档原文说明You dont have much choice for macOS or LinuxLinux只有一个预编译包llama-version-bin-linux-x64.zip仅支持 CPU。Linux x64 GPU 的用户走不到预编译这条路需要走文末的本地编译路径。macOSllama-version-bin-macos-x64.zipIntel Mac 用无 GPU 支持llama-version-bin-macos-arm64.zipApple Silicon 用带 GPU 支持。所以 macOS 用户只要分清机器是 Intel 还是 Apple Silicon文件名就唯一确定了。Windowsfeature部分要按 CPU 或 GPU 场景匹配文档称 Windows 的 feature 部分complicated分纯 CPU 与 GPU 加速两种情况。纯 CPU 场景x86_64 CPU文档建议先试avx2。各选项含义noavx完全没有硬件加速avx、avx2、avx512基于 SIMD 的加速。Most modern desktop CPUs should support avx2部分 CPU 支持avx512openblas依赖 OpenBLAS 加速 prompt processing但不加速 generation。arm64 CPU文档建议先试llvm。llvm与msvc是两种不同的编译器文件名按各自命名。GPU 加速场景文档建议优先尝试的后端NVIDIA GPU 选cucuda_versionAMD GPU 选komputeIntel GPU 选sycl。前提是确保已安装对应的驱动Ensure that you have related drivers installed。各后端的补充说明vulkan文档中拼作vulcan支持部分 NVIDIA 和 AMD GPUkompute支持部分 NVIDIA 和 AMD GPUsycl面向 Intel GPUoneAPI runtime 已包含在包内cucuda_version面向 NVIDIA GPUCUDA runtime 不包含在包内。如果没有安装对应的 CUDA toolkit可以下载cudart-llama-bin-win-cucuda_version-x64.zip并解压到与主程序相同的目录。也就是说cu后面的数字是与 CUDA 版本对应的部分包本身不带 CUDA runtime选哪个数字取决于你机器上已装的 CUDA toolkit 版本没有对应 toolkit 时再按文档用 cudart 压缩包补齐。下载与解压到 llama.cpp 的 GitHub Releases 页面文档 Getting the Program 一节给出的获取渠道下载文件名与你上面确定的组合一致的.zip。下载后把.zip解压到一个目录并在该目录打开终端——后续命令都假设工作目录就是解压目录。文档对预编译包的定位是它们可能不如本地编译高效但for non-production example use, they are fine。预编译包只包含llama-cli、llama-server这类示例程序不包含模型文件本身模型仍需以 GGUF 格式准备官方 Qwen GGUF 可在仓库名中搜-GGUF后缀用huggingface-cli下载细节见文档 Getting the GGUF 一节。验证用 llama-cli 实际跑起来解压后用一个 Qwen 模型实际运行llama-cli确认二进制与你的环境匹配。文档给出的示例命令文档示例以 Qwen3-8B 为例./llama-cli -hf Qwen/Qwen3-8B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 -c 40960 -n 32768 --no-context-shift与本次挑包验证相关的参数-hf Qwen/Qwen3-8B-GGUF:Q8_0从 Hugging Face Hub 使用模型文件。换成已有模型时本地 GGUF 用-m qwen3-8b-q8_0.gguf本地路径传入或按文档用-mu remote URL-ngl 99把层卸载到 GPU 计算。文档说明该参数只在programs are built with GPU support时生效——对 CPU-only 的二进制如 Linux x64 包不会带来 GPU 加速。文档给出的判断依据不兼容的版本most likely fail or lead to poor performance如果程序无法正常工作按文档的两个说法处理——最新版含 bug 时回退到前一个 release仍异常时逐项核对文件名中的os、arch、feature是否与当前机器一致尤其是 Windows 下 feature 选错 CPU/GPU 场景。可选分支本地编译与包管理器文档的主推荐其实是本地编译——you get the CPU optimizations for free预编译包只是没有 C 编译器时的备选。预编译包不适用时的典型情形就是 Linux GPU。本地编译macOS 或 Linux先确认构建工具在终端执行cc --version或cmake --version。打印出工具配置信息即已就绪报错则先安装——macOS 执行xcode-select --installUbuntu 执行sudo apt install build-essential其他 Linux 发行版命令可能不同本指南需要的关键包是gcc和cmake。然后克隆源码并编译git clone https://github.com/ggml-org/llama.cpp cd llama.cpp cmake -B build cmake --build build --config Release第一条cmake -B build会检查本地环境并决定包含哪些后端与特性第二条真正执行编译也可以用cmake --build build --config Release -j 8按 CPU 核心数开启 8 个并行编译任务。编译产物位于./build/bin/。文档说明 Windows 与 GPU 场景的编译应参考 llama.cpp 官方的 build 指南。包管理器安装macOS / Linuxllama-cli和llama-server也可以通过 Homebrew、Nix、Flox 等包管理器安装Homebrew 一条命令brew install llama.cpp文档明确该路径的两点限制安装的二进制可能没有按你的硬件使用最优编译选项可能导致性能不佳并且在 Linux 系统上不支持 GPU。边界与下一步Linux 预编译包只有 x64 的一个 CPU 版本macOS 的 x64Intel Mac包不支持 GPUWindows 的cucuda_version包不含 CUDA runtime 且需要已装驱动。挑包时先确认这些边界再决定是否改用本地编译。预编译包只提供llama-cli、llama-server等程序。按上面流程选定包并验证程序可运行后下一步按文档 Getting the GGUF 一节准备 GGUF 模型文件即可完成获取程序 → 获取模型 → 运行的完整本地运行路径。【免费下载链接】Qwen1.5Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen1.5创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
