mlx-examples:基于MLX框架的Apple Silicon示例库,让你在Mac上本地跑通文本、图像与视频工作流 📅 发布时间:2026/9/19 9:34:57 👁 浏览次数: mlx-examples基于MLX框架的Apple Silicon示例库让你在Mac上本地跑通文本、图像与视频工作流【免费下载链接】mlx-examplesExamples in the MLX framework项目地址: https://gitcode.com/GitHub_Trending/ml/mlx-examples想在Mac上本地跑Stable DiffusionPyTorch一加载就把8GB内存吃光了mlx-examples是Apple官方的MLX框架示例库把文本生成、图像分割、视频生成这些主流模型搬到Apple Silicon上代码在M芯片上直接跑通。从MNIST到Wan2.1每个目录都是独立可运行的完整脚本。5分钟跑起来先用MNIST验证环境仓库里最小的入口是 mnist/main.py用两层MLP在MNIST手写数字上训练几十行代码把加载数据、前向、优化器更新、验证的完整循环都走了一遍git clone https://gitcode.com/GitHub_Trending/ml/mlx-examples cd mlx-examples/mnist pip install -r requirements.txt python main.py跑起来后控制台按epoch打印测试集准确率和单轮耗时默认CPU后端10轮训下来准确率稳定在0.97附近。M系列芯片加--gpu切到Metal后端速度会明显快一截。看到不断刷新的accuracy数字环境就算搭好了。这个仓库能搭出哪些本地AI工作流图像生成stable_diffusion/txt2image.py 一行提示词出四张图默认SDXL turbo两步采样秒级出图同目录的 image2image.py 支持图生图编辑。图像分割segment_anything 实现了SAM转换权重后可以对单张图点选分割或对整个文件夹批量自动生成掩码notebooks 里附了交互示例。文本生成llms/ 目录下有 Llama、Mistral、Mixtral 及 GGUF 格式的最小实现convert.py 转完权重就能对话还附了投机解码speculative_decoding的完整例子。语音转写whisper/mlx_whisper/transcribe.py 把本地音频转成文字多语言都支持配 benchmark.py 可以看转写速度。多模态clip 做图文匹配下面的猫图就是它的测试素材llava/generate.py 能基于图片做对话生成。视频生成video/wan2.1/ 是仓库里最新、也最能打的部分下一节单独展开。Wan2.1视频生成10GB到36GB内存的参数怎么调仓库里最能代表MLX能跑重活的是 video/wan2.1/txt2video.py。工作流分三段T5文本编码器把提示词变成条件向量DiT扩散变换器对81帧latent逐步去噪默认50步最后VAE解码成像素、ffmpeg存成mp4。cd video/wan2.1 pip install -r requirements.txt python txt2video.py A cat playing piano --output out.mp4默认用1.3B的T2V模型权重从Hugging Face自动下载。硬件参考81帧480p、未量化1.3B约10GB内存M4 Max上单步约90秒14B要约36GB单步230秒。16GB的机器建议锁死1.3B追画质再上36GB以上的机型。常调的参数--size 832x480 --frames 81控制分辨率和帧数--guidance 5.0是引导强度设成1.0会跳过无条件分支、单步开销减半--quantize压权重省内存--teacache 0.05会跳过约34%特征相近的步README实测肉眼几乎无损阈值到0.25损失就比较明显了。TeaCache的默认阈值写在 wan/pipeline.py 里想再精细调可以从那入手。图生视频看 img2video.py给一张首帧图就能出视频。踩过的坑内存、权重与慢生成 问题生成到一半进程被系统杀掉。原因是MLX默认缓存中间张量1.3B跑480p不加任何优化要占约14GB。解法加--no-cache把缓存上限置0能压到约10GB还不够就叠加--quantize。Stable Diffusion 的思路类似stable_diffusion/txt2image.py 在--quantize下把文本编码器量化到4bit、UNet量化到8bitSDXL因此能塞进8GB的Mac Mini。问题仓库克隆下来直接跑报缺权重。原因是仓库只存代码权重需要下载并转换成MLX格式。各目录的convert脚本负责这一步比如 llms/llama/convert.py 和 segment_anything/convert.py。如果模型比较热门Hugging Face上的MLX社区一般已经有转好的checkpoint可以直接用省掉转换。问题视频生成完却存不了或SAM报缺库。存视频要求ffmpeg在PATH里SAM的掩码输出依赖opencv还要RLE格式的话再加pycocotools。这类报错都来自依赖没装全不是模型问题。问题50步等得想睡觉。两条加速路线一是换蒸馏权重配--sampler euler --steps 4步数直接从50砍到4二是用TeaCache跳冗余计算0.05阈值是质量和速度之间的甜点先别急着往0.25上调。接下来去哪图像方向往 flux/ 走FLUX生成加LoRA微调dreambooth.py 给了完整的人物微调流程。想自己微调小模型看 lora/在WikisQL数据集上演示参数高效微调含训练、验证、权重融合全流程。想系统补课wwdc25/ 里的官方WWDC25教程notebook覆盖了KV Cache、语言模型训练这些基础代码和练习数据都带好了。回到开头那个8GB内存告急的场景——量化和缓存调优做完仓库里主流的工作流在一台普通M系列Mac上都能落地。建议的路径是先从mnist熟悉mx数组和训练循环再钻进video/wan2.1/把第一个mp4跑出来到那一步整个仓库就是你的工具箱了。【免费下载链接】mlx-examplesExamples in the MLX framework项目地址: https://gitcode.com/GitHub_Trending/ml/mlx-examples创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考