Google AI Edge Gallery 使用指南4 步在手机上跑起完全离线的 LLM【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/galleryGoogle AI Edge Gallery 是一款端侧模型展示与沙盒应用从 Hugging Face 下载开源大模型后它们会完全离线地跑在你的手机上多轮对话、看图问答、语音转写都不依赖网络数据也不离开设备。这篇文章按上手 → 选功能 → 排查问题 → 进阶玩法的顺序带你把它用起来。为什么值得把模型整台搬到手机里这个应用和云端 AI 的根本区别只有一句话推理全部发生在设备端。它直接带来三个结果没网也能用地铁里、飞机上都能让模型识别照片里的内容数据不出手机你输入的文字、上传的图片、录的音都不会发到任何服务器响应速度只取决于硬件没有网络延迟连不上 Wi-Fi 也不会变慢。代价是两条限制模型能力受芯片约束长对话的上下文窗口大约只有 4k~10k token。这两点决定了后面怎么用。4 步启动从安装到第一次对话检查系统版本Android 12 及以上iOS 需要 17 及以上并确认剩余存储有几 GB 空间模型文件不小。安装应用Google Play 和 App Store 都能找到如果这两个商店用不了就从项目发布页下载 APK 手动安装。选一个模型模型列表来自 Hugging Face建议新手先从 Gemma 4 系列开始这是当前版本官方重点支持的。挑一个用例入口试发消息首页有多轮对话、图像问答、语音转写等入口随便进一个发条消息验证模型确实能跑。模型首次加载会慢一些那是推理引擎在预热不是卡死。加载之后先试这三个功能 功能不用全试完下面三个最能体现端侧 AI 的价值图像问答拍照或从相册选图后直接提问可以识别物体、解释场景、解视觉题。典型场景是 offline 状态下问这是什么植物。语音转写录音实时转成文字并支持翻译开完会整理要点时很省事全程不需要联网。对话的思考模式多轮对话之外还能展开看到模型一步步的推理过程目前从 Gemma 4 系列支持答案出错时你能判断它是理解错了还是执行错了。另外两个值得知道的Prompt Lab用于单轮 prompt 测试temperature、top-k 等参数可以单独调Benchmark会在你自己的设备上实测各模型速度比猜我的手机能跑哪个可靠得多。下不了、跑不动、变慢了先查这三处问我的手机能跑吗答先看系统版本Android 12 及以上iOS 17 及以上再看存储给模型留出几 GB 空间。两项都满足基本没问题。问模型下载失败或者一直卡着答先别慌按顺序查网络是否稳定、剩余空间是否足够两者都没问题就重启应用重新下载。大模型首次加载本身就比较久别等几分钟就放弃。问为什么回答说到一半就断了答大概率是上下文用完了。端侧模型窗口只有 4k~10k token聊得久早期内容会被挤出。开个新会话把一次会话的话题控制在单一主题。问回复很慢、手机发烫答跑一次 Benchmark 看真实表现然后换更小的模型用的时候关掉其他后台应用。问下载好的模型断网后还能用吗答能。装好模型后对话、看图、转写全部在本地完成断网不影响。进阶玩法给模型加技能、接外部工具基础对话够用之后有两个方向可以往下走Agent Skills给模型装手脚。安装方式有三种——从社区精选列表挑、从 URL 加载、导入本地文件夹。装好后模型会根据你的提问自动调用对应技能内置技能包括查维基百科摘要、生成二维码、显示交互式地图等。技能的结构和写法在 skills/README.md 里有完整说明。MCP 接入实验性功能端侧模型缺实时数据MCP 服务器补的就是这块——接入后模型可以抓网页、查地图路线等且每次工具调用都会征求你的确认。在 Agent Chat 里点输入框下方的 MCP 按钮填服务器地址注意地址要以 /mcp 结尾然后只开启你真正需要的那几个工具其余关掉以节省上下文窗口。具体步骤见 mcp/README.md。想更深入的话DEVELOPMENT.md 讲了如何本地构建运行model_allowlists/ 里则放着各版本支持的模型清单。从一个小模型、一个用例开始跑顺了再往上叠技能是掌握端侧 AI 最快、也最不容易劝退的路径。【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Google AI Edge Gallery 使用指南：4 步在手机上跑起完全离线的 LLM
Google AI Edge Gallery 使用指南4 步在手机上跑起完全离线的 LLM【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/galleryGoogle AI Edge Gallery 是一款端侧模型展示与沙盒应用从 Hugging Face 下载开源大模型后它们会完全离线地跑在你的手机上多轮对话、看图问答、语音转写都不依赖网络数据也不离开设备。这篇文章按上手 → 选功能 → 排查问题 → 进阶玩法的顺序带你把它用起来。为什么值得把模型整台搬到手机里这个应用和云端 AI 的根本区别只有一句话推理全部发生在设备端。它直接带来三个结果没网也能用地铁里、飞机上都能让模型识别照片里的内容数据不出手机你输入的文字、上传的图片、录的音都不会发到任何服务器响应速度只取决于硬件没有网络延迟连不上 Wi-Fi 也不会变慢。代价是两条限制模型能力受芯片约束长对话的上下文窗口大约只有 4k~10k token。这两点决定了后面怎么用。4 步启动从安装到第一次对话检查系统版本Android 12 及以上iOS 需要 17 及以上并确认剩余存储有几 GB 空间模型文件不小。安装应用Google Play 和 App Store 都能找到如果这两个商店用不了就从项目发布页下载 APK 手动安装。选一个模型模型列表来自 Hugging Face建议新手先从 Gemma 4 系列开始这是当前版本官方重点支持的。挑一个用例入口试发消息首页有多轮对话、图像问答、语音转写等入口随便进一个发条消息验证模型确实能跑。模型首次加载会慢一些那是推理引擎在预热不是卡死。加载之后先试这三个功能 功能不用全试完下面三个最能体现端侧 AI 的价值图像问答拍照或从相册选图后直接提问可以识别物体、解释场景、解视觉题。典型场景是 offline 状态下问这是什么植物。语音转写录音实时转成文字并支持翻译开完会整理要点时很省事全程不需要联网。对话的思考模式多轮对话之外还能展开看到模型一步步的推理过程目前从 Gemma 4 系列支持答案出错时你能判断它是理解错了还是执行错了。另外两个值得知道的Prompt Lab用于单轮 prompt 测试temperature、top-k 等参数可以单独调Benchmark会在你自己的设备上实测各模型速度比猜我的手机能跑哪个可靠得多。下不了、跑不动、变慢了先查这三处问我的手机能跑吗答先看系统版本Android 12 及以上iOS 17 及以上再看存储给模型留出几 GB 空间。两项都满足基本没问题。问模型下载失败或者一直卡着答先别慌按顺序查网络是否稳定、剩余空间是否足够两者都没问题就重启应用重新下载。大模型首次加载本身就比较久别等几分钟就放弃。问为什么回答说到一半就断了答大概率是上下文用完了。端侧模型窗口只有 4k~10k token聊得久早期内容会被挤出。开个新会话把一次会话的话题控制在单一主题。问回复很慢、手机发烫答跑一次 Benchmark 看真实表现然后换更小的模型用的时候关掉其他后台应用。问下载好的模型断网后还能用吗答能。装好模型后对话、看图、转写全部在本地完成断网不影响。进阶玩法给模型加技能、接外部工具基础对话够用之后有两个方向可以往下走Agent Skills给模型装手脚。安装方式有三种——从社区精选列表挑、从 URL 加载、导入本地文件夹。装好后模型会根据你的提问自动调用对应技能内置技能包括查维基百科摘要、生成二维码、显示交互式地图等。技能的结构和写法在 skills/README.md 里有完整说明。MCP 接入实验性功能端侧模型缺实时数据MCP 服务器补的就是这块——接入后模型可以抓网页、查地图路线等且每次工具调用都会征求你的确认。在 Agent Chat 里点输入框下方的 MCP 按钮填服务器地址注意地址要以 /mcp 结尾然后只开启你真正需要的那几个工具其余关掉以节省上下文窗口。具体步骤见 mcp/README.md。想更深入的话DEVELOPMENT.md 讲了如何本地构建运行model_allowlists/ 里则放着各版本支持的模型清单。从一个小模型、一个用例开始跑顺了再往上叠技能是掌握端侧 AI 最快、也最不容易劝退的路径。【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
