先说说我为什么要写这个项目。做移动开发这几年最烦的不是写代码是上架前的素材准备。尤其是App Store截图尺寸一堆预览视频还要逐台设备录录完还得注意有没有露出状态栏时间、有没有违反人机界面指南的敏感区域。最近在GitHub上看到一个叫Goldie的开源编码Agent项目专门解决这套流程——它能把生成App Store截图与预览视频、内置苹果上架合规校验整条链路自动化。我实际用了一段时间也把它接进了自己的产品发布流程这篇文章就把我的完整使用经验和踩坑过程分享出来。我尽量不写成官方文档复读机重点讲清楚三个事Goldie背后的编码Agent到底怎么工作、实操时每一步怎么操作、以及那些文档里不会告诉你的坑。1. 项目概述GitHub热评主角Goldie到底解决什么问题1.1 上架素材的痛点为什么独立开发者最痛恨传素材先看一个具体场景。你开发了一款App功能做完代码提审然后你打开App Store Connect发现要上传一堆东西iPhone 6.7英寸、6.5英寸、5.5英寸三种尺寸的截图每种尺寸又要配不同的展示文案iPad的截图又要按不同分辨率导出可选的App预览视频要求是15到30秒支持竖屏和横屏两种规格如果你的App支持多语言截图文案、预览视频里的文字、旁白语言全都要逐个语言处理。这一套下来光是导出素材就能占掉大半天时间。这还是顺利的情况。更麻烦的是预览视频你得在模拟器里面手动操作App用QuickTime录制录完再用Final Cut Pro或者其他工具裁剪、转码、加字幕。我见过有独立开发者为了三个语言的预览视频整整折腾了一周。这还没算上审核风险。截图里只要你露出了一点点不合规的内容比如第三方品牌Logo、真实的用户数据、甚至状态栏里的运营商名称都有可能收到审核驳回通知。很多人以为只有代码才会被拒实际上因为素材不合规被拒的比例相当高。1.2 Goldie三大能力拆解编码Agent、素材自动化、合规校验Goldie这个项目之所以在GitHub上能拿到较高的关注度是因为它把上面这些痛点拆成了三个能力打包在一个工具链里。第一它本质是一个编码Agent。所谓编码Agent不是一个简单的脚本而是基于大语言模型驱动、能自主规划操作步骤的智能体。你给它一个目标比如生成iPhone 15 Pro Max的App Store截图它会自己拆解步骤启动模拟器、安装App、打开指定页面、自动点击截屏、保存图片、按尺寸规范处理、输出到指定目录。整个过程不需要你手写每一条模拟器指令。第二它实现了App Store素材的自动化生成。不只是截图还包括预览视频。Goldie通过模拟器控制和UI自动化可以模拟真实用户操作App的过程并录制下来再经过自动裁剪、转码、拼接生成符合App Store规格的预览视频。多机型、多语言、多场景都可以通过配置一次性批量运行。第三它内置了苹果上架合规校验。这个能力我一开始觉得是噱头用久了才意识到这是最省心的部分。Goldie会在生成素材后自动检查截图内容和App元数据里可能违反App Store审核指南的地方比如是否包含隐藏功能、是否涉及敏感权限、界面文案是否含有被限制的词汇等。它不是替代人工审核而是提前帮你排除那些明显会踩雷的问题。2. 核心细节解析编码Agent如何自动完成截图与预览视频2.1 从目标到动作LLM驱动下的任务拆解机制要理解Goldie为什么是Agent而不是脚本可以想一想传统脚本和它的区别。传统自动化脚本是人写死的点这里、等两秒、截屏、保存。一旦界面布局变了、按钮位置调整了脚本立刻失效。你需要手动维护每一个坐标点。这种做法在一个App上还能凑合换一个App就得重写。Goldie基于编码Agent的思路完全不一样。它把生成截图这个高级目标交给LLM去规划。LLM会根据当前模拟器的界面状态动态决定下一步动作。比如目标是进入设置页并截屏Agent会先观察当前屏幕上的元素发现设置入口在底部Tab栏于是调用点击动作点击之后再观察新页面是否加载完成再决定是滚动还是截屏。这个过程是动态的、自适应的App界面微调了Agent也能根据所见到的内容重新规划路径。这里有个关键的实现细节Agent想要观察和操作模拟器必须依赖一层工具接口。Goldie在底层封装了完整的iOS模拟器控制能力包括启动/关闭模拟器、安装/卸载App、获取当前屏幕截图、模拟触摸事件、读取UI层级树等。LLM本身不会直接操作模拟器它只是根据工具返回的观察结果生成下一步调用哪个工具、传入什么参数。你可以把Goldie想象成一个项目经理LLM是拍板决策的人工具接口是执行任务的员工模拟器是施工现场。项目经理自己不搬砖但每一步都知道该让谁去做什么。这种架构带来的好处是你不需要懂模拟器的命令行参数也不需要懂UI自动化测试框架的API只要用自然语言描述你的目标就行。2.2 截图与预览视频的自动化实现逻辑截图和预览视频听起来是一回事实际操作逻辑差别很大。先看截图。App Store要求的是特定尺寸、特定设备的截图比如iPhone 15 Pro Max对应的是6.7英寸像素是1290x2796。Goldie的做法是先在配置里指定目标设备和目标尺寸然后启动对应的模拟器安装App进入指定页面触发截屏。为了实现进入指定页面Goldie会先解析App的页面结构识别出可以点击的UI元素然后按你给出的路径描述逐层导航。你也可以提供一个deeplink深度链接直接从特定页面开始效率更高。截屏生成后Goldie会交给LLM判断质量。什么意思就是让模型看一眼这张截屏确认页面是否完整加载、有没有弹窗遮挡、文案是否出现截断。如果觉得有问题Agent会自动重新截取或尝试关闭弹窗。这个自我检查机制是我认为Goldie区别于普通自动化工具的最大优势它确实能减少大批量的废图。再来看预览视频这部分更复杂。App Store预览视频本质上是一段录制好的屏幕操作时间通常15到30秒。Goldie生成预览视频的思路是先把你的操作流程定义成一连串UI动作比如启动App点击登录按钮输入测试账号进入首页滑动列表点击详情页然后自动执行这些动作同时用模拟器录制屏幕。录制结束后将原始视频按App Store要求的尺寸和时长裁剪转换编码格式H.264最后输出成品。这里有个非常容易出问题的地方视频时长和节奏。苹果要求预览视频时长不能超过30秒如果你的操作流程超过这个时间Goldie会自动截取关键片段并在三个时间点前段、中段、后段选择信息量最丰富的部分。这个过程听起来简单实际它背后要处理大量视频分析逻辑比如判断画面是否变化剧烈、是否出现空白过渡页。如果视频画面一直在一个静止的页面停留太久分析模型会自动跳过这段。2.3 苹果上架合规校验的内部实现合规校验是Goldie里最容易被人忽略的功能但也是我实际使用下来觉得最值得说的部分。苹果的App Store审核指南很长涉及安全、性能、业务、设计等多个维度。Goldie并不打算覆盖全部人工审核逻辑它聚焦的是那些可以用规则和模型自动判断的高频雷区。第一类是基于规则的检查。比如元数据里不能包含免费字样如果你的App实际上有内购项目不能包含其他平台的名称比如Android、Google Play不能在截图里出现未发布的App内容或者暗示App有系统级能力等。Goldie内置了一个规则库会逐条扫描你的截图文字、App名称、副标题、关键词和描述发现命中规则的内容就给出告警。这类检查非常快而且可以直接对应到审核指南的具体条款。第二类是基于视觉模型的检查。规则覆盖不了的场景比如截图里是否包含了其他品牌的Logo、是否出现了聊天消息中的用户头像、是否暴露了测试账号的明文密码这些靠关键词扫描是发现不了的。Goldie会把截图发给视觉模型由模型判断画面里是否存在违规的视觉元素。比如我在一次截图测试中界面底部弹出了开发环境的调试浮层这种很细微的元素人眼不仔细看都发现不了但视觉模型识别到了并给出了告警。第三类是权限与隐私提示检查。苹果对于收集用户数据的App有严格要求如果你的App在截图流程中没有正确处理权限弹窗或者隐私协议内容与权限声明不一致审核时很容易被追问。Goldie会在生成素材的同时检查App的Info.plist配置核对权限用途描述是否完整还会在自动化操作过程中捕获权限弹窗并记录处理方式。这套校验并不是万能的它不能保证你一定过审但它的价值在于把明显的雷提前排掉。我实际用下来因为素材问题被拒的次数确实减少了。3. 实操过程用Goldie自动生成App Store素材的真实操作3.1 环境准备与安装先说明环境我的设备是一台MacBook ProApple Silicon系统是macOS 14Xcode 15.x。Goldie在官方的README里明确要求macOS环境因为它的模拟器控制和编码功能依赖Xcode自带的工具链Windows和Linux上是用不了的。安装过程很简单我使用的是Homebrew方式brew tap goldie-ai/goldie brew install goldie安装完成后验证一下版本goldie --version如果网络环境不方便用Homebrew也可以直接用源码方式安装。先把仓库clone下来然后通过本地的Python环境安装依赖。不过我还是建议优先用Homebrew省去处理Python依赖的麻烦。这里要提醒一点如果你是第一次在这台机器上使用Xcode命令行工具务必先执行一次sudo xcodebuild -license accept否则后续启动模拟器时可能会因为Xcode环境未初始化而报错。3.2 项目配置看清Goldie的配置文件Goldie的配置逻辑很清晰所有与目标App相关的信息都放在一个goldie.config.yaml文件里放在项目根目录下。下面是我实际使用中的一份简化配置project: name: MyCoolApp bundle_id: com.example.mycoolapp app_path: ./build/MyCoolApp.app version: 1.2.0 locales: - zh-Hans - en-US devices: - name: iPhone 15 Pro Max screen_size: 6.7 - name: iPhone 15 Pro screen_size: 6.1 screenshots: destinations: - page: 首页 description: 展示信息流和主运营位 actions: - scroll_down - page: 详情页 description: 展示商品详情和用户评价 actions: - tap: 商品卡片 preview_video: duration: 25 orientation: portrait script: - action: launch - action: tap target: 登录按钮 - action: input_text text: demoexample.com - action: scroll_down重点看几个字段。app_path指向你本地编译好的.app包Goldie会把这个包装进模拟器。这里有个细节xcodebuild编译出的.app路径通常是DerivedData目录下的某一层直接找比较麻烦建议用xcodebuild -showBuildSettings查看TARGET_BUILD_DIR来定位。screenshots.destinations定义了你需要哪些截屏场景。每个场景包含页面名称、描述和动作列表。page字段不是必须的但建议写清楚Agent在规划路径时会有更明确的方向。preview_video.script定义预览视频的操作脚本它和截屏的动作列表不同这里串联了一整套用户操作流程最终会录制成视频。注意时长我这个配置是25秒留了一点余量给转码损耗。配置文件的格式是YAML缩进错误会直接导致解析失败。建议改完配置后先跑一下goldie config --validate做检查。3.3 实战一一键生成多尺寸截图配置完成后生成截图只需要一条命令goldie screenshot --all这个命令会读取配置文件遍历所有devices和locales逐个启动模拟器、安装App、执行截屏动作、保存图片。实际运行中每个设备每种语言的截图生成大概需要2到3分钟主要耗时在模拟器启动和App冷启动阶段。生成结果会输出到项目目录下的./artifacts/screenshots目录结构是按设备语言和尺寸分层的artifacts/screenshots/ ├── zh-Hans/ │ ├── iPhone 15 Pro Max/ │ │ ├── 01_首页.png │ │ ├── 02_详情页.png │ │ └── 03_设置页.png │ └── iPhone 15 Pro/ │ ├── 01_首页.png │ └── 02_详情页.png └── en-US/ └── ...如果你想单独生成某个设备的截图用--device参数指定goldie screenshot --device iPhone 15 Pro Max --locale zh-Hans实际操作时我建议不要一上来就跑--all。先用单设备单语言跑通一遍确认截图质量OK再全量输出。原因很简单如果配置有误全量跑会浪费大量时间在模拟器启停上。3.4 实战二生成App Store预览视频预览视频的生成命令是goldie preview --device iPhone 15 Pro Max --locale zh-HansGoldie会根据配置文件里preview_video的script逐条执行动作同时启动屏幕录制。执行过程中终端会打印当前动作的状态比如正在点击登录按钮正在输入文本正在滚动列表。视频生成完成后会输出到./artifacts/previews目录同时会自动生成一份转码后的版本。App Store要求预览视频必须是H.264编码、大小不超过500MB、时长不超过30秒。Goldie在输出阶段会自动处理编码和压缩你不需要自己用HandBrake再转一次。关于模拟器录屏Goldie底层使用的是xcrun simctl io的录屏功能清晰度是够用的。但有一个问题模拟器录屏默认不包含音频。如果你的预览视频需要背景音乐或旁白Goldie默认是不处理的你需要在视频生成后用其他工具补音轨。Goldie留了--audio-path参数可以直接传入一段音频文件让它合成但实现效果只能算够用精细的音频编辑我还是建议用专业工具。预览视频最容易翻车的地方是操作速度。模拟器里的动画效果会导致实际录制时间比预期长。我建议在配置script时每个动作之间预留1秒左右的余量或者用goldie preview --slow-mo 1.5降低操作速度确保视频节奏稳定。3.5 实战三合规校验与报告解读素材生成完后就可以运行合规校验了goldie check --metadata-dir ./metadata --screenshots-dir ./artifacts/screenshots--metadata-dir是App Store Connect里的App元数据导出目录里面应该有name.txt、subtitle.txt、description.txt、keywords.txt等文件。如果不确定怎么导出可以在App Store Connect后台的App信息页面手动复制或者用App Store Connect API拉取。校验完成后Goldie会输出一份HTML格式的报告保存在./artifacts/check_report.html同时在终端打印出问题列表。报告里每个问题都会标注风险等级高几乎确定会被审核拒绝比如截图包含其他平台名称、元数据中使用了苹果官方品牌名中可能引起审核人员注意比如权限用途描述模糊、截图包含过多第三方版权内容低建议优化项比如截图分辨率不规范、视频时长接近30秒上限。报告还会给出具体的修改建议。这里有必要说明Goldie的校验结论是基于规则库和视觉模型的概率判断不是苹果官方审核结果。最终是否通过还是以App Store Connect的实际审核为准。但把它当审核前的一道自查关卡非常管用。4. 常见问题与排查技巧实录4.1 高频问题速查表我在实际使用过程中遇到过不少问题。整理一个速查表方便大家直接对照问题现象可能原因排查思路与解决方式模拟器启动后黑屏模拟器运行时版本与Xcode版本不匹配执行xcrun simctl list查看可用设备确认iOS Runtime已下载在Xcode Settings里补装对应版本截图保存成功但内容是空白App启动到可截屏状态所需时间过长在配置的动作列表中增加wait_for指定等待页面元素出现不要依赖固定延迟预览视频生成后只有声音没有画面模拟器录屏权限异常重启模拟器或者在命令中添加--reset-simulator参数清理模拟器状态校验报告出现大量中风险告警规则库对文案过度敏感在Goldie配置中为具体规则添加ignore白名单但要人工复核后再忽略英语语言包截图出现乱码文案App本地化字符串未正确配置检查.lproj文件是否完整重新编译App后再执行截图多语言批量生成时中途失败连续启动模拟器导致资源占用过高减少并行的设备数用--max-workers 1串行执行慢一点但稳定视频转码后尺寸不符合App Store要求模拟器分辨率与目标尺寸不一致在preview_video配置中显式指定output_width和output_height覆盖自动检测值4.2 三个最容易踩的坑与我的处理方法第一个坑是模拟器状态的重复利用问题。Goldie默认会在每次截图任务结束时不关停模拟器以便下次启动更快。这个设计初衷是好的但实际使用中如果上一次任务的App进入了异常状态比如崩溃弹窗残留下一次任务启动时很可能截图到错误页面。我现在的习惯是每完成一批任务手动执行一次xcrun simctl shutdown all确保下一次是干净状态。第二个坑是预览视频操作脚本太短导致成品内容空洞。你先给Goldie一个只有3个动作的script比如启动、点击、结束生成出来的视频内容就很单薄。苹果审核人员看得出这种视频没有充分展示App功能。实际操作上一个合格的预览视频至少需要6到8个连续动作覆盖启动页、核心功能入口、列表滑动、详情页展示、回到首页这样视频才丰满。第三个坑是合规校验里视觉模型对中文截图的识别误差。Goldie的视觉模型对英文截图的识别准确率比较高但面对中文界面时有时会把界面上的普通运营文案识别成风险项。遇到这种情况不要直接忽略先人工看一眼图片再决定。我遇到过把限时优惠误判为虚假促销的例子这种就应该走白名单处理。4.3 排查过程中一个值得一说的案例有一段时间我在批量生成多语言截图时发现en-US语言的截图全部生成失败但zh-Hans正常。日志里没有报错只是生成时间明显偏长。我反复检查配置文件也没有发现问题。后来用--debug模式重新跑发现Agent在模拟英文环境时迟迟无法定位到首页的某个按钮。进一步排查才知道这个按钮的文案是根据系统语言变化的中文环境显示立即购买英文环境显示Buy Now但我的App在英文本地化文件里漏配了这个字段导致按钮显示的还是中文。Agent在英文语言环境下找不到Buy Now元素就陷入了重试循环。这个案例给我两个启发一是Goldie这类编码Agent的性能表现很大程度上依赖App本身的本地化完成度二是遇到生成失败时不要只看表面报错先确认App在对应语言环境下是否真的可用。我后来把Goldie接入到CI流程时专门加了一步在Agent执行前先通过xcrun simctl启动App并截一张初始页人工检查一遍本地化显示是否正常。5. 实操心得与扩展建议5.1 使用Goldie之后我的发布流程发生了什么变化接入Goldie之前我每次发版素材准备环节大概是两天时间一天做截图和视频一天人工排查合规隐患。接入之后素材生成部分基本压缩到半天而且整个流程自动化程度很高我只需要在最终产物出来时做一次人工验收。我最大的感受是这类编码Agent带来的不是省掉一个人力这种量级的效率提升而是降低了高重复性工作的门槛。过去做截图素材需要熟悉模拟器截图、图片尺寸调整、视频编码规范等多个技能点。现在只要配置一次后续每次发版直接跑命令就行团队里任何一个接触过命令行的同学都可以操作。但我也有个清晰的边界认知Goldie不会自动帮你设计好看的截图排版它做的是生成和合规不是设计和创意。我见过一些开发者在截图里做精美的品牌化排版比如统一的背景、字体和留白这种视觉设计工作Goldie是不涉及的。它输出的是App真实界面的截屏不是营销图。5.2 还能怎么扩展从单机工具到发布流水线Goldie的命令行接口设计得很干净这让它很容易接入CI/CD流水线。我目前的做法是在CI的构建阶段结束后自动触发Goldie截图和预览视频任务产物归档到构建服务器然后在提审前自动执行goldie check把报告上传到团队的协作平台让负责审核确认的同学直接查看。这个流程跑通后发版需要的所有素材和合规报告都是自动生成的人工参与只在最终确认环节。另一个可以扩展的方向是接入Fastlane的lane。Goldie本身不提供Fastlane插件但Fastlane提供sh动作可以直接调用命令行所以只需要在Fastfile里写一段shell调用就行lane :prepare_metadata do sh(goldie, screenshot, --all) sh(goldie, preview, --all) sh(goldie, check, --metadata-dir, ./metadata, --screenshots-dir, ./artifacts/screenshots) end这样就能把Goldie和整套发版工作流整合起来。5.3 两个对我来说很有用的使用建议最后说两个我在实际使用中觉得很有用的建议。第一每次升级Goldie之后先跑一次校验任务不要直接跑生产任务。这个项目的迭代速度不慢每次升级后规则库、Agent规划策略都可能变化直接跑生产任务万一在关键节点上出了问题排查成本很高。我先用一个测试App跑一遍全流程确认没有退化再切换到正式项目。第二注意保管运行日志。Goldie每次运行都会在~/.goldie/logs下生成带时间戳的日志文件。遇到问题翻日志比看终端输出有效得多因为终端输出的信息是经过压缩的日志里才是完整的工具调用链。Agent在哪个步骤做了什么样的决策日志里都有记录这对理解报错原因帮助很大。我的建议是把它当成一个自动化助手而不是一个审核保证。它帮你省下的是重复劳动时间帮你兜底的是那些低级的、可规则化的错误但最终的素材质量和审核结果还是需要你自己把关。
Goldie实战：编码Agent一键生成App Store截图与预览视频
先说说我为什么要写这个项目。做移动开发这几年最烦的不是写代码是上架前的素材准备。尤其是App Store截图尺寸一堆预览视频还要逐台设备录录完还得注意有没有露出状态栏时间、有没有违反人机界面指南的敏感区域。最近在GitHub上看到一个叫Goldie的开源编码Agent项目专门解决这套流程——它能把生成App Store截图与预览视频、内置苹果上架合规校验整条链路自动化。我实际用了一段时间也把它接进了自己的产品发布流程这篇文章就把我的完整使用经验和踩坑过程分享出来。我尽量不写成官方文档复读机重点讲清楚三个事Goldie背后的编码Agent到底怎么工作、实操时每一步怎么操作、以及那些文档里不会告诉你的坑。1. 项目概述GitHub热评主角Goldie到底解决什么问题1.1 上架素材的痛点为什么独立开发者最痛恨传素材先看一个具体场景。你开发了一款App功能做完代码提审然后你打开App Store Connect发现要上传一堆东西iPhone 6.7英寸、6.5英寸、5.5英寸三种尺寸的截图每种尺寸又要配不同的展示文案iPad的截图又要按不同分辨率导出可选的App预览视频要求是15到30秒支持竖屏和横屏两种规格如果你的App支持多语言截图文案、预览视频里的文字、旁白语言全都要逐个语言处理。这一套下来光是导出素材就能占掉大半天时间。这还是顺利的情况。更麻烦的是预览视频你得在模拟器里面手动操作App用QuickTime录制录完再用Final Cut Pro或者其他工具裁剪、转码、加字幕。我见过有独立开发者为了三个语言的预览视频整整折腾了一周。这还没算上审核风险。截图里只要你露出了一点点不合规的内容比如第三方品牌Logo、真实的用户数据、甚至状态栏里的运营商名称都有可能收到审核驳回通知。很多人以为只有代码才会被拒实际上因为素材不合规被拒的比例相当高。1.2 Goldie三大能力拆解编码Agent、素材自动化、合规校验Goldie这个项目之所以在GitHub上能拿到较高的关注度是因为它把上面这些痛点拆成了三个能力打包在一个工具链里。第一它本质是一个编码Agent。所谓编码Agent不是一个简单的脚本而是基于大语言模型驱动、能自主规划操作步骤的智能体。你给它一个目标比如生成iPhone 15 Pro Max的App Store截图它会自己拆解步骤启动模拟器、安装App、打开指定页面、自动点击截屏、保存图片、按尺寸规范处理、输出到指定目录。整个过程不需要你手写每一条模拟器指令。第二它实现了App Store素材的自动化生成。不只是截图还包括预览视频。Goldie通过模拟器控制和UI自动化可以模拟真实用户操作App的过程并录制下来再经过自动裁剪、转码、拼接生成符合App Store规格的预览视频。多机型、多语言、多场景都可以通过配置一次性批量运行。第三它内置了苹果上架合规校验。这个能力我一开始觉得是噱头用久了才意识到这是最省心的部分。Goldie会在生成素材后自动检查截图内容和App元数据里可能违反App Store审核指南的地方比如是否包含隐藏功能、是否涉及敏感权限、界面文案是否含有被限制的词汇等。它不是替代人工审核而是提前帮你排除那些明显会踩雷的问题。2. 核心细节解析编码Agent如何自动完成截图与预览视频2.1 从目标到动作LLM驱动下的任务拆解机制要理解Goldie为什么是Agent而不是脚本可以想一想传统脚本和它的区别。传统自动化脚本是人写死的点这里、等两秒、截屏、保存。一旦界面布局变了、按钮位置调整了脚本立刻失效。你需要手动维护每一个坐标点。这种做法在一个App上还能凑合换一个App就得重写。Goldie基于编码Agent的思路完全不一样。它把生成截图这个高级目标交给LLM去规划。LLM会根据当前模拟器的界面状态动态决定下一步动作。比如目标是进入设置页并截屏Agent会先观察当前屏幕上的元素发现设置入口在底部Tab栏于是调用点击动作点击之后再观察新页面是否加载完成再决定是滚动还是截屏。这个过程是动态的、自适应的App界面微调了Agent也能根据所见到的内容重新规划路径。这里有个关键的实现细节Agent想要观察和操作模拟器必须依赖一层工具接口。Goldie在底层封装了完整的iOS模拟器控制能力包括启动/关闭模拟器、安装/卸载App、获取当前屏幕截图、模拟触摸事件、读取UI层级树等。LLM本身不会直接操作模拟器它只是根据工具返回的观察结果生成下一步调用哪个工具、传入什么参数。你可以把Goldie想象成一个项目经理LLM是拍板决策的人工具接口是执行任务的员工模拟器是施工现场。项目经理自己不搬砖但每一步都知道该让谁去做什么。这种架构带来的好处是你不需要懂模拟器的命令行参数也不需要懂UI自动化测试框架的API只要用自然语言描述你的目标就行。2.2 截图与预览视频的自动化实现逻辑截图和预览视频听起来是一回事实际操作逻辑差别很大。先看截图。App Store要求的是特定尺寸、特定设备的截图比如iPhone 15 Pro Max对应的是6.7英寸像素是1290x2796。Goldie的做法是先在配置里指定目标设备和目标尺寸然后启动对应的模拟器安装App进入指定页面触发截屏。为了实现进入指定页面Goldie会先解析App的页面结构识别出可以点击的UI元素然后按你给出的路径描述逐层导航。你也可以提供一个deeplink深度链接直接从特定页面开始效率更高。截屏生成后Goldie会交给LLM判断质量。什么意思就是让模型看一眼这张截屏确认页面是否完整加载、有没有弹窗遮挡、文案是否出现截断。如果觉得有问题Agent会自动重新截取或尝试关闭弹窗。这个自我检查机制是我认为Goldie区别于普通自动化工具的最大优势它确实能减少大批量的废图。再来看预览视频这部分更复杂。App Store预览视频本质上是一段录制好的屏幕操作时间通常15到30秒。Goldie生成预览视频的思路是先把你的操作流程定义成一连串UI动作比如启动App点击登录按钮输入测试账号进入首页滑动列表点击详情页然后自动执行这些动作同时用模拟器录制屏幕。录制结束后将原始视频按App Store要求的尺寸和时长裁剪转换编码格式H.264最后输出成品。这里有个非常容易出问题的地方视频时长和节奏。苹果要求预览视频时长不能超过30秒如果你的操作流程超过这个时间Goldie会自动截取关键片段并在三个时间点前段、中段、后段选择信息量最丰富的部分。这个过程听起来简单实际它背后要处理大量视频分析逻辑比如判断画面是否变化剧烈、是否出现空白过渡页。如果视频画面一直在一个静止的页面停留太久分析模型会自动跳过这段。2.3 苹果上架合规校验的内部实现合规校验是Goldie里最容易被人忽略的功能但也是我实际使用下来觉得最值得说的部分。苹果的App Store审核指南很长涉及安全、性能、业务、设计等多个维度。Goldie并不打算覆盖全部人工审核逻辑它聚焦的是那些可以用规则和模型自动判断的高频雷区。第一类是基于规则的检查。比如元数据里不能包含免费字样如果你的App实际上有内购项目不能包含其他平台的名称比如Android、Google Play不能在截图里出现未发布的App内容或者暗示App有系统级能力等。Goldie内置了一个规则库会逐条扫描你的截图文字、App名称、副标题、关键词和描述发现命中规则的内容就给出告警。这类检查非常快而且可以直接对应到审核指南的具体条款。第二类是基于视觉模型的检查。规则覆盖不了的场景比如截图里是否包含了其他品牌的Logo、是否出现了聊天消息中的用户头像、是否暴露了测试账号的明文密码这些靠关键词扫描是发现不了的。Goldie会把截图发给视觉模型由模型判断画面里是否存在违规的视觉元素。比如我在一次截图测试中界面底部弹出了开发环境的调试浮层这种很细微的元素人眼不仔细看都发现不了但视觉模型识别到了并给出了告警。第三类是权限与隐私提示检查。苹果对于收集用户数据的App有严格要求如果你的App在截图流程中没有正确处理权限弹窗或者隐私协议内容与权限声明不一致审核时很容易被追问。Goldie会在生成素材的同时检查App的Info.plist配置核对权限用途描述是否完整还会在自动化操作过程中捕获权限弹窗并记录处理方式。这套校验并不是万能的它不能保证你一定过审但它的价值在于把明显的雷提前排掉。我实际用下来因为素材问题被拒的次数确实减少了。3. 实操过程用Goldie自动生成App Store素材的真实操作3.1 环境准备与安装先说明环境我的设备是一台MacBook ProApple Silicon系统是macOS 14Xcode 15.x。Goldie在官方的README里明确要求macOS环境因为它的模拟器控制和编码功能依赖Xcode自带的工具链Windows和Linux上是用不了的。安装过程很简单我使用的是Homebrew方式brew tap goldie-ai/goldie brew install goldie安装完成后验证一下版本goldie --version如果网络环境不方便用Homebrew也可以直接用源码方式安装。先把仓库clone下来然后通过本地的Python环境安装依赖。不过我还是建议优先用Homebrew省去处理Python依赖的麻烦。这里要提醒一点如果你是第一次在这台机器上使用Xcode命令行工具务必先执行一次sudo xcodebuild -license accept否则后续启动模拟器时可能会因为Xcode环境未初始化而报错。3.2 项目配置看清Goldie的配置文件Goldie的配置逻辑很清晰所有与目标App相关的信息都放在一个goldie.config.yaml文件里放在项目根目录下。下面是我实际使用中的一份简化配置project: name: MyCoolApp bundle_id: com.example.mycoolapp app_path: ./build/MyCoolApp.app version: 1.2.0 locales: - zh-Hans - en-US devices: - name: iPhone 15 Pro Max screen_size: 6.7 - name: iPhone 15 Pro screen_size: 6.1 screenshots: destinations: - page: 首页 description: 展示信息流和主运营位 actions: - scroll_down - page: 详情页 description: 展示商品详情和用户评价 actions: - tap: 商品卡片 preview_video: duration: 25 orientation: portrait script: - action: launch - action: tap target: 登录按钮 - action: input_text text: demoexample.com - action: scroll_down重点看几个字段。app_path指向你本地编译好的.app包Goldie会把这个包装进模拟器。这里有个细节xcodebuild编译出的.app路径通常是DerivedData目录下的某一层直接找比较麻烦建议用xcodebuild -showBuildSettings查看TARGET_BUILD_DIR来定位。screenshots.destinations定义了你需要哪些截屏场景。每个场景包含页面名称、描述和动作列表。page字段不是必须的但建议写清楚Agent在规划路径时会有更明确的方向。preview_video.script定义预览视频的操作脚本它和截屏的动作列表不同这里串联了一整套用户操作流程最终会录制成视频。注意时长我这个配置是25秒留了一点余量给转码损耗。配置文件的格式是YAML缩进错误会直接导致解析失败。建议改完配置后先跑一下goldie config --validate做检查。3.3 实战一一键生成多尺寸截图配置完成后生成截图只需要一条命令goldie screenshot --all这个命令会读取配置文件遍历所有devices和locales逐个启动模拟器、安装App、执行截屏动作、保存图片。实际运行中每个设备每种语言的截图生成大概需要2到3分钟主要耗时在模拟器启动和App冷启动阶段。生成结果会输出到项目目录下的./artifacts/screenshots目录结构是按设备语言和尺寸分层的artifacts/screenshots/ ├── zh-Hans/ │ ├── iPhone 15 Pro Max/ │ │ ├── 01_首页.png │ │ ├── 02_详情页.png │ │ └── 03_设置页.png │ └── iPhone 15 Pro/ │ ├── 01_首页.png │ └── 02_详情页.png └── en-US/ └── ...如果你想单独生成某个设备的截图用--device参数指定goldie screenshot --device iPhone 15 Pro Max --locale zh-Hans实际操作时我建议不要一上来就跑--all。先用单设备单语言跑通一遍确认截图质量OK再全量输出。原因很简单如果配置有误全量跑会浪费大量时间在模拟器启停上。3.4 实战二生成App Store预览视频预览视频的生成命令是goldie preview --device iPhone 15 Pro Max --locale zh-HansGoldie会根据配置文件里preview_video的script逐条执行动作同时启动屏幕录制。执行过程中终端会打印当前动作的状态比如正在点击登录按钮正在输入文本正在滚动列表。视频生成完成后会输出到./artifacts/previews目录同时会自动生成一份转码后的版本。App Store要求预览视频必须是H.264编码、大小不超过500MB、时长不超过30秒。Goldie在输出阶段会自动处理编码和压缩你不需要自己用HandBrake再转一次。关于模拟器录屏Goldie底层使用的是xcrun simctl io的录屏功能清晰度是够用的。但有一个问题模拟器录屏默认不包含音频。如果你的预览视频需要背景音乐或旁白Goldie默认是不处理的你需要在视频生成后用其他工具补音轨。Goldie留了--audio-path参数可以直接传入一段音频文件让它合成但实现效果只能算够用精细的音频编辑我还是建议用专业工具。预览视频最容易翻车的地方是操作速度。模拟器里的动画效果会导致实际录制时间比预期长。我建议在配置script时每个动作之间预留1秒左右的余量或者用goldie preview --slow-mo 1.5降低操作速度确保视频节奏稳定。3.5 实战三合规校验与报告解读素材生成完后就可以运行合规校验了goldie check --metadata-dir ./metadata --screenshots-dir ./artifacts/screenshots--metadata-dir是App Store Connect里的App元数据导出目录里面应该有name.txt、subtitle.txt、description.txt、keywords.txt等文件。如果不确定怎么导出可以在App Store Connect后台的App信息页面手动复制或者用App Store Connect API拉取。校验完成后Goldie会输出一份HTML格式的报告保存在./artifacts/check_report.html同时在终端打印出问题列表。报告里每个问题都会标注风险等级高几乎确定会被审核拒绝比如截图包含其他平台名称、元数据中使用了苹果官方品牌名中可能引起审核人员注意比如权限用途描述模糊、截图包含过多第三方版权内容低建议优化项比如截图分辨率不规范、视频时长接近30秒上限。报告还会给出具体的修改建议。这里有必要说明Goldie的校验结论是基于规则库和视觉模型的概率判断不是苹果官方审核结果。最终是否通过还是以App Store Connect的实际审核为准。但把它当审核前的一道自查关卡非常管用。4. 常见问题与排查技巧实录4.1 高频问题速查表我在实际使用过程中遇到过不少问题。整理一个速查表方便大家直接对照问题现象可能原因排查思路与解决方式模拟器启动后黑屏模拟器运行时版本与Xcode版本不匹配执行xcrun simctl list查看可用设备确认iOS Runtime已下载在Xcode Settings里补装对应版本截图保存成功但内容是空白App启动到可截屏状态所需时间过长在配置的动作列表中增加wait_for指定等待页面元素出现不要依赖固定延迟预览视频生成后只有声音没有画面模拟器录屏权限异常重启模拟器或者在命令中添加--reset-simulator参数清理模拟器状态校验报告出现大量中风险告警规则库对文案过度敏感在Goldie配置中为具体规则添加ignore白名单但要人工复核后再忽略英语语言包截图出现乱码文案App本地化字符串未正确配置检查.lproj文件是否完整重新编译App后再执行截图多语言批量生成时中途失败连续启动模拟器导致资源占用过高减少并行的设备数用--max-workers 1串行执行慢一点但稳定视频转码后尺寸不符合App Store要求模拟器分辨率与目标尺寸不一致在preview_video配置中显式指定output_width和output_height覆盖自动检测值4.2 三个最容易踩的坑与我的处理方法第一个坑是模拟器状态的重复利用问题。Goldie默认会在每次截图任务结束时不关停模拟器以便下次启动更快。这个设计初衷是好的但实际使用中如果上一次任务的App进入了异常状态比如崩溃弹窗残留下一次任务启动时很可能截图到错误页面。我现在的习惯是每完成一批任务手动执行一次xcrun simctl shutdown all确保下一次是干净状态。第二个坑是预览视频操作脚本太短导致成品内容空洞。你先给Goldie一个只有3个动作的script比如启动、点击、结束生成出来的视频内容就很单薄。苹果审核人员看得出这种视频没有充分展示App功能。实际操作上一个合格的预览视频至少需要6到8个连续动作覆盖启动页、核心功能入口、列表滑动、详情页展示、回到首页这样视频才丰满。第三个坑是合规校验里视觉模型对中文截图的识别误差。Goldie的视觉模型对英文截图的识别准确率比较高但面对中文界面时有时会把界面上的普通运营文案识别成风险项。遇到这种情况不要直接忽略先人工看一眼图片再决定。我遇到过把限时优惠误判为虚假促销的例子这种就应该走白名单处理。4.3 排查过程中一个值得一说的案例有一段时间我在批量生成多语言截图时发现en-US语言的截图全部生成失败但zh-Hans正常。日志里没有报错只是生成时间明显偏长。我反复检查配置文件也没有发现问题。后来用--debug模式重新跑发现Agent在模拟英文环境时迟迟无法定位到首页的某个按钮。进一步排查才知道这个按钮的文案是根据系统语言变化的中文环境显示立即购买英文环境显示Buy Now但我的App在英文本地化文件里漏配了这个字段导致按钮显示的还是中文。Agent在英文语言环境下找不到Buy Now元素就陷入了重试循环。这个案例给我两个启发一是Goldie这类编码Agent的性能表现很大程度上依赖App本身的本地化完成度二是遇到生成失败时不要只看表面报错先确认App在对应语言环境下是否真的可用。我后来把Goldie接入到CI流程时专门加了一步在Agent执行前先通过xcrun simctl启动App并截一张初始页人工检查一遍本地化显示是否正常。5. 实操心得与扩展建议5.1 使用Goldie之后我的发布流程发生了什么变化接入Goldie之前我每次发版素材准备环节大概是两天时间一天做截图和视频一天人工排查合规隐患。接入之后素材生成部分基本压缩到半天而且整个流程自动化程度很高我只需要在最终产物出来时做一次人工验收。我最大的感受是这类编码Agent带来的不是省掉一个人力这种量级的效率提升而是降低了高重复性工作的门槛。过去做截图素材需要熟悉模拟器截图、图片尺寸调整、视频编码规范等多个技能点。现在只要配置一次后续每次发版直接跑命令就行团队里任何一个接触过命令行的同学都可以操作。但我也有个清晰的边界认知Goldie不会自动帮你设计好看的截图排版它做的是生成和合规不是设计和创意。我见过一些开发者在截图里做精美的品牌化排版比如统一的背景、字体和留白这种视觉设计工作Goldie是不涉及的。它输出的是App真实界面的截屏不是营销图。5.2 还能怎么扩展从单机工具到发布流水线Goldie的命令行接口设计得很干净这让它很容易接入CI/CD流水线。我目前的做法是在CI的构建阶段结束后自动触发Goldie截图和预览视频任务产物归档到构建服务器然后在提审前自动执行goldie check把报告上传到团队的协作平台让负责审核确认的同学直接查看。这个流程跑通后发版需要的所有素材和合规报告都是自动生成的人工参与只在最终确认环节。另一个可以扩展的方向是接入Fastlane的lane。Goldie本身不提供Fastlane插件但Fastlane提供sh动作可以直接调用命令行所以只需要在Fastfile里写一段shell调用就行lane :prepare_metadata do sh(goldie, screenshot, --all) sh(goldie, preview, --all) sh(goldie, check, --metadata-dir, ./metadata, --screenshots-dir, ./artifacts/screenshots) end这样就能把Goldie和整套发版工作流整合起来。5.3 两个对我来说很有用的使用建议最后说两个我在实际使用中觉得很有用的建议。第一每次升级Goldie之后先跑一次校验任务不要直接跑生产任务。这个项目的迭代速度不慢每次升级后规则库、Agent规划策略都可能变化直接跑生产任务万一在关键节点上出了问题排查成本很高。我先用一个测试App跑一遍全流程确认没有退化再切换到正式项目。第二注意保管运行日志。Goldie每次运行都会在~/.goldie/logs下生成带时间戳的日志文件。遇到问题翻日志比看终端输出有效得多因为终端输出的信息是经过压缩的日志里才是完整的工具调用链。Agent在哪个步骤做了什么样的决策日志里都有记录这对理解报错原因帮助很大。我的建议是把它当成一个自动化助手而不是一个审核保证。它帮你省下的是重复劳动时间帮你兜底的是那些低级的、可规则化的错误但最终的素材质量和审核结果还是需要你自己把关。
