OpenShorts AI布局自动决策的秘密为什么发12帧比发整个视频更聪明含成本测算【免费下载链接】openshortsOpen source AI clip generator: turns long videos into viral 9:16 shorts with AI moment detection, face tracking, subtitles and dubbing. Self-host free with Docker (MIT), or use the cloud with GPU speed from $12/mo. MCP server and API for AI agents.项目地址: https://gitcode.com/gh_mirrors/op/openshortsOpenShorts 是一个开源 AI 短视频生成器AI clip generator能把长视频自动剪成 9:16 的病毒式短视频内置 AI 片段检测、人脸追踪、字幕和配音。它的AI 布局自动决策功能不上传整个视频给大模型而是只发 12 张关键帧截图——速度快 7 倍token 成本只有整段视频的约 1/360准确率却几乎不掉。本文拆解这个决策系统的设计思路并附上完整的成本测算。一、为什么布局决定 AI 短视频的生死把 16:9 横屏视频裁成 9:16 竖屏时直接居中裁剪会把画面两侧丢掉。OpenShorts 为此设计了三种布局由 AI 为每个源视频自动选择布局效果适用场景none追踪裁剪镜头跟随说话人裁满整个竖屏单人口播、特写采访、运动、音乐split双人堆叠两位说话人上下各占半屏字幕放在中间接缝处同框对谈、播客访谈screencast屏幕在上录屏/幻灯片满宽在上说话人缩小在下教程、网页演示、图表讲解split 布局的效果对比选对布局视频观感就是专业剪辑师水平选错要么把关键图表裁掉要么把两个说话人叠出同一个肩膀。二、四次失败为什么测量像素赢不了直接提问这个项目团队其实试了四次传统方案让模型或像素算法去测量某种指标——边缘密度、MSER 文本密度、画面内容时长占比、内容宽度占比——再用阈值把数字翻译成布局决策。四次都栽在同一件事上分不清满屏表格和角落记分牌。转折点是换了一个问题不再让模型测量而是直接要决策本身三选一的分类题。这个区别不只是措辞它决定了模型的稳定性。之前团队测过 Gemini 的非确定性同一视频连续两次跑内容覆盖率给出 1% 和 97% 两种答案——所以让模型量一个连续数值这条路被直接判了死刑。但在 48 条手工标注的测试集上三选一的分类决策连续三次跑出94% / 92% / 96%的准确率只有 2 条在两次之间改过答案。方差来自连续测量不来自模型。关键提示词要求模型只回答三种之一且明确拿不准就答 none在 gemini_worker.py。三、核心技巧发 12 帧而不是整个视频Gemini 对视频的计费约为每秒 300 tokens。这意味着1 小时视频 ≈108 万 tokens——还没开始分析就撞穿了 1M 上下文窗口还得先上传 1–2GB 的视频文件就为了换回一个词的答案。而 OpenShorts 的流水线日常处理的就是小时级播客正常情况恰好就是最坏情况。于是 layout_picker.py 里的方案极其朴素用 ffmpeg/OpenCV 从视频里均匀抽 12 帧、缩放到 1024px 宽、编码成 JPEG连同提示词一次发给模型采样逻辑见 layout_picker.py。12 张截图固定消耗约 3k tokens无论源视频是 3 分钟还是 3 小时。关键结论分辨率才是差距不是帧数团队在同一 48 条测试集上做了对照实验输入方式准确率耗时整个视频94% / 92% / 96%~15 秒/条12 帧 640px90% / 90%~2.2 秒/条12 帧 1024px92%~2.2 秒/条24 帧 1024px90%—两个反直觉的发现640px 下表格里的字根本读不清这是准确率掉 2–4 个百分点的真正原因把帧数翻倍到 24 反而略差——说明多看点不如看清点。1024px 时12 帧方案与整视频方案的差距92% vs 94/92/96%落在整视频模式自身的运行方差之内——即统计上等价换来 7 倍速度。四、成本测算一个视频到底省多少钱以1 小时源视频、产出 1 批短视频为例成本项整视频上传12 帧方案token 消耗~1.08M超窗口基本不可用~3k上传体积1–2GB 视频~12 张小图单次决策耗时~15 秒~2.2 秒单视频费用项目自测 shadow 模式超出上下文窗口~$0.002每月 3000 个视频不可行约 $6更妙的是 main.py 里的两道省钱闸门每个源视频只决策一次不是每个片段一次——这是个录屏是素材的属性不会因为它被剪出 8 个片段就变 8 次源视频本来就是竖屏就直接跳过——竖屏没有重新组织画面的空间问了也是白问。五、如何信任一个 AI 的自动决策只加不减 Shadow 模式好系统不怕偶尔答错怕的是错了还造成损失。OpenShorts 的防线有三层只加不减原则layout_picker.py 中DECISION_FLAGS只把布局决策映射成开启哪些模块。如果你已经手动开了 split 布局模型说none也不会关掉它——人的显式选择永远优先。Shadow 模式设AUTO_LAYOUTshadow后系统照常决策、但一个模块都不动只在日志里记一行我会做什么。因为全部 48 条测试数据都是手挑的 YouTube 片段而用户上传的真实素材是没人看过的分布——先用 shadow 跑一周花 $0.002/视频 搞清楚它对我们的视频说什么且没有任何方式弄坏一个用户付费的片段。失败静默降级没有 API key、SDK 加载失败、模型乱答——一律退回默认布局pick() 函数 的合同是永不抛异常。自动化场景下如 Autopilot 定时抓取频道最新视频批量剪辑这套机制就是无感工作的六、决策如何落地从一个词到渲染管线模型回答的screencast/split/none会被翻译成具体开关screencast→ 开启 screencast_layout.py满宽内容在上、说话人在下且只有当内容横跨超过 50% 画面宽度才触发角落台标、计分器天然低于这条线split→ 同时开启 split_layout.py 和 active_speaker.py两人堆叠 说话人切换检测要求50% 以上采样帧里两张脸同框才成立避免把正反交替剪辑误判成双人渲染时每个场景用到的布局会写进片段.layout.json伴生文件layout_ranges.py字幕系统据此把 split 场景的字幕放在上下半屏的接缝处——那里恰好是画面里最空的位置。单元测试见 tests/test_layout_picker.py。七、快速上手三步启用 AI 布局自动决策git clone https://gitcode.com/gh_mirrors/op/openshorts按 README.md 用 Docker 自托管8GB 内存MIT 协议免费准备好你自己的GEMINI_API_KEY没有 key 时整个布局选择会静默跳过走默认布局设置环境变量AUTO_LAYOUT1建议先跑AUTO_LAYOUTshadow观察几天。就这么简单。决策是每视频一次12 帧、约 3k tokens、2 秒多对绝大多数人来说费用可以忽略不计——你换来的是每个视频都自动匹配最合适的竖屏构图什么都不用配置。总结OpenShorts 的 AI 布局自动决策给出了三个可复用的工程经验问决策别问测量——把连续数值 阈值换成有限选项 分类回答模型的方差立刻可控抽样要看得清而不是看得多——12 帧 1024px 打败 24 帧 640px分辨率是第一杠杆给自动决策上保险——只加不减、shadow 先行、失败静默降级让AI 偶尔答错的成本恒等于零。这正是它能以每视频约 $0.002 的成本把小时级长视频自动变成看起来像人工剪辑的 9:16 短视频的秘密。【免费下载链接】openshortsOpen source AI clip generator: turns long videos into viral 9:16 shorts with AI moment detection, face tracking, subtitles and dubbing. Self-host free with Docker (MIT), or use the cloud with GPU speed from $12/mo. MCP server and API for AI agents.项目地址: https://gitcode.com/gh_mirrors/op/openshorts创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
