适用：绝大多数 USB UVC 免驱摄像头；MIPI 板载 ISP 相机逻辑有差异。

一、图像像素格式（最核心选型特性）

USB 摄像头两种主流输出格式，直接决定带宽、帧率、CPU 占用。

1. MJPG / MJPEG（压缩格式，开发首选）

• 原理：摄像头硬件内部 JPEG 编码输出压缩码流
• 优点：
  1. USB 带宽占用极低；
  2. 同分辨率下能跑到标称最高帧率（1280×720@30fps）；
  3. ARM 平台 OpenCV自带硬件 / 软件解码压力小。
• 缺点：存在压缩噪声、轻微画质损失；多次压缩会劣化图像。
• 典型场景：AI 目标检测、工业视觉、RDK USB 相机常规采集。

2. YUYV（YUY2，无压缩原始格式）

格式排布：Y0 U0 Y1 V0，4:2:2 色度采样

• 优点：原始图像，无压缩失真；色彩信息完整。
• 缺点：带宽巨大 1280×720 YUYV：1280*720*2= 1.84MB/帧30fps ≈ 55MB/s；USB2.0带宽极易瓶颈（54M），高分辨率帧率暴跌。

很多相机：1280×720 YUYV 仅支持10fps，同分辨率 MJPG 可达30fps。

3. 其他少见格式

YV12、NV12：多出现于板载 MIPI ISP 摄像头；普通 USB UVC 很少支持。

⚠️关键知识点： OpenCV 读取图像后统一转为BGR；无论底层 MJPG/YUYV，上层 frame 都是 BGR 数组。

二、分辨率 & 离散尺寸特性

1. 摄像头只支持厂商固化的几组离散分辨率，不支持任意宽高； 查询命令：v4l2-ctl -d /dev/video0 --list-formats-ext
2. 无法设置相机不支持的分辨率；cap.set()不会报错，硬件自动就近匹配最接近一档。
3. 常见规格：
   • 640×480（VGA）
   • 1280×720（720P）
   • 1920×1080（1080P）

三、帧率（Frame Rate）特性

1. 帧率绑定分辨率 + 图像格式： 同一相机：1080P MJPG@30fps，但 1080P YUYV 可能仅5~15fps。
2. 标称帧率是最大上限帧率；实际帧率受：USB 带宽、光线、自动曝光影响。
3. 自动曝光环境光线弱时，相机会自动拉长曝光时间，强制降低帧率。

工业固定帧率需求：必须【关闭自动曝光】锁定快门时间。

1080P 指一种高清视频分辨率标准，有效像素规格为 1920×1080。其中 1080 代表画面纵向拥有 1080 条（并行）像素扫描线，字母 P 是 Progressive（逐行扫描），区别于隔行扫描 i。逐行扫描会一次性完整渲染所有画面行，图像更稳定，无闪烁锯齿。1080P 也常称作全高清（FHD），广泛应用于显示器、USB 摄像头、视频监控。需要注意分辨率不等于画质，同样 1080P 下，编码格式、帧率、传感器质量、带宽都会影响成像效果。USB 摄像头 1080P 常见 30fps，采用 MJPG 编码更易稳定运行，YUYV 原始格式对 USB 带宽要求更高。

四、曝光（Exposure）体系特性【工业视觉重点】

1. 自动曝光模式（Auto Exposure）

相机内部算法动态调整两个参数：

• 快门（曝光时间）：光线暗→拉长快门；上限受最大帧率限制；
• 模拟增益（Gain）：快门达到上限后，提升增益；增益越高噪点越多。

2. 手动曝光模式（Manual）

关闭自动曝光，可以固定快门值。

✅优势：画面亮度稳定、帧率恒定，适合 AI 识别、工件检测。

❌缺点：环境亮度大范围变化时画面过曝 / 偏暗。

参数控制命令示例（V4L2）

bash

运行

# 切换手动曝光 v4l2-ctl -d /dev/video0 --set-ctrl auto_exposure=0 # 设置曝光值（单位硬件自定义，参考相机手册） v4l2-ctl -d /dev/video0 --set-ctrl exposure=600

重大坑：OpenCV cap.set无法可靠控制曝光，Linux 下优先 v4l2-ctl。

五、白平衡 White Balance

1. 自动白平衡 AWB动态调整 RGB 通道增益，适应光源（日光、室内灯光）；画面色彩随光源轻微漂移。
2. 手动白平衡锁定色温；色彩稳定，适合需要颜色识别场景。

bash

运行

# 关闭自动白平衡 v4l2-ctl --set-ctrl white_balance_automatic=0

六、图像基础画质控制参数

通过v4l2-ctl --list-ctrls可以查看是否支持：

1. Brightness亮度：整体画面偏移
2. Contrast对比度：明暗差距
3. Saturation饱和度：色彩浓淡；饱和度 = 0 变成灰度图
4. Gamma 伽马校正：调整中间调亮度；影响人眼观感，AI 推理一般建议默认
5. Hue 色调

七、USB 带宽与总线特性（RDK 极易踩坑）

1. USB2.0 理论带宽：480Mbps高分辨率 YUYV 原始流极易占满带宽，出现丢帧、卡顿。 →工程方案：优先 MJPG 压缩格式
2. USB 拓扑冲突：多个 USB 相机共用同一个 USB Hub，带宽均分，多相机同时采集会降帧率。
3. RDK 主板区分 USB2.0/USB3.0 口；USB3.0 向下兼容 USB2.0 设备。

八、V4L2 内核缓冲机制（时延根源）

Linux V4L2 驱动内置环形缓冲区，缓存多帧图像。

• 默认缓冲 3~5 帧：画面存在滞后延迟；
• 嵌入式低时延方案：将缓冲队列设置为 1

python

运行

cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)

⚠️副作用：网络 / USB 波动时更容易丢帧；平衡时延与稳定性。

九、采集工作模式：grab () /retrieve () /read ()

1. read()= grab + retrieve（绝大多数业务使用），返回后的数据是解码后的图像数据。
2. grab()：仅从内核抓取原始数据流，不解码，耗时很短，返回的原始数据流。
3. retrieve()：将缓存原始数据解码为图像数组，返回的解码后图像数据。

多路相机同步采集推荐分离模式：所有相机先 grab，再统一 retrieve，减小不同相机之间的帧时间差。

十、设备节点特性（UVC 摄像头特殊规则）

标准 USB UVC 摄像头插入后生成两个 /dev/videoX

• videoN+0：Video Capture（图像采集，程序使用）
• videoN+1：Metadata Capture（传感器元数据，不要用来读图）

区分 USB 相机 / RDK 板载 MIPI 相机：读取/sys/class/video4linux设备链路，路径包含usb才是 USB 相机。

十一、热插拔与资源占用特性

1. USB 相机热插拔后/dev/videoX序号可能漂移（video0 变 video2） ✅根治方案：通过 USB 总线地址识别相机，不依赖 video 编号
2. 程序异常退出没有执行cap.release()→V4L2 句柄不释放，设备持续占用；无法二次打开，需要重启进程 / 拔插相机。 ✅规范写法：try...finally保证 release 执行。

十二、帧率统计、丢帧特性

1. 上层 Pythoncap.read()循环耗时不稳定（Python 调度波动）；不能用循环间隔当作真实相机帧率。
2. 丢帧两类原因：
   • 底层：USB 带宽不足、V4L2 缓冲区溢出（硬件丢帧）
   • 上层：Python 业务处理太慢，消费速度 < 相机生产速度（缓冲区堆满自动丢弃旧帧）

十三、卷帘快门 / 全局快门（硬件重大特性）

卷帘快门（绝大多数普通 USB 摄像头）

逐行曝光；拍摄高速移动物体出现果冻效应（倾斜、变形）适合：静态场景、缓慢移动目标。

全局快门（工业相机）

整幅图像同时曝光；无果冻效应。 适合：运动工件、高速检测场景；价格远高于卷帘快门。

⚠️软件无法把卷帘快门转为全局快门，属于传感器硬件特性。

十四、畸变与镜头特性

普通 USB 镜头存在径向畸变；如果需要精确测量，需要：

1. 使用 OpenCV 完成相机标定
2. cv2.undistort()实时校正画面畸变 AI 目标检测如果不涉及尺寸测量，一般可以忽略畸变。

十五、开发选型速查表（直接用于 RDK 项目评估）

表格

十六、补充：OpenCV 与 V4L2 能力边界总结

1. ✅OpenCV 可以：打开设备、设置分辨率、读取图像
2. ❌OpenCV 短板：
   • 无法枚举相机支持的分辨率 / 格式（只能 v4l2-ctl）
   • 曝光、白平衡、增益控制兼容性差

最佳工程架构：v4l2-ctl 预配置相机硬件参数 → OpenCV 只负责采集图像并送入 BPU 推理