在计算机视觉项目落地过程中,数据标注往往是模型训练周期中最容易被低估的一环。
以无人零售商品检测项目为例,某客户计划上线一套自动识别货架商品的视觉系统,需要覆盖数万个SKU类别。项目初期,客户准备采集约50万张真实门店图片作为训练数据。
按照传统流程,需要先对全部图片进行目标框标注、类别标注,再交由算法团队训练模型。但实际推进后发现,问题并不简单:
一方面,50万张图片意味着大量人工成本投入;另一方面,模型训练早期对数据的需求并不是“越多越好”,大量容易识别的样本对于模型性能提升贡献有限,而真正影响模型边界能力的,往往是那些模糊、遮挡、光照异常、类别相似的困难样本。
在传统全量标注模式下,团队花费大量时间标注简单数据,但模型效果提升逐渐进入瓶颈。
这也是许多AI项目都会遇到的问题:
如何让有限的标注预算,优先投入到对模型最有价值的数据上?
主动学习(Active Learning)正是在这一背景下被应用到数据标注流程中的一种数据选择策略。它并不是减少数据需求,而是改变数据进入训练集的顺序,让人工标注更加聚焦。
在实际项目中,我们发现,主动学习通常无法做到“10%的数据达到100%的效果”,但通过合理设计闭环流程,可以在部分场景下用约30%的标注量达到接近全量数据训练的模型效果,从而降低整体标注成本。
一、主动学习的核心思想:让模型决定标注什么数据
传统数据标注流程通常是:
数据采集 → 全量人工标注 → 模型训练 → 效果评估
而主动学习改变了这一逻辑:
数据采集 → 少量数据标注 → 初始模型训练 → 模型筛选高价值样本 → 人工补充标注 → 模型迭代
其中最关键的环节,是模型主动寻找“不确定”的数据。
简单来说:
普通数据由模型自己处理,困难数据交给人工判断。
例如,在商品识别任务中:一张清晰无遮挡的可乐瓶图片,模型预测置信度达到99%,继续增加类似数据意义有限;一张被手遮挡、光线较暗、包装相似的饮料图片,模型预测置信度只有52%,这类数据更值得进入人工标注环节。
主动学习关注的,就是这些影响模型决策边界的数据。
其基本循环过程如下:
- 冷启动阶段
项目初期,从未标注数据池中随机抽取一部分数据,由人工完成基础标注。
例如50万张图片的数据池,先人工标注5000~10000张,建立初始训练集。
- 训练初始模型
利用少量标注数据训练基础模型,使模型具备一定预测能力。
- 查询策略筛选样本
模型对剩余未标注数据进行推理,根据策略挑选最有价值的数据。
- 人工标注难例
将筛选出的困难样本提交人工标注,并加入训练集。
- 重新训练模型
随着困难样本不断补充,模型决策边界逐渐优化。
- 循环迭代
不断重复筛选、标注、训练过程,直到达到目标性能。
二、主动学习中的关键:如何判断哪些数据值得标注?
主动学习真正的技术核心,不是“自动标注”,而是“数据价值评估”。
目前项目中常见的方法主要包括以下几类。
1. 基于不确定性的采样(Uncertainty Sampling)
这是计算机视觉项目中最常使用的方法。
(1)最小置信度采样
模型输出多个类别概率:
例如:商品A:0.52、商品B:0.46、商品C:0.02
模型无法明确判断A和B之间的区别,因此该样本具有较高价值。
算法会优先选择这类低置信度样本。
(2)边缘采样(Margin Sampling)
关注最高概率类别和第二高概率类别之间的差距。
例如:样本1:猫:95%,狗:3%
模型非常确定。
样本2:猫:52%,狗:47%
模型处于判断边缘。
第二类样本更适合进入人工标注。
(3)熵值采样(Entropy Sampling)
通过计算预测分布的不确定程度选择数据。
如果模型输出概率分布越平均,说明模型越无法判断。
公式通常表示为:
H(x) = -Σp(y|x)log p(y|x)
熵值越高,样本信息价值越大。
2. 基于模型委员会的方法(Query By Committee)
另一种方式是训练多个模型,让模型之间进行“投票”。
例如:模型A认为:商品类别=矿泉水,模型B认为:商品类别=饮料,模型C认为:商品类别=果汁,多个模型意见不一致的数据,会被认为是高价值样本。
这种方法计算成本更高,但对于复杂任务,例如自动驾驶感知、多目标检测等场景,通常具有更好的筛选能力。
在实际数据标注项目中,主动学习并不是算法团队单独完成的工作,而需要模型、数据和标注流程之间形成闭环。
以汇众天智协助客户落地主动学习流程为例,我们通常会将客户模型推理接口与标注平台进行对接:
①模型输出预测结果;
②标注平台接收低置信度样本;
③自动生成待标注任务;
④标注人员完成困难样本修正;
⑤数据进入版本管理系统;
⑥新版本数据返回模型训练。
同时,在实际生产环境中,还需要增加难例复查机制。
因为模型筛选出来的数据并不一定全部有效,其中可能包含:图片质量过低;重复采集数据; 标签定义不清; 数据分布异常。
因此,主动学习流程本质上仍然是“模型筛选+人工判断”的人机协同模式,而不是简单替人工。
三、项目案例:某无人零售SKU识别项目如何降低70%标注成本
下面以一个实际项目类型进行说明。
某无人零售企业需要训练商品识别模型,用于门店摄像头自动识别商品。
项目初始数据:
项目指标 | 数值 |
未标注图片池 | 50万张 |
SKU数量 | 8000类 |
目标检测模型 | YOLO系列模型 |
初始目标mAP | 62.4% |
如果采用传统方式,需要完成50万张图片完整标注。
经过主动学习方案设计后,项目采用多轮迭代。
具体过程如下:
迭代阶段 | 新增标注量 | 累计标注量 | 模型mAP |
冷启动 | 8000张 | 8000张 | 62.4% |
第1轮难例筛选 | 50000张 | 58000张 | 73.8% |
第2轮难例筛选 | 60000张 | 118000张 | 81.6% |
第3轮难例筛选 | 40000张 | 158000张 | 86.9% |
最终优化 | 约20000张 | 178000张 | 89.2% |
最终:
传统方案:
50万张全部标注。
主动学习方案:
累计标注约17.8万张。
从数据量看,实际标注量约为全量数据的35%左右。
但项目成本不能简单按照“标注数量减少65%”计算,因为主动学习流程增加了一些额外工作。
实际新增成本包括:
1. 数据清洗成本
模型筛选出的部分样本存在:重复图片; 模糊图片; 无效场景。
约15%的筛选数据需要人工过滤。
增加成本约:
8000元。
2. 难例标注效率下降
困难样本通常比普通样本复杂。
例如:普通商品框标注:平均10秒/张。遮挡、堆叠商品:
可能需要30秒以上。导致人工标注效率下降约20%。增加成本:约2万
3. 质检复核成本
由于困难样本直接影响模型边界,需要增加二次审核。
增加:
约1.5万元。
综合计算:
成本项目 | 传统方案 | 主动学习方案 |
基础标注 | 100% | 35% |
数据清洗 | 0 | +5% |
难例效率损耗 | 0 | +8% |
质检复核 | 0 | +7% |
综合成本 | 100% | 约30% |
最终项目综合成本下降约70%。
需要注意的是,这个结果来自明确的数据分布和模型迭代条件,并不是所有项目都能够达到类似效果。
四、主动学习适合什么项目?
主动学习并不是所有AI项目的通用答案。
从实际落地经验来看,它更适合以下类型:
1. 模型需要持续迭代的项目
例如:自动驾驶感知系统; 工业视觉检测; 智能机器人视觉。
随着新数据不断产生,需要持续优化模型。
2. 类别变化频繁的业务
例如:
新零售SKU识别。
商品包装不断变化,如果每次都重新全量标注,成本压力较高。
主动学习可以优先发现新类别和模型薄弱区域。
3. 审核规则快速变化的任务
例如:
内容审核、安全检测。
规则变化后,模型需要快速吸收新的边界案例。
但以下情况需要谨慎使用:
1. 样本极度不均衡
如果目标类别本身极少,例如百万张图片中只有几十个异常样本。
模型的不确定性可能无法有效发现这些关键数据。
需要结合人工规则采样。
2. 任务定义不明确
主动学习依赖模型判断。
如果标签体系本身没有确定,例如:
什么属于违规内容?
什么属于缺陷产品?
模型的不确定性没有实际意义。
3. 项目周期过短
主动学习通常需要:
训练模型 → 筛选数据 → 标注 → 再训练
至少多个循环。
如果项目只有几周时间,传统标注可能更简单。
4. 客户缺少模型工程能力
主动学习不是单独的软件工具,需要:模型推理接口; 数据管理能力; 训练流程; 评价指标体系。
否则难以形成闭环。
在实际合作中,汇众天智更多承担的是数据流程协同角色,包括:根据模型需求调整标注策略;对接客户算法接口;建立任务流转机制;管理数据版本; 配合难例复核。
最终目标不是减少人工,而是让人工投入更加精准。
五、总结:主动学习降低的是无效标注,而不是取消标注
主动学习在数据标注领域的价值,可以理解为:
让人工标注从“大规模覆盖”转向“针对模型薄弱区域优化”。
它解决的是数据效率问题,而不是替代数据生产。
真正有效的主动学习方案,需要同时具备:稳定的数据采集;可迭代的模型训练流程;合理的不确定性策略;高质量人工标注体系;数据版本管理能力。
对于数据标注服务方而言,未来的竞争重点也不只是提供人工产能,而是参与客户的数据闭环建设。
汇众天智在协助客户进行数据项目落地时,也会结合具体业务场景,与算法团队共同探索更加高效的数据迭代方式。
主动学习不是降低数据价值,而是帮助团队把有限资源投入到真正影响模型性能的数据上。对于需要长期优化的AI项目,这种数据驱动的迭代方式正在成为越来越重要的工程实践。