1. 从“示教”到“自学”厨房做饭到底难在哪先问一个问题一台工业机械臂和一整套厨房工具摆在面前让机器人做一盘西红柿炒鸡蛋你会选择怎么实现如果你做过ABB、KUKA或FANUC的现场调试第一反应大概率是“示教”——把机械臂拉到每个关键点位记录姿态写好轨迹再反复调速度、调平滑参数最后让它按固定路径走一遍。这套流程在工厂里非常成熟搬箱子、点焊、涂胶、码垛全靠它吃饭。但把它搬到厨房事情就开始不对劲了。厨房不是一个“结构化的环境”。西红柿有大小、软硬、摆放朝向的差异锅在灶台上的位置总有几厘米的偏差鸡蛋打下去之后蛋液的流向和飞溅完全是随机事件。传统示教里最看重的“点位可重复性”在这里意义不大——因为根本没有一个标准点让你重复。你需要的不是一条精确到毫米的轨迹而是一种“看见什么就随机应变地接下来该做什么”的能力。这正是我从机械臂示教转向模仿学习研究的原因。而ACTAction Chunking with Transformers短短几年内从实验室走到社区和创客圈成为很多人做机器人“做饭”“叠衣”“整理桌面”这类任务的首选方案。它解决的核心问题就是让机器人从“背出轨迹”进化为“看懂场景、推理下一步动作”。要让一个从没接触过机器人的读者理解这件事我觉得最直观的类比是传统示教相当于把舞蹈动作一帧一帧录下来然后每次播放一模一样而ACT模仿学习是让机器人看人类跳了很多遍舞之后自己总结出“音乐到了某个节奏我应该迈左脚还是右脚”。这篇文章我打算按自己从接触示教、到踩坑模仿学习、最后实现在厨房场景上做一套完整做饭流程的路径来写把ACT的原理、数据采集、训练细节、部署过程中遇到的各种坑一并交代清楚。无论你是做工业机器人出身、想进阶到具身智能方向还是刚接触机器人的学生应该都能从里面找到对你有用的东西。2. ACT模仿学习的核心机制不是“模仿动作”而是“预测动作序列”2.1 传统行为克隆为什么在精细操作上翻车先回顾一下模仿学习里最基础的方法行为克隆Behavior CloningBC。思路很简单拿一堆人类操作的数据图像、关节角度、末端位姿训练一个神经网络输入当前状态输出下一步动作。看起来没毛病但实际训练厨房这类任务时问题非常明显。第一个问题是误差累积。BC的预测是单步的每一帧拿当前图像预测一个动作执行一步再拿新图像预测下一步。模型总有一点误差哪怕很小一步偏1毫米连续执行几百步之后末端早就不知道飘到哪儿去了。就像开车不看远、只对着车头前一米的路况打方向盘早晚会冲出马路。第二个问题是动作表达的“多峰性”。同一个场景下合理动作可能不止一个——同样一个鸡蛋放在碗边你可以从左边捏也可以从右边捏还可以用铲子推。单步BC网络面对几种都合理的动作只会学一个“平均”左边一点、右边一点、再带一点推结果就是一个都不对抓手落在鸡蛋上时角度总是歪的。第三个问题是高频控制导致的抖动。机械臂通常以20Hz~100Hz的频率输出控制指令每一步都要网络推理一次任何一帧的预测波动都会被机械臂放大成高频抖动抓取稳定性极差。这三个问题叠加之后用普通BC做出来的机械臂动作看起来像一个“帕金森患者在抢菜”——每个单步都没大错连起来完全没法用。2.2 ACT的破局点把“动作”当作一句话来生成ACT的全称是Action Chunking with Transformers核心思想概括起来就是与其一帧一帧预测不如一次预测未来50~100步的动作序列然后用Transformer把这些动作序列当作一个完整句子来“生成”。理解这个设计很关键。之所以叫“Chunking”是因为模型输出的不是单个动作而是一段动作块action chunk。这一下就把前面说的误差累积问题解决了——模型一次咬定未来一段时间的整条轨迹而不是走一步看一步天然避免了“每步一点小误差叠成一个大偏移”。而Transformer负责建模动作序列内部的时序依赖。它在自然语言处理里最擅长的就是捕捉长距离关联反映到动作上就是模型能自己学到“先抬高、再平移、最后下降”这样的节奏结构。也就是说ACT输出的不是一个瞬时位姿而是带速度、带节奏、带约束的完整运动段。对比一下就很清楚对比项传统BCACT输出粒度单步动作50~100步动作块误差累积严重大幅缓解时序建模无/弱Transformer自注意力动作表达单峰均值拟合条件变分分布高频抖动明显显著减少这正是ACT能做好“打鸡蛋”“切菜”“翻锅”这类动态任务的根本原因。它在设计之初就不要求机器人“每步都猜中”而是要求它“把整段动作做流畅”——这更贴近人类做动作的真实方式。2.3 CVAE让机器人学会“这次这么做、下次换个做法”ACT里还有一个容易被忽略但极其重要的组件——CVAEConditional Variational Autoencoder条件变分自编码器。前面说同一个场景有多个合理的动作路径ACT用CVAE解决这个问题。简单理解CVAE在训练时学出一个潜在变量空间latent space同样一个场景对应一个分布而不是一个点。每次推理时从这个分布中采样就能得到略有差异但都合理的动作。我在实际测试中发现这个机制对做菜特别重要。比如夹取一块豆腐第一次采样出的动作是直接横着铲进去第二次可能是先向下压一点点再抬起来两个动作都能成功但轨迹不一样。这在视觉上就是“机器人动作更自然”的来源之一——它不再是每次复读机一样走一模一样的老路而是像人一样每次略有变化。而且CVAE还起到一个正则化的作用防止模型过拟合到训练数据上。训练数据里打鸡蛋可能都是从左边磕的如果模型硬编码成“每次都从左边磕”换个方向摆的蛋就废了。CVAE引入的随机性加上条件输入迫使模型学到的是“磕蛋”这个抽象技能本身而不是某次具体路径。2.4 说说硬件平台ALOHA与普通六轴臂的区别ACT最早出圈是在斯坦福的ALOHA系统上双手、移动底盘、夹爪、多个摄像头一套下来小几万人民币。很多人在网上看到视频觉得“就是两台机械臂嘛”实际差别很大。ALOHA最关键的设计是“同构遥操作”homomorphic teleoperation操作员控制端和机器人执行端结构完全相同左右一一对应这样采集数据时操作员的动作可以直接通过主从映射记录到机械臂关节角上不需要标定复杂的基座转换关系也不需要逆解。这极大降低了数据采集门槛。如果你只有一台普通的六轴协作臂比如法奥、遨博、JAKA这类不用灰心也能做ACT。只是数据采集的方式要变一变要么用手拖拽示教模式记录关节轨迹要么直接用3D鼠标、空间手柄这类设备遥控。但坦白讲采集效率和质量都比不上同构遥操作。用拖拽示教采一个完整的“拿杯子倒水”动作我试过手酸不说轨迹还特别不稳。所以如果你认真想做精细操作类任务建议优先考虑带主从遥操作方案的平台。如果预算有限至少也要保证能在软件层面平滑记录和回放轨迹否则后面训练出来的动作会自带“手抖”。3. 从零到一训练一个会做蛋炒饭的ACT模型全流程3.1 任务拆解先把“做饭”拆成能训练的技能原子把“做蛋炒饭”整个任务直接丢给一个模型去学门槛太高动作序列太长训练难度和失败率都不可控。我的做法是先拆成若干个技能原子skill primitive每个原子单独训练一个ACT模型再用状态机或者简单的行为树把它们串起来。以蛋炒饭为例拆出来大概是拿鸡蛋、磕蛋、打散蛋液、倒油、倒蛋液、翻炒、加饭、再翻炒、出锅装盘。每个原子都对应一个相对独立的动作段时长在2~6秒之间。这样每个模型的任务空间都很小训练快、成功率高。这套思路跟工业机器人编程里“把复杂路径拆成多个简单动作块”是一脉相承的。区别在于工业机器人拆完后每个模块是固定轨迹而ATP拆完后每个模块是“懂意图”的策略网络具备一定泛化能力。拆完后要对每个技能原子定义输入输出输入一个或多个摄像头画面建议至少一个第一视角、一个俯视全局视角输出未来50~100步的双臂关节目标位置动作空间如果是ALOHA平台就是14维两只手臂各7个关节如果是单臂平台通常6~7维。3.2 数据采集一份高质量数据胜过十份凑数数据数据采集是整个ACT项目中最耗时、最影响最终效果、又最容易被新手低估的环节。我见过太多人花了大价钱搞到硬件、跑通了训练代码结果因为数据太差训练出来的动作烂得离谱转而抱怨算法不行。实际上问题十有八九出在数据质量上。先说数据量。对于单个技能原子比如“拿鸡蛋”我先采了大概80~120条演示。每条演示大约3~5秒记录频率取30Hz左右那么每条是90~150帧。这样单个任务的演示帧数差不多在一万帧上下。如果你的任务动作变异性更大比如“切菜”每次切的食材位置都不同建议增加到200~300条。数据质量要注意几个细节。第一个是动作干净利落不要拖泥带水。做演示的人在操作的时候手要稳动作要连贯。任何犹豫、抖动、反复试探都会被记录下来并成为模型学习的“标准答案”。第二个是场景多样性。同一个任务建议在稍微不同的位置、光线、背景、食材摆放角度下采集帮助模型学会“关注任务本身而不是记住某个特定画面”。第三个是首尾状态要统一。每个演示都从差不多的初始位置开始以目标完成结束这样模型才可能学到明确的“开始”和“终止”条件。还有一个小细节容易被忽视采集数据时机器人运动速度要跟实际部署时一致。因为ACT的Transformer建模的是时序依赖它学到的不只是位置路径还包括速度节奏。如果你演示时动作很慢部署时却调高控制频率和速度增益机器人动作会失真严重的会出现末端剧烈振荡。3.3 训练细节参数怎么设、训练多久、Loss怎么看ACT的模型结构不算太复杂视觉编码器ResNet18或类似提取图像特征与机器人状态拼在一起送入Transformer编码器再由 Transformer 解码器逐帧生成动作块。关键超参数如下这是我实测比较稳的一套方案参数推荐值说明图像分辨率480×480太低丢细节太高显存爆炸视觉编码器ResNet18数据量小时比ResNet50稳不易过拟合动作块长度chunk size100约3.3秒过长动作滞后过短失去意义Transformer层数6~8复杂任务取上限训练轮数epochs100~200看验证误差趋势学习率1e-4AdamW配合余弦退火Batch Size8根据显存调整数据增强随机裁剪、颜色扰动增强泛化性尤其光照变化训练过程我用一张24GB显存的GPURTX 3090或4090级别100条演示数据大概20~40分钟能训完一个技能原子。重点观察两个东西验证集上的动作误差通常用L1或MSE以及实际部署时的成功率。Loss曲线方面提供一个经验如果训练Loss降得很低但验证Loss很高典型过拟合赶紧加数据增强或者调小模型容量如果两个Loss都降不下去先别调模型回去看数据——大概率数据质量有问题比如演示轨迹中断、图像模糊、或者多条演示动作差异过大。3.4 部署与推理从PyTorch到真实机械臂控制训练完模型后部署过程分为两个部分模型推理和机械臂控制。模型推理部分先用PyTorch跑通离线测试确认输出动作序列合理再考虑导出为TorchScript或ONNX方便在机器人电脑上低延迟推理。注意ACT的Transformer在CPU上推理慢建议至少用GPU或者用TensorRT优化。我实测一张RTX 3060 Laptop GPU单次推理约15~25ms可以支撑30Hz的控制频率足够日常操作。机械臂控制部分要么用厂家提供的SDK要么走ROS2。从ROS2集成角度来说最好的实践是单独开一个推理节点订阅相机话题和当前关节状态发布目标关节位置到机械臂控制话题。控制频率不必跟推理频率完全一致目标位置以固定周期比如每100ms发布一次即可。机械臂底层的平滑插值会让关节运动保持连续。我在部署时踩过一个坑直接拿模型输出的关节角去命令真实机械臂关节会有明显“咔咔”的不流畅感。原因在于ACT输出的是离散动作块块与块之间可能存在微小不连续。解决办法是在机械臂端做一次轻量平滑比如用三次样条插值或者一阶低通滤波器把目标轨迹顺一下。3.5 仿真先行MuJoCo、Isaac Lab与真实环境的取舍在碰真机之前先上仿真不是可有可无的步骤而是能省下大把时间和维修费的必经之路。尤其是做机器人控制方向的朋友仿真环境几乎决定了你迭代模型的速度。常用的有MuJoCo和Isaac Lab或Isaac Sim。MuJoCo胜在轻量、物理引擎稳定、适合做精细操作比如夹取、倒水这类动作Isaac Lab的优势在于场景渲染逼真度高、支持多传感器仿真适合做视觉相关的迁移学习。如果你没有机器人硬件或者担心把真机械臂搞坏完全可以在MuJoCo里先搭一套ALOHA同构模型用鼠标或键盘控制虚拟机械臂采数据训练好后再转移到真机上。当然仿真数据迁移到真机存在sim-to-real gap需要在仿真里加随机化随机光照、随机物体位置、随机纹理尽量让模型学到“不变的特征”。如果你有真机我建议的做法是仿真场景中验证模型基本逻辑没问题、动作不冲出关节极限再花真机时间微调。真机时间是最宝贵的资源一次撞机、一次夹爪卡顿消耗的时间和金钱可能比你在仿真里多跑一百次训练还要多。4. 像人一样干活从单技能到完整做饭流程的编排4.1 状态机把技能原子串成完整流程单个技能原子训练好了就像积木块做好了接下来要做的就是把它们拼在一起。我用的是最简单也最可靠的方式——有限状态机FSM。以蛋炒饭流程为例状态迁移大概是当前状态触发条件迁移到拿蛋手爪检测到蛋的位姿有效磕蛋磕蛋蛋已到碗沿、角度正确打散打散蛋液打散帧数达成倒油倒油油瓶倾角到位、倒油时间满足倒蛋液倒蛋液碗口倾斜、蛋液接触锅面翻炒翻炒炒制计时完成加饭加饭饭盒到位、倾倒角度正确再翻炒再翻炒炒制计时完成出锅每个状态的进入条件需要视觉模块提供反馈。最简单的实现是阈值判断比如检测蛋在图像中的位置是否已移动到碗沿附近高级一点可以用训练好的目标检测模型YOLO识别蛋、锅、碗的位姿。如果你不想引入太多视觉模型也可以退而求其次固定场景、固定相机机位用图像像素坐标的简单颜色分割来获取关键物体的位置。厨房场景里蛋壳偏白、蛋液偏黄、锅体偏黑颜色分割的鲁棒性比想象中好不少。4.2 坐标系与“眼在手上”还是“眼在手外”做完整流程部署时避不开坐标系的问题。这里我强烈建议不要把所有物体都放到机器人基坐标系里去精确标定。传统工业机器人项目里你可能会用探针、激光跟踪仪做手眼标定确保每个抓取点都精确到毫米。但厨房场景物体位置浮动大、类别多这种“毫米级标定再录点”的思路效率太低。ACT的范式决定了对坐标系精度要求不高——模型直接把图像特征映射到动作空间不需要精确的标定矩阵。但有一个小前提就是图像输入和动作空间之间的关系不能大变。换句话说相机位置一旦固定就不要轻易移动如果需要移动尽量固定镜头到机械臂本体眼在手上这样相机随机械臂移动图像内容与动作空间的对应逻辑保持一致。如果你做的是“眼在手外”相机固定在支架上建议相机装在不会碰撞、视野覆盖整个操作台的角度。装好后用胶带做标记最好把相机位置固定死——哪怕挪动5厘米都会让模型的动作出现可感知的偏差。4.3 夹爪与工具适配机械臂学会“用工具”的关键做厨房任务夹爪的设计和选型直接影响成败。很多工业场景用的两指平行夹爪夹鸡蛋容易碎、夹豆腐容易烂、夹铲子容易滑。我自己试过几种方案简单分享两指平行夹爪适合夹锅柄、饭盒这类刚性物体不适合夹软质食材三指自适应手能适应蛋、黄瓜这类形状不规则的物体但控制和维护复杂吸盘适合抓取表面光滑平整的物体盘子、锅盖不适合蛋液、油瓶定制软体夹爪适合豆腐、面包这类易损物体但精度低、耐用性一般我的建议是目前阶段不要追求“万能夹爪”而是针对特定任务选最优方案甚至可以一个任务换一个末端工具。炒蛋用软体夹爪抓锅柄用平行夹爪倒油用固定支架配合开合机构这样每个技能原子的成功率都能提上去。还有一个小技巧在做数据采集时末端工具的类型必须与部署时一致。如果你用软体夹爪采集磕蛋数据部署时换成平行夹爪模型输出的动作很可能完全失灵因为夹爪的几何形状、抓取接触方式变了很多。4.4 完整流程的实战效果与失败率说说我实测的效果。我搭建的蛋炒饭全流程从拿蛋到出锅总共8个技能原子每个原子单独成功率大约在85%~95%之间。串成完整流程后总成功率大约在40%~60%之间主要失败集中在磕蛋和翻炒两个环节。磕蛋失败往往是因为蛋的摆放角度太刁钻或者蛋壳比训练集中的更硬。翻炒失败主要是炒铲与锅壁的摩擦力矩超过机械臂末端的承受范围导致动作偏离预测轨迹。解决方法一个是增加数据多样性专门采集各种角度摆蛋的数据另一个是给机械臂增加力矩保护超过阈值立即停止防止损坏设备。40%的总成功率听起来不高但在研究场景里已经属于可以接受的“已完成原理验证”水平。如果要想做到稳定商用需要的不是算法层面的突破而是工程层面的打磨更可靠的视觉检测、更稳定的夹爪、更符合人体工学的动作采集方式、更好的场景标准化。5. 常见问题与避坑指南ACT实操细节实录5.1 数据采集阶段为什么你的数据训练出来动作很怪数据采集是新手踩坑最多的环节。我总结了几个高频问题和对应解法做成速查表供参考现象可能原因解决方法模型学到的动作总是偏离目标演示时末端位置记录不准确降低演示速度确保主从映射无误动作抖动剧烈演示时手不够稳/控制频率过高加平滑滤波降低实际控制频率多条演示差异过大导致模型迷茫任务定义不清晰细化任务拆解缩小“一个技能”的范围演示成功但部署失败仿真/真机环境与采集环境差异太大增加场景随机化训练时加数据增强这里有个容易被忽略的细节采集数据时操作员应该尽可能保持同样的身体姿势和观察角度。如果是通过第一视角相机采集操作员身体前倾和后仰都会导致画面内容改变模型会把这个“视角变化”误当成“跟任务相关的信息”学进去。5.2 训练调参阶段Loss不降或过拟合怎么办训练时最常见的挫败感来源是Loss曲线不符合预期。如果Loss一直在高位不下降先检查数据预处理。常见问题包括图像没做归一化、关节角度数值范围不一致有些是弧度有些是度、正负号方向反了。ACT对输入特征的scale很敏感建议所有状态量统一做标准化。如果训练Loss很低但部署效果烂大概率是过拟合。我见过一个案例训练数据里所有演示的鸡蛋都朝同一个方向模型就把“鸡蛋朝那个方向”当成了必要条件换了个方向就抓不住。解决办法是给视觉输入加更强的随机裁剪和颜色扰动同时在数据层面刻意增加不同方向摆蛋的演示。如果训练一切正常但部署时动作滞后明显检查是不是推理延迟太高。ACT输出的是100步的动作块如果你控制频率是30Hz意味着模型每3.3秒才更新一次目标动作序列。这个更新频率配合动作块输出本身是合理的但如果推理延迟过大会导致动作序列更新不及时形成“预测跟不上实际”的滞后感。5.3 部署运行阶段真机上容易遇到的“隐形问题”部署到真机上问题往往出在软件和硬件的边界上。第一个问题是机械臂关节限位。仿真里不会撞到机械臂的物理限位真机上会。我在训练时曾让模型输出一个锅铲往下的动作但在真机上那个姿势已经超出了腕关节的软限位机械臂直接报警停机。解决方案是训练时在动作空间上边界加软约束或者在部署代码里对模型输出做一次限位裁剪超限的直接夹断。第二个问题是相机曝光和白平衡。训练时如果用了固定曝光的相机部署时遇到窗外阳光变化画面亮度突变模型立刻失灵。建议相机设置为手动曝光、固定白平衡甚至可以用偏振片减少反光。这个问题在厨房环境尤其严重——锅面、瓷砖、台面的反光非常影响视觉。第三个问题是夹爪控制与机械臂控制之间的时序配合。ACT模型输出的是关节角目标但夹爪的开合指令往往需要独立控制。如果夹爪在机械臂到达抓取位置之前就闭合或者闭合太晚都会导致抓取失败。建议把夹爪动作也纳入训练数据让模型同时输出夹爪的开合状态。5.4 泛化能力换一个厨房还能用吗这个问题很多人问我的答案是ACT模型的泛化能力取决于训练数据的多样性而不是模型本身的魔法。如果你只在A厨房采了50条数据模型是学不会在B厨房做同样动作的。新厨房的台面颜色、锅的材质、灯光方向都变了而这些全部会反映在图像上。要让模型具备基本的环境泛化能力至少要在3~5个环境里采集数据每个环境覆盖不同的光线和物体摆放。如果更进一步想让模型适应同一个任务在新物体不同品牌的不粘锅、不同形状的鸡蛋盒上的表现那还需要更多物体级别的数据增强。目前这仍是具身智能领域的研究热点没有一劳永逸的解决方案。务实一点的做法是认准一个场景、一个任务、一套工具做到高成功率再逐步扩展任务库。贪多嚼不烂。6. 关于“人性化”ACT之后的机器人和我们印象里的有什么区别做了那么久的机械臂示教我越来越觉得ACT给人的最大冲击不是技术指标上的提升而是它对“机器人应该怎么被定义”这件事的重新回答。传统工业机器人的角色是“高精度重复执行器”它燥不了创新、交替不了策略它的价值来自可重复性。而ACT训练出来的机器人开始具备一点“基于理解的动作选择”能力。这直接带来了两个层面上的变化。第一是交互体验的变化。当你看到一台机械臂磕鸡蛋之前先轻轻转一下手腕、确认蛋壳的朝向再下力气你会有一种强烈的“它大概知道自己在干什么”的错觉——或者说不是错觉它确实在根据输入图像调整动作策略。第二是系统架构的变化。传统机器人的关节运动全部由预编程轨迹决定而ACT部署后机械臂的行为是由一个神经网络实时生成的同一个输入可能因为潜在变量的采样不同而输出不同的动作轨迹。这在传统机器人开发范式里是不可想象的。说到这儿就不得不提现在人形机器人赛道的热度。宇树、特斯拉Optimus等项目的技术路径越来越趋近于“大模型控制硬件本体”的逻辑而ACT这种模仿学习方法恰好为“让机器人学会一个人的动作”提供了高效的工具。人形机器人炒菜、叠衣服、做家务的未来叙事本质上建立在“理论上机器人可以通过足够的演示数据学会任意任务”这个假设之上。我个人的判断是ACT不会是终点未来一定会出现更强的大模型互作或者世界模型来替代它但ACT这个路线图的稳定价值在于证明了一个朴素的思路与其把机器人编程成一台预设轨迹的机器不如把它训练成一个可以持续吸收新技能的学徒。从机械臂示教到模仿学习本质上是把“告诉机器人怎么做”变成了“演示给机器人看怎样做”。这条路远比一开始想象的更远但也更有价值。
ACT模仿学习实战：从数据采集到机械臂做饭全流程
1. 从“示教”到“自学”厨房做饭到底难在哪先问一个问题一台工业机械臂和一整套厨房工具摆在面前让机器人做一盘西红柿炒鸡蛋你会选择怎么实现如果你做过ABB、KUKA或FANUC的现场调试第一反应大概率是“示教”——把机械臂拉到每个关键点位记录姿态写好轨迹再反复调速度、调平滑参数最后让它按固定路径走一遍。这套流程在工厂里非常成熟搬箱子、点焊、涂胶、码垛全靠它吃饭。但把它搬到厨房事情就开始不对劲了。厨房不是一个“结构化的环境”。西红柿有大小、软硬、摆放朝向的差异锅在灶台上的位置总有几厘米的偏差鸡蛋打下去之后蛋液的流向和飞溅完全是随机事件。传统示教里最看重的“点位可重复性”在这里意义不大——因为根本没有一个标准点让你重复。你需要的不是一条精确到毫米的轨迹而是一种“看见什么就随机应变地接下来该做什么”的能力。这正是我从机械臂示教转向模仿学习研究的原因。而ACTAction Chunking with Transformers短短几年内从实验室走到社区和创客圈成为很多人做机器人“做饭”“叠衣”“整理桌面”这类任务的首选方案。它解决的核心问题就是让机器人从“背出轨迹”进化为“看懂场景、推理下一步动作”。要让一个从没接触过机器人的读者理解这件事我觉得最直观的类比是传统示教相当于把舞蹈动作一帧一帧录下来然后每次播放一模一样而ACT模仿学习是让机器人看人类跳了很多遍舞之后自己总结出“音乐到了某个节奏我应该迈左脚还是右脚”。这篇文章我打算按自己从接触示教、到踩坑模仿学习、最后实现在厨房场景上做一套完整做饭流程的路径来写把ACT的原理、数据采集、训练细节、部署过程中遇到的各种坑一并交代清楚。无论你是做工业机器人出身、想进阶到具身智能方向还是刚接触机器人的学生应该都能从里面找到对你有用的东西。2. ACT模仿学习的核心机制不是“模仿动作”而是“预测动作序列”2.1 传统行为克隆为什么在精细操作上翻车先回顾一下模仿学习里最基础的方法行为克隆Behavior CloningBC。思路很简单拿一堆人类操作的数据图像、关节角度、末端位姿训练一个神经网络输入当前状态输出下一步动作。看起来没毛病但实际训练厨房这类任务时问题非常明显。第一个问题是误差累积。BC的预测是单步的每一帧拿当前图像预测一个动作执行一步再拿新图像预测下一步。模型总有一点误差哪怕很小一步偏1毫米连续执行几百步之后末端早就不知道飘到哪儿去了。就像开车不看远、只对着车头前一米的路况打方向盘早晚会冲出马路。第二个问题是动作表达的“多峰性”。同一个场景下合理动作可能不止一个——同样一个鸡蛋放在碗边你可以从左边捏也可以从右边捏还可以用铲子推。单步BC网络面对几种都合理的动作只会学一个“平均”左边一点、右边一点、再带一点推结果就是一个都不对抓手落在鸡蛋上时角度总是歪的。第三个问题是高频控制导致的抖动。机械臂通常以20Hz~100Hz的频率输出控制指令每一步都要网络推理一次任何一帧的预测波动都会被机械臂放大成高频抖动抓取稳定性极差。这三个问题叠加之后用普通BC做出来的机械臂动作看起来像一个“帕金森患者在抢菜”——每个单步都没大错连起来完全没法用。2.2 ACT的破局点把“动作”当作一句话来生成ACT的全称是Action Chunking with Transformers核心思想概括起来就是与其一帧一帧预测不如一次预测未来50~100步的动作序列然后用Transformer把这些动作序列当作一个完整句子来“生成”。理解这个设计很关键。之所以叫“Chunking”是因为模型输出的不是单个动作而是一段动作块action chunk。这一下就把前面说的误差累积问题解决了——模型一次咬定未来一段时间的整条轨迹而不是走一步看一步天然避免了“每步一点小误差叠成一个大偏移”。而Transformer负责建模动作序列内部的时序依赖。它在自然语言处理里最擅长的就是捕捉长距离关联反映到动作上就是模型能自己学到“先抬高、再平移、最后下降”这样的节奏结构。也就是说ACT输出的不是一个瞬时位姿而是带速度、带节奏、带约束的完整运动段。对比一下就很清楚对比项传统BCACT输出粒度单步动作50~100步动作块误差累积严重大幅缓解时序建模无/弱Transformer自注意力动作表达单峰均值拟合条件变分分布高频抖动明显显著减少这正是ACT能做好“打鸡蛋”“切菜”“翻锅”这类动态任务的根本原因。它在设计之初就不要求机器人“每步都猜中”而是要求它“把整段动作做流畅”——这更贴近人类做动作的真实方式。2.3 CVAE让机器人学会“这次这么做、下次换个做法”ACT里还有一个容易被忽略但极其重要的组件——CVAEConditional Variational Autoencoder条件变分自编码器。前面说同一个场景有多个合理的动作路径ACT用CVAE解决这个问题。简单理解CVAE在训练时学出一个潜在变量空间latent space同样一个场景对应一个分布而不是一个点。每次推理时从这个分布中采样就能得到略有差异但都合理的动作。我在实际测试中发现这个机制对做菜特别重要。比如夹取一块豆腐第一次采样出的动作是直接横着铲进去第二次可能是先向下压一点点再抬起来两个动作都能成功但轨迹不一样。这在视觉上就是“机器人动作更自然”的来源之一——它不再是每次复读机一样走一模一样的老路而是像人一样每次略有变化。而且CVAE还起到一个正则化的作用防止模型过拟合到训练数据上。训练数据里打鸡蛋可能都是从左边磕的如果模型硬编码成“每次都从左边磕”换个方向摆的蛋就废了。CVAE引入的随机性加上条件输入迫使模型学到的是“磕蛋”这个抽象技能本身而不是某次具体路径。2.4 说说硬件平台ALOHA与普通六轴臂的区别ACT最早出圈是在斯坦福的ALOHA系统上双手、移动底盘、夹爪、多个摄像头一套下来小几万人民币。很多人在网上看到视频觉得“就是两台机械臂嘛”实际差别很大。ALOHA最关键的设计是“同构遥操作”homomorphic teleoperation操作员控制端和机器人执行端结构完全相同左右一一对应这样采集数据时操作员的动作可以直接通过主从映射记录到机械臂关节角上不需要标定复杂的基座转换关系也不需要逆解。这极大降低了数据采集门槛。如果你只有一台普通的六轴协作臂比如法奥、遨博、JAKA这类不用灰心也能做ACT。只是数据采集的方式要变一变要么用手拖拽示教模式记录关节轨迹要么直接用3D鼠标、空间手柄这类设备遥控。但坦白讲采集效率和质量都比不上同构遥操作。用拖拽示教采一个完整的“拿杯子倒水”动作我试过手酸不说轨迹还特别不稳。所以如果你认真想做精细操作类任务建议优先考虑带主从遥操作方案的平台。如果预算有限至少也要保证能在软件层面平滑记录和回放轨迹否则后面训练出来的动作会自带“手抖”。3. 从零到一训练一个会做蛋炒饭的ACT模型全流程3.1 任务拆解先把“做饭”拆成能训练的技能原子把“做蛋炒饭”整个任务直接丢给一个模型去学门槛太高动作序列太长训练难度和失败率都不可控。我的做法是先拆成若干个技能原子skill primitive每个原子单独训练一个ACT模型再用状态机或者简单的行为树把它们串起来。以蛋炒饭为例拆出来大概是拿鸡蛋、磕蛋、打散蛋液、倒油、倒蛋液、翻炒、加饭、再翻炒、出锅装盘。每个原子都对应一个相对独立的动作段时长在2~6秒之间。这样每个模型的任务空间都很小训练快、成功率高。这套思路跟工业机器人编程里“把复杂路径拆成多个简单动作块”是一脉相承的。区别在于工业机器人拆完后每个模块是固定轨迹而ATP拆完后每个模块是“懂意图”的策略网络具备一定泛化能力。拆完后要对每个技能原子定义输入输出输入一个或多个摄像头画面建议至少一个第一视角、一个俯视全局视角输出未来50~100步的双臂关节目标位置动作空间如果是ALOHA平台就是14维两只手臂各7个关节如果是单臂平台通常6~7维。3.2 数据采集一份高质量数据胜过十份凑数数据数据采集是整个ACT项目中最耗时、最影响最终效果、又最容易被新手低估的环节。我见过太多人花了大价钱搞到硬件、跑通了训练代码结果因为数据太差训练出来的动作烂得离谱转而抱怨算法不行。实际上问题十有八九出在数据质量上。先说数据量。对于单个技能原子比如“拿鸡蛋”我先采了大概80~120条演示。每条演示大约3~5秒记录频率取30Hz左右那么每条是90~150帧。这样单个任务的演示帧数差不多在一万帧上下。如果你的任务动作变异性更大比如“切菜”每次切的食材位置都不同建议增加到200~300条。数据质量要注意几个细节。第一个是动作干净利落不要拖泥带水。做演示的人在操作的时候手要稳动作要连贯。任何犹豫、抖动、反复试探都会被记录下来并成为模型学习的“标准答案”。第二个是场景多样性。同一个任务建议在稍微不同的位置、光线、背景、食材摆放角度下采集帮助模型学会“关注任务本身而不是记住某个特定画面”。第三个是首尾状态要统一。每个演示都从差不多的初始位置开始以目标完成结束这样模型才可能学到明确的“开始”和“终止”条件。还有一个小细节容易被忽视采集数据时机器人运动速度要跟实际部署时一致。因为ACT的Transformer建模的是时序依赖它学到的不只是位置路径还包括速度节奏。如果你演示时动作很慢部署时却调高控制频率和速度增益机器人动作会失真严重的会出现末端剧烈振荡。3.3 训练细节参数怎么设、训练多久、Loss怎么看ACT的模型结构不算太复杂视觉编码器ResNet18或类似提取图像特征与机器人状态拼在一起送入Transformer编码器再由 Transformer 解码器逐帧生成动作块。关键超参数如下这是我实测比较稳的一套方案参数推荐值说明图像分辨率480×480太低丢细节太高显存爆炸视觉编码器ResNet18数据量小时比ResNet50稳不易过拟合动作块长度chunk size100约3.3秒过长动作滞后过短失去意义Transformer层数6~8复杂任务取上限训练轮数epochs100~200看验证误差趋势学习率1e-4AdamW配合余弦退火Batch Size8根据显存调整数据增强随机裁剪、颜色扰动增强泛化性尤其光照变化训练过程我用一张24GB显存的GPURTX 3090或4090级别100条演示数据大概20~40分钟能训完一个技能原子。重点观察两个东西验证集上的动作误差通常用L1或MSE以及实际部署时的成功率。Loss曲线方面提供一个经验如果训练Loss降得很低但验证Loss很高典型过拟合赶紧加数据增强或者调小模型容量如果两个Loss都降不下去先别调模型回去看数据——大概率数据质量有问题比如演示轨迹中断、图像模糊、或者多条演示动作差异过大。3.4 部署与推理从PyTorch到真实机械臂控制训练完模型后部署过程分为两个部分模型推理和机械臂控制。模型推理部分先用PyTorch跑通离线测试确认输出动作序列合理再考虑导出为TorchScript或ONNX方便在机器人电脑上低延迟推理。注意ACT的Transformer在CPU上推理慢建议至少用GPU或者用TensorRT优化。我实测一张RTX 3060 Laptop GPU单次推理约15~25ms可以支撑30Hz的控制频率足够日常操作。机械臂控制部分要么用厂家提供的SDK要么走ROS2。从ROS2集成角度来说最好的实践是单独开一个推理节点订阅相机话题和当前关节状态发布目标关节位置到机械臂控制话题。控制频率不必跟推理频率完全一致目标位置以固定周期比如每100ms发布一次即可。机械臂底层的平滑插值会让关节运动保持连续。我在部署时踩过一个坑直接拿模型输出的关节角去命令真实机械臂关节会有明显“咔咔”的不流畅感。原因在于ACT输出的是离散动作块块与块之间可能存在微小不连续。解决办法是在机械臂端做一次轻量平滑比如用三次样条插值或者一阶低通滤波器把目标轨迹顺一下。3.5 仿真先行MuJoCo、Isaac Lab与真实环境的取舍在碰真机之前先上仿真不是可有可无的步骤而是能省下大把时间和维修费的必经之路。尤其是做机器人控制方向的朋友仿真环境几乎决定了你迭代模型的速度。常用的有MuJoCo和Isaac Lab或Isaac Sim。MuJoCo胜在轻量、物理引擎稳定、适合做精细操作比如夹取、倒水这类动作Isaac Lab的优势在于场景渲染逼真度高、支持多传感器仿真适合做视觉相关的迁移学习。如果你没有机器人硬件或者担心把真机械臂搞坏完全可以在MuJoCo里先搭一套ALOHA同构模型用鼠标或键盘控制虚拟机械臂采数据训练好后再转移到真机上。当然仿真数据迁移到真机存在sim-to-real gap需要在仿真里加随机化随机光照、随机物体位置、随机纹理尽量让模型学到“不变的特征”。如果你有真机我建议的做法是仿真场景中验证模型基本逻辑没问题、动作不冲出关节极限再花真机时间微调。真机时间是最宝贵的资源一次撞机、一次夹爪卡顿消耗的时间和金钱可能比你在仿真里多跑一百次训练还要多。4. 像人一样干活从单技能到完整做饭流程的编排4.1 状态机把技能原子串成完整流程单个技能原子训练好了就像积木块做好了接下来要做的就是把它们拼在一起。我用的是最简单也最可靠的方式——有限状态机FSM。以蛋炒饭流程为例状态迁移大概是当前状态触发条件迁移到拿蛋手爪检测到蛋的位姿有效磕蛋磕蛋蛋已到碗沿、角度正确打散打散蛋液打散帧数达成倒油倒油油瓶倾角到位、倒油时间满足倒蛋液倒蛋液碗口倾斜、蛋液接触锅面翻炒翻炒炒制计时完成加饭加饭饭盒到位、倾倒角度正确再翻炒再翻炒炒制计时完成出锅每个状态的进入条件需要视觉模块提供反馈。最简单的实现是阈值判断比如检测蛋在图像中的位置是否已移动到碗沿附近高级一点可以用训练好的目标检测模型YOLO识别蛋、锅、碗的位姿。如果你不想引入太多视觉模型也可以退而求其次固定场景、固定相机机位用图像像素坐标的简单颜色分割来获取关键物体的位置。厨房场景里蛋壳偏白、蛋液偏黄、锅体偏黑颜色分割的鲁棒性比想象中好不少。4.2 坐标系与“眼在手上”还是“眼在手外”做完整流程部署时避不开坐标系的问题。这里我强烈建议不要把所有物体都放到机器人基坐标系里去精确标定。传统工业机器人项目里你可能会用探针、激光跟踪仪做手眼标定确保每个抓取点都精确到毫米。但厨房场景物体位置浮动大、类别多这种“毫米级标定再录点”的思路效率太低。ACT的范式决定了对坐标系精度要求不高——模型直接把图像特征映射到动作空间不需要精确的标定矩阵。但有一个小前提就是图像输入和动作空间之间的关系不能大变。换句话说相机位置一旦固定就不要轻易移动如果需要移动尽量固定镜头到机械臂本体眼在手上这样相机随机械臂移动图像内容与动作空间的对应逻辑保持一致。如果你做的是“眼在手外”相机固定在支架上建议相机装在不会碰撞、视野覆盖整个操作台的角度。装好后用胶带做标记最好把相机位置固定死——哪怕挪动5厘米都会让模型的动作出现可感知的偏差。4.3 夹爪与工具适配机械臂学会“用工具”的关键做厨房任务夹爪的设计和选型直接影响成败。很多工业场景用的两指平行夹爪夹鸡蛋容易碎、夹豆腐容易烂、夹铲子容易滑。我自己试过几种方案简单分享两指平行夹爪适合夹锅柄、饭盒这类刚性物体不适合夹软质食材三指自适应手能适应蛋、黄瓜这类形状不规则的物体但控制和维护复杂吸盘适合抓取表面光滑平整的物体盘子、锅盖不适合蛋液、油瓶定制软体夹爪适合豆腐、面包这类易损物体但精度低、耐用性一般我的建议是目前阶段不要追求“万能夹爪”而是针对特定任务选最优方案甚至可以一个任务换一个末端工具。炒蛋用软体夹爪抓锅柄用平行夹爪倒油用固定支架配合开合机构这样每个技能原子的成功率都能提上去。还有一个小技巧在做数据采集时末端工具的类型必须与部署时一致。如果你用软体夹爪采集磕蛋数据部署时换成平行夹爪模型输出的动作很可能完全失灵因为夹爪的几何形状、抓取接触方式变了很多。4.4 完整流程的实战效果与失败率说说我实测的效果。我搭建的蛋炒饭全流程从拿蛋到出锅总共8个技能原子每个原子单独成功率大约在85%~95%之间。串成完整流程后总成功率大约在40%~60%之间主要失败集中在磕蛋和翻炒两个环节。磕蛋失败往往是因为蛋的摆放角度太刁钻或者蛋壳比训练集中的更硬。翻炒失败主要是炒铲与锅壁的摩擦力矩超过机械臂末端的承受范围导致动作偏离预测轨迹。解决方法一个是增加数据多样性专门采集各种角度摆蛋的数据另一个是给机械臂增加力矩保护超过阈值立即停止防止损坏设备。40%的总成功率听起来不高但在研究场景里已经属于可以接受的“已完成原理验证”水平。如果要想做到稳定商用需要的不是算法层面的突破而是工程层面的打磨更可靠的视觉检测、更稳定的夹爪、更符合人体工学的动作采集方式、更好的场景标准化。5. 常见问题与避坑指南ACT实操细节实录5.1 数据采集阶段为什么你的数据训练出来动作很怪数据采集是新手踩坑最多的环节。我总结了几个高频问题和对应解法做成速查表供参考现象可能原因解决方法模型学到的动作总是偏离目标演示时末端位置记录不准确降低演示速度确保主从映射无误动作抖动剧烈演示时手不够稳/控制频率过高加平滑滤波降低实际控制频率多条演示差异过大导致模型迷茫任务定义不清晰细化任务拆解缩小“一个技能”的范围演示成功但部署失败仿真/真机环境与采集环境差异太大增加场景随机化训练时加数据增强这里有个容易被忽略的细节采集数据时操作员应该尽可能保持同样的身体姿势和观察角度。如果是通过第一视角相机采集操作员身体前倾和后仰都会导致画面内容改变模型会把这个“视角变化”误当成“跟任务相关的信息”学进去。5.2 训练调参阶段Loss不降或过拟合怎么办训练时最常见的挫败感来源是Loss曲线不符合预期。如果Loss一直在高位不下降先检查数据预处理。常见问题包括图像没做归一化、关节角度数值范围不一致有些是弧度有些是度、正负号方向反了。ACT对输入特征的scale很敏感建议所有状态量统一做标准化。如果训练Loss很低但部署效果烂大概率是过拟合。我见过一个案例训练数据里所有演示的鸡蛋都朝同一个方向模型就把“鸡蛋朝那个方向”当成了必要条件换了个方向就抓不住。解决办法是给视觉输入加更强的随机裁剪和颜色扰动同时在数据层面刻意增加不同方向摆蛋的演示。如果训练一切正常但部署时动作滞后明显检查是不是推理延迟太高。ACT输出的是100步的动作块如果你控制频率是30Hz意味着模型每3.3秒才更新一次目标动作序列。这个更新频率配合动作块输出本身是合理的但如果推理延迟过大会导致动作序列更新不及时形成“预测跟不上实际”的滞后感。5.3 部署运行阶段真机上容易遇到的“隐形问题”部署到真机上问题往往出在软件和硬件的边界上。第一个问题是机械臂关节限位。仿真里不会撞到机械臂的物理限位真机上会。我在训练时曾让模型输出一个锅铲往下的动作但在真机上那个姿势已经超出了腕关节的软限位机械臂直接报警停机。解决方案是训练时在动作空间上边界加软约束或者在部署代码里对模型输出做一次限位裁剪超限的直接夹断。第二个问题是相机曝光和白平衡。训练时如果用了固定曝光的相机部署时遇到窗外阳光变化画面亮度突变模型立刻失灵。建议相机设置为手动曝光、固定白平衡甚至可以用偏振片减少反光。这个问题在厨房环境尤其严重——锅面、瓷砖、台面的反光非常影响视觉。第三个问题是夹爪控制与机械臂控制之间的时序配合。ACT模型输出的是关节角目标但夹爪的开合指令往往需要独立控制。如果夹爪在机械臂到达抓取位置之前就闭合或者闭合太晚都会导致抓取失败。建议把夹爪动作也纳入训练数据让模型同时输出夹爪的开合状态。5.4 泛化能力换一个厨房还能用吗这个问题很多人问我的答案是ACT模型的泛化能力取决于训练数据的多样性而不是模型本身的魔法。如果你只在A厨房采了50条数据模型是学不会在B厨房做同样动作的。新厨房的台面颜色、锅的材质、灯光方向都变了而这些全部会反映在图像上。要让模型具备基本的环境泛化能力至少要在3~5个环境里采集数据每个环境覆盖不同的光线和物体摆放。如果更进一步想让模型适应同一个任务在新物体不同品牌的不粘锅、不同形状的鸡蛋盒上的表现那还需要更多物体级别的数据增强。目前这仍是具身智能领域的研究热点没有一劳永逸的解决方案。务实一点的做法是认准一个场景、一个任务、一套工具做到高成功率再逐步扩展任务库。贪多嚼不烂。6. 关于“人性化”ACT之后的机器人和我们印象里的有什么区别做了那么久的机械臂示教我越来越觉得ACT给人的最大冲击不是技术指标上的提升而是它对“机器人应该怎么被定义”这件事的重新回答。传统工业机器人的角色是“高精度重复执行器”它燥不了创新、交替不了策略它的价值来自可重复性。而ACT训练出来的机器人开始具备一点“基于理解的动作选择”能力。这直接带来了两个层面上的变化。第一是交互体验的变化。当你看到一台机械臂磕鸡蛋之前先轻轻转一下手腕、确认蛋壳的朝向再下力气你会有一种强烈的“它大概知道自己在干什么”的错觉——或者说不是错觉它确实在根据输入图像调整动作策略。第二是系统架构的变化。传统机器人的关节运动全部由预编程轨迹决定而ACT部署后机械臂的行为是由一个神经网络实时生成的同一个输入可能因为潜在变量的采样不同而输出不同的动作轨迹。这在传统机器人开发范式里是不可想象的。说到这儿就不得不提现在人形机器人赛道的热度。宇树、特斯拉Optimus等项目的技术路径越来越趋近于“大模型控制硬件本体”的逻辑而ACT这种模仿学习方法恰好为“让机器人学会一个人的动作”提供了高效的工具。人形机器人炒菜、叠衣服、做家务的未来叙事本质上建立在“理论上机器人可以通过足够的演示数据学会任意任务”这个假设之上。我个人的判断是ACT不会是终点未来一定会出现更强的大模型互作或者世界模型来替代它但ACT这个路线图的稳定价值在于证明了一个朴素的思路与其把机器人编程成一台预设轨迹的机器不如把它训练成一个可以持续吸收新技能的学徒。从机械臂示教到模仿学习本质上是把“告诉机器人怎么做”变成了“演示给机器人看怎样做”。这条路远比一开始想象的更远但也更有价值。
