当前位置: 首页 > news >正文

上海交大MINT团队提出Evo - Depth:不增硬件负担,兼顾机器人VLA性能与部署效率

【导语:大量VLA模型主要依赖二维视觉,在空间感知任务上成功率下滑,补空间信息的现有路线各有代价。上海交大MINT团队提出Evo - Depth中间路线,兼顾性能与部署效率,代码等已全面开源。】


现有VLA模型空间感知难题待解

目前,机器人虽有视觉能力,但大量VLA模型主要依赖二维视觉。一旦遇到精定位、细摆放、遮挡判断这类需要空间感知的任务,成功率就会明显下滑。

补空间信息有显式3D和隐式3D两条路线,但都有代价。显式3D路线靠深度传感器和点云重建,硬件链路长、对标定误差敏感;隐式3D路线从RGB学几何,省了硬件,但不少方案依赖较重的基础模型,训练和推理成本偏高。

Evo - Depth:中间路线新突破

上海交大MINT团队提出的Evo - Depth约0.9B参数,不额外增加硬件负担,用紧凑的隐式深度编码把空间感写进VLA策略里,兼顾了仿真与真机的性能与部署效率。在仿真端,Meta - World达到84.4%、LIBERO达到95.4%;真机平均成功率约90%;部署侧约3.2 GB显存、约12.3 Hz推理频率。

Evo - Depth的核心思路是从多视角RGB提取紧凑的隐式深度表征,再以轻量方式融入视觉 - 语言通路,最后通过flow - matching动作专家输出连续动作。

系统三部分协同运作

整个系统主要由三部分组成。IDEM(Implicit Depth Encoding Module)负责从多视角图像中提取隐式深度特征,强调空间布局与相对几何关系,骨干约0.13B参数,并结合多视角深度预训练初始化,在轻量条件下引入与深度相关的归纳偏置。

SEM(Spatial Enhancement Module)将隐式深度作为一种调制信号,用于增强视觉 - 语言表征。这种融合方式更克制,原有VLM继续负责语义理解,深度特征主要负责空间增强,同时尽量控制延迟与显存开销。

Progressive Alignment Training采用分阶段训练方式逐步完成深度表征对齐 - 多模态融合 - 动作学习。动作头则采用了当前VLA中较常见的flow - matching路线。

性能 - 成本 - 实时性折中方案

Evo - Depth解决了如何在不显著增加系统负担的情况下,提升VLA的空间能力这一问题。相比纯二维VLA,它补充了空间信息;相比更重的3D路线,它又尽量保留了部署效率。

编辑观点:Evo - Depth为机器人VLA领域提供了一种性能、成本与实时性相平衡的方案,有望推动机器人操作、空间智能等相关领域发展。

http://www.zskr.cn/news/1395676.html

相关文章:

  • Qt5中comboBox控件更新列表内容
  • 2026年APP爬虫终极指南:从抓包到签名破解,干翻所有主流反爬
  • 专业的青少年心理咨询排名
  • 当AI成为公司的操作系统:一场两千年来最彻底的组织革命
  • 协调控制柜在微电网中的核心地位:数据枢纽、控制核心、安全屏障
  • 基于GPS与ATmega328P的高精度时钟设计与实现
  • 用STM32CubeMX+HAL库5分钟搞定STM32F407探索者开发板的外部中断配置
  • 使用 Taotoken CLI 工具一键配置多款 AI 助手的接入参数
  • 2026视频怎么去水印?视频去水印方法+工具推荐实测大全
  • 3分钟掌握MulimgViewer:终极图像对比与批量处理完全指南
  • 2026年5月山南地区黄金回收白银铂金回收甄选门店推荐TOP1 地址及联系方式 - 五金回收
  • SAP S/4中对外贸易的物料主数据的商品编码处理
  • 从零到一:基于Keycloak构建企业级统一身份与门户平台实战
  • 2026年5月天水地区黄金回收白银铂金回收甄选门店推荐TOP1 地址及联系方式 - 五金回收
  • 2026年5月南京地区黄金回收白银铂金回收甄选门店推荐TOP1 地址及联系方式 - 五金回收
  • ARMv8/v9 TCRMASK_EL2寄存器解析与应用实践
  • C++知识点复习(面向面试5)
  • 为开源agent工具hermes配置taotoken作为自定义模型供应商
  • 2026年5月南平地区黄金回收白银铂金回收甄选门店推荐TOP1 地址及联系方式 - 五金回收
  • 2026收藏|Hermes智能体自进化原理拆解!AI Agent越用越聪明的核心秘诀
  • 小红书下载用什么工具?2026实测小红书无水印下载工具推荐
  • 别再只会用was done了!科研论文Methodology部分动词替换保姆级指南(附词汇表)
  • 2026年5月荆门地区黄金回收白银铂金回收甄选门店推荐TOP1 地址及联系方式 - 五金回收
  • 华为耳机连iPhone固定50%音量?已解决!
  • 自制高选择性音频滤波器:从噪音中精准提取CW莫尔斯电码信号
  • C++工业级日志项目(一):项目开篇+工具函数
  • Java 读写文件 字节流 缓冲流 转换流 对象流
  • 频谱分析仪精准选型指南:覆盖5G军工科研场景,国产替代降本增效 - 深度智识库
  • 【仅限首批200位开发者】AI Agent物联网开发套件V2.3内测权限开放:含OPC UA/Modbus/TDengine原生Agent模板及联邦学习调度器
  • 2026好用的去水印小程序推荐,热门工具实测对比