绑定手机

获取验证码

注册、登录代表你已阅读并同意《用户协议》

取消
当前位置: 首页 > 详情

让Human Data再次进化:简智机器人DAS 2.0将于11月9日在CoRL亮相

星河频率 2026-11-09 12:56:00 4273

2026年11月7日,简智机器人宣布,DAS 2.0系列将于 11 月9 日在美国奥斯汀举行的CoRL会议现场正式亮相。该系列包括新一代灵巧手数据采集手套DAS Dex 2.0与新一代第一视角头戴式多模态数据采集设备DAS Ego 2.0,通过头手协同,同步记录视觉、手部运动与触觉信息,面向真实场景中的规模化人类操作数据采集,为机器人学习人类技能提供多模态 Human Data 支持。

具身智能正在积累更多人类操作视频,但采集规模与训练价值之间,仍有几处关键断点:画面记录了操作,遮挡却可能让动作标签失真;手沿着相似轨迹运动,接触结果却截然不同;接触即使被测量,佩戴干扰、信号干扰与长期漂移也可能改变标签的含义;数据保留了抓取片段,却可能遗漏走近目标、选择站位和搬运转移的完整过程;人类完成了任务,机器人也未必能沿用同一套动作。

其中,局部操作与完整任务之间的断裂,在机器人走出固定工位时尤其突出。抓取之前,身体位置决定目标能否看见、手臂能否够到;抓取之后,起身、转向和移动又会改变身体与物体的关系。如果数据只保留手在目标附近的动作,模型就难以学到这次操作为何能完成,以及如何把它与前后步骤衔接起来。

这些问题最终汇合到训练端:模型究竟能从一段数据中学到多少可靠的动作约束?接触与调整信息缺失,就难以解释同样的手部动作为何产生不同结果;测量随设备状态改变,不同批次的数据就难以保持可比;身体与阶段衔接缺失,就难以解释局部技能怎样组成连续任务。数据建设需要同时扩大场景覆盖、提高交互监督的密度与可靠性,并保留任务所依赖的身体状态与动作连续性。

图片12.png

简智机器人DAS 2.0围绕这些断点组织数据能力:

  • Ego设备扩大自然环境与任务覆盖;

  • Ego设备+腕部相机细化运动和手部动作;

  • Ego设备+Dex手套提供原生关节、动作与真实触觉监督;

  • Whole-body数据进一步连接身体位置、躯干姿态与手部操作。

DAS 2.0系列覆盖规模、动作粒度、原生测量与任务完整性,共同构成一套可扩展的数据体系。

1、三种数据配置,首次覆盖规模、动作细节与原生监督

不同任务需要不同深度的数据。DAS 2.0可提供Ego、Ego+Wrist Camera与Ego+Dex三种配置,从场景覆盖、动作细节到关节与触觉测量逐层补充。

Ego 2.0主打轻量化规模化采集,实现更多操作任务与环境、以及全身覆盖。

Ego 2.0配置较轻,便于进入更多自然场景,保留不同的操作者、作业对象、空间布局与操作习惯。其核心价值在于丰富数据分布,覆盖多元环境、异常工况、失败操作及修复过程,依托第一视角影像与头手轨迹构建完整任务背景,帮助模型习得跨场景通用规律,摆脱对固定操作台、标准化流程的依赖。

Ego+Wrist Camera 提升手部接触与动作记录精度。

全局记录给出任务过程,腕部连续画面补充接近方向、手指调整、手—物相对运动与局部形变。结合标定与轨迹重建,这类数据能更细致地组织动作片段、对齐不同视角,并描述从接近、调整到拿起的变化。它增加了局部动作的记录深度,同时保留以视觉为主的采集方式,为扩大精细动作数据的覆盖提供空间。

该模式保留视觉采集轻量化优势,助力大批量精细动作数据生产,但这一增量依赖工作距离、运动模糊、遮挡以及时空对齐,部分关节状态与接触信息仍存在不确定性。

Ego+Dex 输出更完整的原生、全模态的手部监督。

关节传感直接记录手部构型与动作变化,触觉记录真实接触,再与第一视角、头手轨迹共同对齐。这组数据可以为视觉推断提供独立测量依据,也能区分外观相近、物理结果不同的示范。它在数据体系中承担高质量监督标尺的作用,覆盖动作精度、手部构型与接触结果,而不只增加一种传感模态。

开展混合训练时,广覆盖数据扩展任务分布,动作细节数据提升过程分辨率,原生测量数据约束关键状态与动作标签。配置的选择由任务所需的信息决定;更完整的模态适合承担精细监督,更轻的配置适合扩大真实场景覆盖。不同配置可以共享可对齐的任务、轨迹和交互表征,并使用各自实际具备的监督。面向双视角触觉预测,则需进一步采集Ego第一视角+Wrist腕部相机+Dex手套的同步配对数据。

Whole-body数据为这套数据体系补齐身体与任务过程之间的联系。将环境观察、手部交互与身体运动放在同一时间轴和空间参考下,才能进一步学习:同一个末端目标,何时需要靠近目标,何时需要侧身或下蹲,以及完成操作后如何进入下一阶段。

图片13.png

2、DAS Ego 2.0:5MP 像素升级,怎样真正帮助模型训练?

DAS Ego 2.0 搭载 2 颗 500 万像素主相机与 4 颗 200 万像素辅相机,核心相机模组由单颗 200 万像素升级至 500 万像素;整机水平视野从 270° 扩展至 340°。前者提高局部采样密度,为辨认手指、物体边缘等局部细节提供更丰富的图像信息;后者扩大周身环境环境覆盖,两者分别作用于细节辨认和动作连续记录。

在相同宽高比、单相机视场和距离下,2MP到5MP对应宽、高方向的线性采样各增加约58%,单像素在物体表面对应的投影边长约减少36.8%。这描述的是成像采样变化,实际重建精度还取决于镜头、曝光、标定、遮挡与算法。基于以上因素,DAS Ego 2.0指尖追踪标称精度可达4 mm。完整任务中的动作质量,还取决于局部手部精度、头部定位与跨相机标定能否共同保持稳定。

硬件像素升级对模型训练的增益主要体现在两个方向。

一方面,改善监督标签质量。高分辨率图像用于离线关键点定位、多视角匹配与轨迹重建,减少细小结构混淆带来的标签偏差。即使训练模型最终使用较小画面,更可靠的动作标签仍可能保留下来。对于后训练,这意味着同一个视觉状态对应的目标动作更明确,模型更少被错误轨迹牵引。

另一方面,改善模型实际的输入信息。如果所有画面最终都缩成相同尺寸,新增细节可能在预处理中被损耗;通过局部裁剪、多尺度输入等预处理手段,保留接触区域关键特征,才能把硬件采集优势传递给模型端。前者决定模型 “学什么”,后者决定模型 “依据什么做出判断”,二者共同定义硬件升级实际能转化出多少训练价值。

3、DAS Dex 2.0:依托材料与结构创新,建立可靠的原生监督

触觉数据的核心价值首先建立在可靠性之上。Dex 2.0 基于自研半柔性压阻式电子皮肤与侧置仿生外骨骼,从操作无干扰、信号抗干扰、持续采集质量三个维度保障数据质量。

图片16.png

可靠性首先在于接触本身尽量不受采集设备干扰。传感材料的贴合、顺应性和接触表面特性,会影响摩擦、受力分布及抓握方式。材料与结构设计需要共同保留自然操作的接触条件。Dex 2.0将主要外骨骼移至手指侧面,使机械关节贴近人手运动轴,并为指背、指腹与掌面留出空间,减少贴面拾取、掌内调整及狭窄空间操作中的结构干扰。

其次,检测信号能够区分真实接触与非目标干扰。手指屈伸、材料弯折与拉伸、佩戴预紧以及通道串扰,都可能让读数偏离需要测量的接触。触觉材料与传感结构的创新,需要处理这些因素与目标接触的区分,使相同接触在不同动作阶段仍有可比较的表达。对模型而言,这决定了它学到的是物体与手的相互作用,还是设备自身的变化。

第三,是长期采集中的测量一致性。在已完成的一个月采集测试中,同等条件下重复相同动作,触觉测量响应保持一致。这为不同时段的数据提供了持续比较的基础,有助于减少设备状态变化引入的批次差异。当采集从单次演示扩展到持续生产,长期稳定性直接关系到数据能否进入同一套监督体系。

在这一可靠性框架下,Dex 2.0结合微型磁编码器与运动学标定,形成21 DoF手部运动表示;单手16块触觉传感器、980个感知单元,以0.1 N最小检测力记录接触。原生关节测量在视觉遮挡时补充手部构型,触觉则将接触位置、强弱变化与释放时序和动作对齐。测量的细致程度与长期一致性共同决定了这些数据对动作学习、状态估计和失败恢复的价值。

4、用真实触觉,训练更可扩展的双视角方案

Dex 的长期价值,可以延伸至无需佩戴同一套手套的采集与部署场景。同步记录的 Ego+wrist+Dex 数据,能够为视觉触觉学习提供配对训练数据:画面作为输入,关节与触觉测量提供物理监督。经过配对训练,后续 Ego+wrist 方案有望通过视觉估计是否发生接触、接触区域及强弱变化趋势,并给出相应的置信度。

通过配对监督与知识蒸馏,这条路线有望将精细采集中学到的物理信息,应用于更广泛的 Ego+wrist 数据。原生触觉的三层可靠性是这一过程的基础:设备改变接触条件,会影响示范的自然性;信号混入非目标干扰,会影响标签对真实接触的表达;测量响应随时间漂移,则可能让相似画面对应不一致的标签。可靠的材料与测量体系,为视觉模型学习稳定的画面与接触对应关系提供依据。

Dex 配对采集可聚焦新材料、困难样本与失败后的调整过程,为视觉难以判断的情形补充实测依据。视觉模型输出的状态估计,则可作为后训练的辅助目标,或为动作选择提供条件信息。实测标签与模型预测应明确区分,并保留相应的置信度信息,避免预测误差在后续训练中被不断强化。

图片17.png

腕部视角的作用,是让更多接触线索进入可见范围。局部形变、物体边缘的相对位移,以及物体是否随手运动,都可以结合 Ego 记录的任务背景进行理解;真实触觉则帮助模型学习,这些视觉线索在不同对象上何时能够可靠地反映接触。双视角补充观察信息,同步配对的测量为这些可见变化提供物理依据。

当前接触估计与未来接触预测,需要不同的训练目标。前者依据当前及历史观察,判断正在发生的接触;后者则需要结合拟执行动作与相关状态,预测接下来可能发生的变化。继续夹紧、抬升或松手,可能带来不同结果。将动作纳入预测,才有机会比较不同候选动作的影响,为机器人提前调整提供参考。

视觉仍会面临无法仅凭画面确定接触状态的情形:外观相同的物体可能具有不同重量,隐藏的接触也未必留下可见线索。因此,模型需要表达判断的不确定性;绝对力值的估计需要校准,关键控制仍需结合机器人自身反馈。对于新场景中模型难以确定的样本,可以进一步开展实测采集,逐步扩大模型能够可靠判断的范围。

5、Whole-body:打通策略、全身协调与执行

真实任务中的操作,发生在身体与环境不断变化的关系中。手部轨迹记录局部技能,Wholebody则保留这些技能成立的身体条件与前后衔接,使模型能够学习更完整的任务过程。

策略层补足操作前后的决策。站在哪里、何时移动、何时调整观察位置,直接影响可见性、可达性与下一步操作空间。连续示范提供这些选择与任务结果的对应,有助于研究更少无效停位和反复调整的任务策略。

协调层补足同一目标的多种身体解法。面对不同高度、距离和障碍,根部移动、躯干调整与手臂伸展可以分担同一段末端位移。将这些关系记录下来,能够为运动生成提供更丰富的动作参考,帮助模型研究怎样在身体限制下完成到达与操作。

执行层连接连续运动与真实机器人约束。拿起物体后的起身、转向和搬运,需要同时保持身体稳定与末端目标。全身轨迹和动作分布可以提供运动参考,稳定跟踪、抗扰与负载适应则需要机器人自身状态、接触反馈和控制系统共同完成。

6、硬件协同、持续采集,让多模态数据形成合力

多路传感器只有对应到同一次交互,才能共同形成监督。DAS Ego 2.0与Dex 2.0通过统一时钟、硬件触发及曝光控制,实现1 ms级头手时间对齐。以手速0.5 m/s估算,1 ms错位对应约0.5 mm的运动距离,10 ms则对应约5 mm。这仅是时间错位带来的几何贡献,却说明同步为何直接影响动作与接触标签的对应质量。

图片18.png

持续采集同样依赖工程机制。Ego 2.0支持不关机更换磁吸电池包,单包续航约2.5至3小时;采集状态检查与批量后处理,则帮助减少记录中断和无效数据。这些机制将细节采样、接触测量与连续采集连接起来,让高质量记录更容易持续产生。

DAS 2.0把产品升级落在这条完整链路上:Ego扩展数据分布,Ego+wrist丰富动作细节,Ego+Dex提供原生监督,Wholebody连接移动、身体协调与操作衔接,机器人数据完成执行适配。它们共同推进的,是让数据规模、监督质量与任务完整性协同增长,让模型既能学习一次交互,也能学习如何将交互组织成连续任务。

面向具身智能产业化发展,高质量人类示范数据底座是机器人自主学习、适配复杂场景的重要支撑。此次DAS 2.0发布,打通了自然示范、动作记录到高精度感知的全链路,持续降低高质量交互数据的获取门槛。未来,简智机器人将持续深耕具身智能数据基础设施,迭代数据产品与配套工具链,携手科研与产业伙伴,共同推动数据规模化与模型创新。

本文为星河频率原创文章,作者:星河频率,如需转载,请联系授权。违规转载法律必究。

分享

Copyright ©2019-2026 深圳市星河频率机器人信息科技有限公司 版权所有

备案号:粤ICP备2025456896号