DexUMI

Dexumi,一个具有硬件和软件适应性组件的框架,旨在最大程度地减少动作和观察差距。

硬件改进

外骨骼设计目标

  1. 共享关节行动映射:有着相同的位置映射
  2. 可穿戴性:外骨骼必须允许用户人手的自然运动
  • 使用URDF初始化设计
  • 双层优化目标——指尖和机器手的工作空间的相似度
  • 约束条件:减少外骨骼之间的碰撞磨损

传感器集成

  • 捕捉足够的信息:传感器需要捕获所有策略学习必要的信息
    • 关节角度——关节捕获与映射
      • 为外骨骼每个驱动的关节安装关节编码器——使用电阻位置编码XHand和Inspirehand
      • 为大小和精度选择 Alps编码器
      • 关节摩擦和电动机的反弹——为每个关节训练一个简单的回归模型
    • 腕运动——腕姿势追踪
      • 使用智能手机进行追踪
    • 视觉观察
      • 手腕下方的广角镜头
    • 触觉
      • 为外骨骼安装与机器人手相同的触觉传感器。XHand——机械手自带的电磁触觉传感器;Inspire-Hand——电阻式触觉传感器(力敏电阻)
  • 最小化具身差距:感官信息应该最小化人类演示和机器人部署之间的偏移应最小

AirExo-2

AirExo-2

  • 硬件
    • 使用铝制材料提升结构的鲁棒性和运动追踪精度。
    • 1:1比例保持运动学
    • 添加了移动基础以支持 在不同环境中的数据收集
    • 引入了专用的校准过程以确保准确的运动捕获
  • 操作空间适配器
    • 将所有状态和动作投射到GlobalCamera坐标中
  • 图片适配器
    • 修补人的相关区域
    • 用生成的机器人图像覆盖
  • 深度适配器

    RISE-2

将3D空间感知与2D语义特征 集成到可靠的机器人手柄上的2D语义特征

  • 稀疏编码器
  • 密集编码器
  • 空间对准器
  • 动作生成器