DexUMI
Dexumi,一个具有硬件和软件适应性组件的框架,旨在最大程度地减少动作和观察差距。
硬件改进
外骨骼设计目标:
- 共享关节行动映射:有着相同的位置映射
- 可穿戴性:外骨骼必须允许用户人手的自然运动
- 使用URDF初始化设计
- 双层优化目标——指尖和机器手的工作空间的相似度
- 约束条件:减少外骨骼之间的碰撞磨损
传感器集成
- 捕捉足够的信息:传感器需要捕获所有策略学习必要的信息
- 关节角度——关节捕获与映射
- 为外骨骼每个驱动的关节安装关节编码器——使用电阻位置编码XHand和Inspirehand
- 为大小和精度选择 Alps编码器
- 关节摩擦和电动机的反弹——为每个关节训练一个简单的回归模型
- 腕运动——腕姿势追踪
- 使用智能手机进行追踪
- 视觉观察
- 手腕下方的广角镜头
- 触觉
- 为外骨骼安装与机器人手相同的触觉传感器。XHand——机械手自带的电磁触觉传感器;Inspire-Hand——电阻式触觉传感器(力敏电阻)
- 关节角度——关节捕获与映射
- 最小化具身差距:感官信息应该最小化人类演示和机器人部署之间的偏移应最小
AirExo-2
AirExo-2
- 硬件
- 使用铝制材料提升结构的鲁棒性和运动追踪精度。
- 1:1比例保持运动学
- 添加了移动基础以支持 在不同环境中的数据收集
- 引入了专用的校准过程以确保准确的运动捕获
- 操作空间适配器
- 将所有状态和动作投射到GlobalCamera坐标中
- 图片适配器
- 修补人的相关区域
- 用生成的机器人图像覆盖
- 深度适配器
RISE-2
将3D空间感知与2D语义特征 集成到可靠的机器人手柄上的2D语义特征
- 稀疏编码器
- 密集编码器
- 空间对准器
- 动作生成器