生物启发阶段感知技能图

以结构化运动阶段实现鲁棒长时程操作。

MPSG-Control 将多模态机器人交互分解为具有物理一致性的阶段,将可复用技能组织为感知条件化图,并把语言指令编译为运行时拓扑约束。

仅公开方法示意图与汇总结果;论文和未完成的出版信息保持私密。

为什么需要阶段感知?

局部运动稳定,全局结构灵活。

单体策略会让局部感知或接触误差传播到后续整条轨迹。MPSG-Control 在底层技能和高层意图之间引入显式阶段抽象。

反馈决定任务进度

多视角图像、机器人状态、夹爪状态和外部力矩把阶段转移锚定到真实物理事件,而不是仅依赖时间或外观。

RGB+状态+力矩

结构限制故障传播

当观测状态与当前阶段不一致时,技能图可以抑制推进、回到前驱阶段,或跳过已经由外部完成的工作。

正常↶回退⇢跳过

方法

三个模块,一个执行基础。

MPSG-Control 将阶段感知、图结构执行和语义干预分离,同时通过显式阶段状态保持三者连接。

01 · PPD

检测交互阶段

多模态阶段与基元检测器融合视觉、本体状态与力矩,提出具有物理意义的阶段边界,并使用 MS-TCN 进行细化。

02 · MPSG

通过技能图执行

多模态感知技能图将感知条件化技能表示为节点,将正常、跳过、回退与恢复转移表示为边。

03 · PPC

通过约束重构任务

提示式阶段控制将指令转化为节点屏蔽、边裁剪、指针更新和硬顺序约束,无需重新训练技能策略。

MPSG-Control 框架:生物启发、多模态阶段检测、技能图执行与提示式图约束
从反馈驱动的运动基元,扩展到多模态阶段感知、技能图执行与提示式结构控制。

真实机器人实验

四项任务对应四类脆弱性。

实验覆盖顺序依赖、接触密集遮挡、几何变化和感知状态歧义。

四行机器人任务图片,分别展示顺序操作、充电器交互、积木堆叠和开关操作
四项真实世界多阶段机器人操作任务。
01
顺序抓取与放置测试多阶段依赖和顺序敏感执行。
02
充电器交互测试严重视觉遮挡下的接触事件。
03
多积木堆叠测试随机初始几何下的累计漂移。
04
开关操作测试操作前后外观相同的对称状态。

执行演示

观察技能图状态与机器人同步推进。

精选 MPSG 可视化将机器人视频与预测技能、路径进度和当前图节点并列展示。

顺序操作展示抽屉与物体阶段中的技能预测和路径追踪。
积木堆叠展示较长技能路径中的感知条件化阶段推进。
充电器交互展示接触密集拔出与插入阶段中的技能图进度。

结果

结构提升鲁棒性,同时保留可控性。

多模态感知改善阶段边界,图执行将恢复限制在局部,提示约束则确保系统遵守指定任务顺序。

73.8%扰动下平均任务成功率

在四项真实任务的运行时干预条件下统计。

100%顺序符合率

提示驱动任务重排采用硬图约束。

80%恢复成功率

在遵守指定执行顺序的同时保持恢复能力。

视觉、视觉加本体状态、视觉加本体状态与力矩在四项阶段分割指标上的对比柱状图
视觉 + 本体状态 + 力矩达到 87.2% 帧准确率与 75.9% mIoU。
外部状态复位后的回退,以及外部完成任务后的阶段跳过示例
运行时干预后的感知支撑回退与阶段跳过。
提示控制对比,展示 MPSG-Control 的顺序符合率、任务成功率和恢复成功率
硬图约束同时保持严格顺序和故障恢复。
输入配置F1@25F1@50帧准确率mIoU
视觉9.227.552.7%39.9%
视觉 + 本体状态31.766.761.7%50.7%
视觉 + 本体状态 + 力矩75.385.087.2%75.9%

论文概念与代码对应

找到每个研究概念背后的实现。

当前仓库属于研究代码。这里明确区分可复用结构、集成原型和实验脚本。

PPD · 阶段检测

phaseact/phase_detector/ms_tcn_demo_*.py

双相机融合、语义特征、力矩变点、MS-TCN 训练与推理。

浏览阶段检测代码 →

MPSG · 集成执行

phaseact/phase_detector/mpsg_new.py

图构建、感知匹配、路径追踪、恢复行为与执行可视化。

打开 MPSG 控制器 →

技能图结构

phaseact/skillgraph_control/

有向图基元、图可视化,以及从阶段分割演示构建技能图。

浏览技能图代码 →

PPC · 提示约束

mpsg_new.py 控制路径

集成式图约束研究功能,尚未封装为独立用户软件包。

阅读实现说明 →

复现与扩展

从代码开始,也明确代码的边界。

README 记录环境配置、本地数据布局、实际命令行参数、评估工具和生成结果。

复现入口

  • 使用显式本地路径运行多模态阶段检测
  • MPSG 视频可视化与子图路径追踪
  • 帧准确率、mIoU、边界 F1、编辑分数和过分割评估
打开快速开始

当前研究范围

  • 部分脚本仍保留特定工作站默认路径
  • PPC 为集成功能,尚未单独封装
  • 恢复依赖演示或已经验证的轨迹
  • 机器人执行需要特定硬件和策略模型
查看输出映射