反馈决定任务进度
多视角图像、机器人状态、夹爪状态和外部力矩把阶段转移锚定到真实物理事件,而不是仅依赖时间或外观。
为什么需要阶段感知?
单体策略会让局部感知或接触误差传播到后续整条轨迹。MPSG-Control 在底层技能和高层意图之间引入显式阶段抽象。
多视角图像、机器人状态、夹爪状态和外部力矩把阶段转移锚定到真实物理事件,而不是仅依赖时间或外观。
当观测状态与当前阶段不一致时,技能图可以抑制推进、回到前驱阶段,或跳过已经由外部完成的工作。
方法
MPSG-Control 将阶段感知、图结构执行和语义干预分离,同时通过显式阶段状态保持三者连接。
多模态阶段与基元检测器融合视觉、本体状态与力矩,提出具有物理意义的阶段边界,并使用 MS-TCN 进行细化。
多模态感知技能图将感知条件化技能表示为节点,将正常、跳过、回退与恢复转移表示为边。
提示式阶段控制将指令转化为节点屏蔽、边裁剪、指针更新和硬顺序约束,无需重新训练技能策略。
真实机器人实验
实验覆盖顺序依赖、接触密集遮挡、几何变化和感知状态歧义。
执行演示
精选 MPSG 可视化将机器人视频与预测技能、路径进度和当前图节点并列展示。
结果
多模态感知改善阶段边界,图执行将恢复限制在局部,提示约束则确保系统遵守指定任务顺序。
在四项真实任务的运行时干预条件下统计。
提示驱动任务重排采用硬图约束。
在遵守指定执行顺序的同时保持恢复能力。
| 输入配置 | F1@25 | F1@50 | 帧准确率 | mIoU |
|---|---|---|---|---|
| 视觉 | 9.2 | 27.5 | 52.7% | 39.9% |
| 视觉 + 本体状态 | 31.7 | 66.7 | 61.7% | 50.7% |
| 视觉 + 本体状态 + 力矩 | 75.3 | 85.0 | 87.2% | 75.9% |
论文概念与代码对应
当前仓库属于研究代码。这里明确区分可复用结构、集成原型和实验脚本。
phaseact/phase_detector/ms_tcn_demo_*.py
双相机融合、语义特征、力矩变点、MS-TCN 训练与推理。
浏览阶段检测代码 →phaseact/phase_detector/mpsg_new.py
图构建、感知匹配、路径追踪、恢复行为与执行可视化。
打开 MPSG 控制器 →phaseact/skillgraph_control/
有向图基元、图可视化,以及从阶段分割演示构建技能图。
浏览技能图代码 →mpsg_new.py 控制路径
集成式图约束研究功能,尚未封装为独立用户软件包。
阅读实现说明 →