近日，机电设计与知识工程研究所胡洁教授、戚进副研究员团队提出一种融合混合现实（MR）与生成式AI的人机技能迁移框架，为工业场景下的精准人机协作提供了创新性解决方案。研究成果“A mixed reality-assisted human-to-robot skill transfer approach for contact-rich assembly via visuomotor primitives”发表在Robotics and Computer-Integrated Manufacturing上。博士生武对娣、赵乾佑为共同第一作者，香港理工大学郑湃教授为共同作者，胡洁教授、戚进副研究员为通讯作者。
在智能制造向柔性化、智能化转型的背景下，接触丰富型装配任务因高精密、强耦合的操作要求，成为机器人技术落地的核心瓶颈。当前具身智能研究多聚焦日常任务，工业级精密操作泛化能力不足，对此研究构建了“数据采集—技能学习—精准执行”的闭环体系。研究基于MR设备和Unity开发数字孪生演示系统，搭建低成本、沉浸式人机交互界面，支持位置控制与速度控制双模式操作，实现跨机器人平台的灵活数据采集；建立了包含插销装配、齿轮啮合、螺母紧固等6类工业典型任务的基准数据集；提出端到端生成式视觉—运动模仿学习策略，直接从多视角视觉与机器人状态数据中学习连续动作序列，有效降低轨迹漂移与误差累积，保障精密操作的安全与准确性。
实验验证显示，该框架在随机扰动、复杂接触约束场景下仍保持高成功率，在各个装配任务上展现出优异的位置泛化能力。相较于传统轨迹规划与单步模仿学习方法，该方案无需复杂仿真训练与传感器标定，可实现人类装配技能向机器人的高效迁移，大幅提升了工业机器人对非结构化环境的适应能力。
该研究为生成式AI与物理智能的深度融合提供了关键技术支撑，其低成本部署特性与灵活适配能力有望推动人机协作技术在汽车制造、精密电子等领域的工程应用，为智能工厂的柔性生产转型注入新动能。
研究工作得到了国家自然科学基金、香港理工大学联合导师计划等项目的支持。
论文链接：https://doi.org/10.1016/j.rcim.2025.103208
项目网站：https://h2r-mrsta.github.io/
学院OA系统
jAccount登录
ENGLISH
地址：上海市东川路800号德赢vwin体育官网登录闵行校区德赢vwin体育官网登录
邮编：200240
Email：sjtume@sjtu.edu.cn