晓锋's Website

显微操作机器人系统

(封面图：由本人所在课题组开发AI机器人平台原型机)

机器人平台和微型机器人工具的开发旨在实现比人类科学家更准确、精确和灵活的操作，从而进行人类科学家无法单独完成的科学实验。

生命科学领域的实验需要在显微镜下执行准确、精确且复杂的操作。然而，即使是技术娴熟的科学家也经常因人类身体能力的限制而遇到失败。此外，现有的机器人技术在处理刚性物体的常规任务方面表现出色，但在处理涉及小型和柔性样本（如植物和动物样本）的非常规任务时却存在困难。

在这个项目中，我们分两步推进开发。首先，我们通过远程控制机器人或自动化操作，目标是超越技术熟练的科学家在生命科学实验中处理样本的准确性、精确性和灵活性。然后，我们的目标是将AI与机器人系统结合，实现自动化实验。目前，我们正在开发用于与AI集成的原型平台和微型机器人工具。

作为自主科学探索的平台，我们开发了如图1所示的AI机器人平台。该平台由四个具有不同功能的机械臂组成，这些机械臂围绕显微镜下的实验对象放置。机械臂可以装备各种实验工具，根据实验要求，配备所需工具的AI机械臂可以集合并执行任务。我们已经实施了控制系统，以自动避免机械臂之间以及机械臂与周围环境之间的碰撞，从而在显微镜的极小视野范围内执行任务。我们已经成功展示了该平台的远程操控能力，能够对真实样本进行高精度和复杂的实验操作。这种远程操控将用于为AI的技能收集学习数据。

图1：显微操作机器人系统的组成部分

该机器人目前已经能用于小型哺乳类动物的外科手术如小鼠，能从最多两个驾驶舱和四个力反馈主手来分别对四个机械臂进行各自独立的远程操作。该机器人平台已经完成了基于5G的超远距离远程操作，如下面分享的视频所示，其延迟低于100ms，即使是刚上手的新人也可以快速熟练该操作。

https://youtube.com/watch?v=IBFuNjUiCaw%3Fsi%3DsTPhjc9y-P-A9cj7
视频1：利用机器人主从操作辅助小鼠的头盖骨开窗手术
视频2：基于5G的超远程操作，日本京都-日本东京，展示于IROS2022

该机器人同时提供了运动学模拟和数字孪生的仿真平台，如下图的幻灯片展示。

数字孪生（Digital Twin）是一种虚拟模型技术，它能够在数字空间中创建物理对象或系统的精确复制。通过收集和分析来自传感器、物联网设备、以及其他数据源的信息，数字孪生可以实时反映物理对象的状态和行为。

简单来说，数字孪生技术可以让人们在虚拟环境中观察和模拟实际物理对象的运行情况，从而进行预测、优化、维护和决策。例如，在制造业中，数字孪生可以帮助工程师监控生产设备的状态，预测故障并优化生产流程；在城市管理中，数字孪生可以用于交通管理、能源分配等领域，提高城市运行效率。

该机器人系统提供了基于CoppeliaSim的运动学模拟，可以在软件和算法层面避免机械臂及硬件环境之间发生碰撞。基于Nvidia Isaac Sim的数字孪生环境则可以为机器人的强化学习训练及仿真创造更多优质的数据集，大大提高了实验和科学发现的效率。

未来的工作会集中在更多地在各种各样的科学实验或动物实验上应用该机器人系统来验证和展示该系统的先进性及鲁棒性。

参考资料：