Autonomous Microsurgical Needle Manipulation with Real-Time Stereo Keypoint Tracking using Neural Network
该论文于 2026 年 7 月 10 日获 IEEE Transactions on Automation Science and Engineering 录用。林晓锋 为共同作者。DOI：10.1109/TASE.2026.3711084
研究概述
可靠的自主缝合要求机器人在目标移动或局部遮挡时，仍能以亚毫米精度定位并抓取微小缝合针。该研究将基于神经网络的双目视觉感知、相机—机器人自动标定、受几何约束的抓取点估计和闭环视觉伺服整合为一套自主显微外科缝合针操作系统。
系统方法
Neural Stereo Keypoint Tracker 从同步双目图像中检测缝合针的针尖、中点、末端及镊尖，并通过三角测量重建三维位置，运行速度约为 55 FPS。无标记自动标定程序利用预设机器人空间点对齐相机与机器人坐标系。五状态控制器以约 50 Hz 的频率依据三维关键点更新抓取轨迹，并在关键点短暂丢失时执行恢复逻辑。
实验验证
- 100 幅图像的平均三维重建误差为 0.46 ± 0.90 mm。
- 五种相机位置下的自动标定 RMSE 为 0.475 ± 0.047 mm。
- 在两种普通针和两种显微外科针的静态及动态条件下，闭环抓取共完成 80 次试验，成功 72 次。
- 动态条件下，闭环控制成功 36/40；仅使用初始位姿估计的单次开环基线为 0/40。
同一框架还完成了两项交互任务：从人工血管中取出显微外科缝合针的成功率为 7/10，完成人向机器人递针的成功率为 10/10。
研究范围与后续方向
现有结果验证了受控实验平台上的缝合针操作子任务，尚未建立临床有效性，也未覆盖完整自主缝合流程。当前限制包括逐帧跟踪未利用时间运动先验、遮挡时定位稳定性下降以及缺少力反馈。后续工作将研究时序跟踪、抓取位姿规划、力传感与多器械协同。
论文信息
Y. Wang, X. Lin, S. A. Heredia Perez, and K. Harada, “Autonomous Microsurgical Needle Manipulation with Real-Time Stereo Keypoint Tracking using Neural Network,” IEEE Transactions on Automation Science and Engineering，已录用，2026。DOI