ニューラルネットワークによるリアルタイム・ステレオキーポイント追跡を用いた顕微手術用縫合針の自律操作
本論文は 2026 年 7 月 10 日付で IEEE Transactions on Automation Science and Engineering への掲載決定となりました。Xiaofeng Lin は共著者です。DOI：10.1109/TASE.2026.3711084
研究概要
信頼性の高い自律縫合には、対象が移動したり一部が遮蔽されたりする状況でも、ロボットが微小な縫合針をサブミリメートル精度で位置推定し、把持する能力が求められます。本研究では、ニューラルネットワークによるステレオ視覚認識、カメラ―ロボット自動キャリブレーション、幾何制約に基づく把持点推定、閉ループ視覚サーボを統合しました。
システム構成
Neural Stereo Keypoint Tracker は、同期ステレオ画像から縫合針の先端・中点・末端と鉗子先端を検出し、三角測量によって三次元位置を復元します。処理速度は約 55 FPS です。マーカーレス自動キャリブレーションは、あらかじめ定義したロボット上の点を用いてカメラ座標系とロボット座標系を整合します。5 状態コントローラは三次元キーポイントに基づいて約 50 Hz で把持軌道を更新し、キーポイントが一時的に失われた場合の復帰ロジックも備えています。
実験検証
- 100 枚の画像における平均三次元復元誤差は 0.46 ± 0.90 mm でした。
- 5 種類のカメラ配置における自動キャリブレーションの RMSE は 0.475 ± 0.047 mm でした。
- 通常針 2 種類と顕微手術針 2 種類を用いた静的・動的条件の全 80 試行で、閉ループ把持は 72 回成功しました。
- 動的条件では閉ループ制御が 36/40、初期位置推定のみを用いる単発の開ループ基準法が 0/40 でした。
同一のフレームワークを二つの相互作用タスクにも適用し、人工血管からの顕微手術針の抜去は 7/10、人が保持した針のロボットへの受け渡しは 10/10 の成功率でした。
適用範囲と今後の課題
今回の結果は、制御された実験用ロボットプラットフォーム上で縫合針操作のサブタスクを検証したものであり、臨床的有効性や完全自律縫合を示すものではありません。現状の課題には、時間的な運動事前分布を利用しないフレーム単位の追跡、遮蔽時の位置推定の不安定性、力覚フィードバックの欠如があります。今後は時系列追跡、把持姿勢計画、力覚情報、多器具協調を検討します。
論文情報
Y. Wang, X. Lin, S. A. Heredia Perez, and K. Harada, “Autonomous Microsurgical Needle Manipulation with Real-Time Stereo Keypoint Tracking using Neural Network,” IEEE Transactions on Automation Science and Engineering，掲載決定，2026。DOI