Une collaboration entre NVIDIA et des chercheurs universitaires prépare des robots pour la chirurgie.
ORBIT-Surgical — développé par des chercheurs de l’Université de Toronto, de l’UC Berkeley, de l’ETH Zurich, de Georgia Tech et de NVIDIA — est un cadre de simulation permettant de former des robots susceptibles d’augmenter les compétences des équipes chirurgicales tout en réduisant la charge cognitive des chirurgiens.
Il prend en charge plus d’une douzaine de manœuvres inspirées du programme de formation aux interventions laparoscopiques, également appelées chirurgies mini-invasives, telles que saisir de petits objets comme des aiguilles, les passer d’un bras à l’autre et les placer avec une grande précision.
Le cadre basé sur la physique a été construit à l’aide de NVIDIA Isaac Sim, une plateforme de simulation robotique pour la conception, la formation et le test de robots basés sur l’IA. Les chercheurs ont formé des algorithmes d’apprentissage par renforcement et d’apprentissage par imitation sur les GPU NVIDIA et ont utilisé NVIDIA Omniverse, une plate-forme de développement et de déploiement d’applications et de pipelines 3D avancés basés sur Universal Scene Description (OpenUSD), pour permettre un rendu photoréaliste.
À l’aide du kit de recherche da Vinci soutenu par la communauté et fourni par l’Intuitive Foundation, une organisation à but non lucratif soutenue par le leader de la chirurgie robotique Intuitive Surgical, l’équipe de recherche ORBIT-Surgical a démontré comment la formation d’un jumeau numérique en simulation se transfère à un robot physique dans un environnement de laboratoire en la vidéo ci-dessous.
ORBIT-Surgical sera présenté jeudi à l’ICRA, la conférence internationale de l’IEEE sur la robotique et l’automatisation, qui se tiendra cette semaine à Yokohama, au Japon. Le package de code open source est désormais disponible sur GitHub.
Un point dans l’IA en sauve neuf
ORBIT-Surgical est basé sur Isaac Orbit, un framework modulaire pour l’apprentissage des robots construit sur Isaac Sim. Orbit inclut la prise en charge de diverses bibliothèques pour l’apprentissage par renforcement et l’apprentissage par imitation, où les agents d’IA sont formés pour imiter des exemples d’experts basés sur la vérité sur le terrain.
Le cadre chirurgical permet aux développeurs de former des robots comme le robot da Vinci Research Kit, ou dVRK, pour manipuler des objets rigides et souples à l’aide de cadres d’apprentissage par renforcement et d’apprentissage par imitation fonctionnant sur des GPU NVIDIA RTX.
ORBIT-Surgical introduit plus d’une douzaine de tâches de référence pour la formation chirurgicale, y compris des tâches à une main telles que ramasser un morceau de gaze, insérer un shunt dans un vaisseau sanguin ou soulever une aiguille de suture dans une position spécifique. Cela comprend également des tâches à deux mains, comme passer une aiguille d’un bras à l’autre, passer une aiguille enfilée dans un anneau et atteindre deux bras dans des positions spécifiques tout en évitant les obstacles.
L’un des tests de référence d’ORBIT-Surgical consiste à insérer un shunt – illustré à gauche avec un robot réel et à droite en simulation.
En développant un simulateur chirurgical qui tire parti de l’accélération et de la parallélisation GPU, l’équipe est en mesure d’augmenter la vitesse d’apprentissage des robots d’un ordre de grandeur par rapport aux cadres chirurgicaux existants. Ils ont découvert que le jumeau numérique du robot pouvait être formé pour effectuer des tâches telles que l’insertion d’un shunt et le levage d’une aiguille de suture en moins de deux heures sur un seul GPU NVIDIA RTX.
Grâce au réalisme visuel permis par le rendu dans Omniverse, ORBIT-Surgical permet également aux chercheurs de générer des données synthétiques haute fidélité, ce qui pourrait aider à former des modèles d’IA pour des tâches de perception telles que la segmentation d’outils chirurgicaux dans des vidéos du monde réel capturées en salle d’opération.
Une preuve de concept réalisée par l’équipe a montré que la combinaison de simulation et de données réelles améliorait considérablement la précision d’un modèle d’IA pour segmenter les aiguilles chirurgicales à partir d’images, contribuant ainsi à réduire le besoin d’ensembles de données volumineux et coûteux du monde réel pour la formation de tels modèles.
Lisez l’article derrière ORBIT-Surgical et apprenez-en davantage sur les articles rédigés par NVIDIA à l’ICRA.