Enhancing Fluoroscopy-Guided Procedures with Neural Network-Based Deformable Organ Registration - Ecole Nationale du Génie de l'Eau et de l'Environnement de Strasbourg
Thèse Année : 2024

Enhancing Fluoroscopy-Guided Procedures with Neural Network-Based Deformable Organ Registration

Amélioration des Procédures Guidées par Fluoroscopie à l'aide d'un Réseau de Neurones pour le Recalage Déformable des Organes

Résumé

In fluoroscopy-guided interventions, the lack of contrast prevents direct visualization of essential anatomical structures. Existing solutions have significant drawbacks: the use of CBCT increases radiation exposure, while contrast agents present toxicity risks for patients. Fluoroscopy to CT registration has the potential to alleviate these issues, but existing literature has primarily focused on respiratory motion compensation. Yet, during interventions, clinicians' actions on organs are an additional source of deformation, rendering these registration approaches ineffective. To address these challenges, we present a real-time 2D-3D deformable registration method tailored to fluoroscopy-guided interventions. Our proposed deep learning approach seamlessly integrates into existing clinical workflows, with minimal training time after preoperative CT scan acquisition. Thanks to our novel domain-agnostic data generation framework, the trained neural network can recover arbitrary deformations, leveraging pose information through its 2D-3D feature backprojection module. Experiments on simulated fluoroscopic images demonstrated our method's ability to provide real-time vessel visualization without contrast agents. On real fluoroscopic images, our method compensates for respiratory motion with a median accuracy of 2.4 mm. These results demonstrate the potential of the proposed method, establishing a foundation for future developments while motivating more comprehensive clinical validation.
Dans les interventions guidées par fluoroscopie, le manque de contraste empêche la visualisation directe des structures anatomiques essentielles. Les solutions existantes présentent des inconvénients significatifs: l'utilisation de CBCT augmente l'exposition aux radiations, tandis que les agents de contraste présentent des risques de toxicité pour les patients. Les techniques de recalage fluoroscopie-CT pourraient résoudre ces problèmes, mais la littérature existante s'est principalement concentrée sur la compensation du mouvement respiratoire. Or, pendant les interventions, l'action des cliniciens sur les organes est également source de déformations, rendant ces approches de recalage inefficaces. Pour répondre à ces défis, nous présentons une méthode de recalage déformable 2D-3D en temps réel adaptée aux interventions guidées par fluoroscopie. Notre approche par apprentissage profond s'intègre dans la pratique clinique courante, avec un temps d'entraînement minimal après l'acquisition du scanner préopératoire. Grâce à notre processus de génération de données agnostique, le réseau de neurones entraîné est capable de compenser des déformations arbitraires, en exploitant les informations de pose avec son module de rétroprojection 2D-3D. Les expériences sur des images fluoroscopiques simulées ont montré la capacité de notre méthode à apporter une visualisation en temps réel des vaisseaux sans agents de contraste. Sur des images fluoroscopiques réelles, notre méthode permet de compenser le mouvement respiratoire avec une précision médiane de 2,4 mm. Ces résultats démontrent le potentiel de la méthode proposée, établissant une base pour de futurs développements tout en motivant la conduite d'une validation clinique plus aboutie.
Fichier principal
Vignette du fichier
main.pdf (23.61 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04875966 , version 1 (09-01-2025)

Identifiants

  • HAL Id : tel-04875966 , version 1

Citer

François Lecomte. Enhancing Fluoroscopy-Guided Procedures with Neural Network-Based Deformable Organ Registration. Computer Vision and Pattern Recognition [cs.CV]. Université de Strasbourg; Inria, 2024. English. ⟨NNT : ⟩. ⟨tel-04875966⟩
0 Consultations
0 Téléchargements

Partager

More