L'objectif est de développer un système d'assistance chirurgicale pour la chirurgie mini-invasive basé sur une nouvelle méthode de navigation. Dans cette approche, les systèmes de navigation chirurgicale existants doivent être complétés ou remplacés par un système de navigation sans marqueur qui fonctionne avec des informations et des données inhérentes à l'imagerie endoscopique et au processus chirurgical. Le système d'assistance devrait - dans une phase intermédiaire en tant que système hybride (c'est-à-dire en combinaison avec le suivi conventionnel), puis sans marqueurs supplémentaires, caméras de suivi et imagerie conventionnelle (par exemple CT, MRI) - être uniquement capable de travailler sur la base de situations apprises à partir des séquences d'imagerie endoscopique.

Étant donné que tous les utilisateurs et scénarios ne peuvent être déterminés à l'avance, le système doit réagir aux conditions changeantes d'une manière auto-apprenante en fonction de la situation. Dans de nouvelles situations ou avec des pathologies particulières, les données de processus et d'image correspondantes sont transférées dans la base de connaissances, en tenant compte de l'ontologie et en adaptant le modèle de processus sous-jacent. Elles sont ainsi disponibles comme référence pour les interventions suivantes. Le système se développe continuellement grâce à l'interaction avec l'utilisateur.

Contenu

Le traitement et l'analyse des données d'images endoscopiques constituent la base essentielle d'un système de navigation sans marqueur. Les données d'image fournies par les partenaires du projet ont été analysées afin d'identifier les caractéristiques et les problèmes essentiels. Sur cette base, des méthodes ont finalement été développées pour évaluer automatiquement la qualité des données d'image reçues par le système en cours d'exécution, pour apporter des corrections mineures à l'image et pour faire des déclarations sur la possibilité de les utiliser pour des analyses ultérieures. En outre, diverses méthodes ont été réalisées sous forme de modules distincts qui calculent les caractéristiques de base de l'image. Ces modules et ces données ont été échangés avec les partenaires du projet afin de leur donner la possibilité de pré-filtrer et d'évaluer les données. Il s'agit de méthodes d'évaluation de la netteté de l'image, de détection de la position de la caméra par rapport à la zone cible ("reconnaissance intérieure/extérieure"), de reconnaissance et de correction des hautes lumières dans les images, ainsi que de reconstruction initiale de la profondeur sur la base d'images mono-caméra.

La chaîne de processus établie dans le cadre du projet permet aux méthodes et aux modules des partenaires du projet d'accéder aux propriétés locales de l'image afin de les inclure dans leurs propres calculs, évaluations et décisions. En particulier, les déclarations concernant les changements de couleur locaux dans une image ainsi que les motifs et textures apparaissant/répétant ont été jugées pertinentes et les vidéos d'endoscopie ont été examinées. Enfin, Dornheim a mis en place des modules, mis à la disposition des partenaires du projet, qui déterminent les attributs d'image souhaités pour des données d'image d'entrée données dans la granularité requise individuellement.

Afin de mettre en œuvre l'échange de données au niveau des modules et de pouvoir ainsi développer un système logiciel commun, il était nécessaire d'établir une norme de format de données commune et un système de messages approprié. Sur la base d'expériences antérieures positives, il a été proposé de construire le système sur la base d'un concept observateur/observable. Les modules fonctionnent de manière indépendante et transmettent leurs données à un courtier central, qui se charge de la distribution des messages et de la notification aux "abonnés" enregistrés (modules clients). En particulier, ceci a été réalisé en utilisant le protocole "Message Queuing Telemetry Transport" (MQTT), c'est-à-dire que tous les modules de traitement et d'analyse d'images réalisés sont capables de mettre leurs données à la disposition d'un courtier MQTT central ou de recevoir des données d'entrée de ce courtier pour traitement. Cette configuration a été testée avec succès avec tous les modules en cours d'exécution lors de plusieurs essais en direct dans le contexte d'enregistrements de données fantômes. Les messages échangés via MQTT contiennent les données des modules au format JSON. Les seules exceptions sont les flux de données d'images étendus, pour lesquels les messages MQTT ont été complétés par un format d'image binaire.

Les données d'images stéréoscopiques, en particulier, présenteront un intérêt pour l'endoscopie en raison du développement technique de l'enseignement. C'est pourquoi, parallèlement au traitement et à l'analyse des données d'endoscopie monoscopique ordinaires, l'accent a été mis sur les nouvelles images stéréoscopiques. Après une analyse détaillée des données, les méthodes existantes ont été développées et intégrées, ce qui permet une estimation de la profondeur à partir des données d'endoscopie stéréoscopique. Sur la base de ces estimations initiales de la profondeur, des méthodes de reconstruction des données de surface et de leur texturation ont ensuite été mises en œuvre. Une fois qu'un tel processus de reconstruction pour des paires d'images individuelles a pu être réalisé avec succès pour une fois chacune à partir d'une série d'images, il était important d'intégrer la composante temporelle. L'un des principaux défis consistait alors à localiser spatialement les images des différents points dans le temps et à rassembler les données de reconstruction dans un espace commun sur cette base. Cela a finalement permis de consolider les images reconstruites dans un modèle global de la zone capturée optiquement par le stéréo-endoscope.

En particulier pour le traitement des données d'images stéréoscopiques, l'estimation de la profondeur et la reconstruction de la surface basées sur ces données pour la reconnaissance des caractéristiques spatiales de l'image, une évaluation des méthodes réalisées est indispensable afin de pouvoir évaluer la qualité réalisable. C'est pourquoi un flux de travail basé sur différents outils a été développé, qui peut être utilisé pour créer des objets clairement définis avec des dimensions connues, les texturer, les visualiser en trois dimensions et enfin exporter un mouvement de caméra sous forme d'animation vidéo. Les vidéos générées artificiellement peuvent ensuite être utilisées pour la reconstruction dans des conditions contrôlées. Les données 3D obtenues ont ensuite été comparées aux données de référence générées artificiellement.