Es soll ein chirurgisches Assistenzsystem für die minimal-invasive Chirurgie entwickelt werden, das auf einem neuen Navigationsverfahren beruht. Bei diesem Ansatz sollen die bisherigen chirurgischen Navigationssysteme durch ein markerfreies Navigationssystem ergänzt bzw. ersetzt werden, das mit inhärenten Informationen und Daten aus der endoskopischen Bildgebung und dem OP-Prozessverlauf arbeitet. Das Assistenzsystem soll – in einer Zwischenstufe als hybrides System (d.h. in Kombination mit konventionellem Tracking), später ohne die Notwendigkeit zusätzlicher Marker, Trackingkameras und konventioneller Bildgebung (wie bspw. CT, MRT) – lediglich auf Basis erlernter Situationen aus den endoskopischen Aufnahmesequenzen arbeiten können.

Da nicht alle Nutzer und Szenarien im Vorfeld bestimmt werden können, muss das System situativ auf sich ändernde Verhältnisse selbstlernend reagieren. Dazu werden in neuen Situationen bzw. bei besonderen Pathologien die entsprechenden Prozess- und Bilddaten unter Berücksichtigung der Ontologie und über eine Adaption des zu Grunde liegenden Prozessmodells in die Wissensbasis übernommen und stehen für die folgenden Eingriffe als Referenz zur Verfügung. Das System erweitert sich durch die Interaktion mit dem Nutzer kontinuierlich selbst.

Inhalt

Für ein markerloses Navigationssystem ist die Verarbeitung und Analyse der endoskopischen Bilddaten die wesentliche Grundlage. Die durch die Projektpartner bereitgestellten Bilddaten wurden analysiert, um wesentliche Merkmale und auch Probleme identifizieren zu können. Darauf basierend wurden schließlich Verfahren entwickelt, um die dem System eingehenden Bilddaten zur Laufzeit automatisch bezüglich ihrer Güte bewerten, kleinere Bildkorrekturen vornehmen und Aussagen über deren Verwendbarkeit für weitere Analyse treffen zu können. Zudem wurden verschiedene Verfahren als separate Module realisiert, die grundlegende Bildmerkmale berechnen. Diese Module und Daten wurden mit den Projektpartnern ausgetauscht, um den Partnern die Möglichkeiten zur Datenvorfilterung und -bewertung zu geben. Dies betrifft Methoden zur Bewertung der Bildschärfe, zur Detektion der Kameraposition gegenüber dem Zielbereich („Innen-/Außenerkennung“), eine Erkennung und Korrektur von Glanzlichtern in den Bildern sowie eine initiale Tiefenrekonstruktion auf Basis von Mono-Kamerabildern.

Die im Rahmen des Projektes etablierte Prozesskette sieht es vor, dass die Methoden und Module der Projektpartner die Möglichkeit erhalten, auf lokale Bildeigenschaften zuzugreifen, um diese in ihre eigenen Berechnungen, Bewertungen und Entscheidungen einbeziehen zu können. Insbesondere Aussagen über lokale Farbveränderungen innerhalb eines Bildes sowie auftretende/wiederholende Muster und Texturen wurden dafür als relevant erachtet und die vorliegenden Endoskopievideos daraufhin untersucht. Schließlich wurden durch Dornheim Module implementiert und den Projektpartnern bereitgestellt, welche für gegebene Eingabebilddaten die jeweils gewünschten Bildattribute in der individuell erforderlichen Granularität ermitteln.

Um den Datenaustausch auf Modulebene zu realisieren und somit ein gemeinsames Softwaresystem entwickeln zu können, war es erforderlich, einen gemeinsamen Datenformatstandard sowie ein geeignetes Nachrichtensystem zu etablieren. Aufgrund von positiven Vorerfahrungen wurde vorgeschlagen, die auf Basis eines Observer/Observable-Konzeptes aufzubauen. Dabei laufen die Module für sich eigenständig und übermitteln Ihre Daten an einen zentralen Broker, der sich um die Nachrichtenverteilung und die Benachrichtigung von angemeldeten „Abonnenten“ (Client-Modulen) kümmert. Im Speziellen wurde dies mittels des „Message Queuing Telemetry Transport“-Protokoll (MQTT) realisiert, d.h. alle realisierten Bildverarbeitungs- und Bildanalysemodule sind in der Lage, Ihre Daten an einen zentralen MQTT-Broker zur Verfügung zu stellen bzw. auch Eingangsdaten von dort für die Verarbeitung zu empfangen. Dieses Setup wurde im Rahmen mehrerer Live-Tests im Rahmen von Phantomdatenaufzeichnungen mit allen laufenden Modulen erfolgreich getestet. Die via MQTT ausgetauschten Nachrichten enthalten die Daten der Module im JSON-Format. Davon ausgenommen sind lediglich die umfangreichen Bilddatenströme, für welche eine Erweiterung der MQTT-Nachrichten um ein binäres Bildformat vorgenommen wurde.

Insbesondere stereoskopische Bilddaten werden in der Endoskopie aufgrund der technischen Weiterentwicklung der Bildung von Interesse sein. Aus diesem Grund wurde der Fokus parallel zur Verarbeitung und Analyse gewöhnlicher monoskopischer Endoskopiedaten auch auf neuartige stereoskopische Bilder gelegt. Nach eingehender Analyse der Daten wurden daher bestehende Verfahren weiterentwickelt und integriert, welche eine Tiefenschätzung aus den stereoskopischen Endoskopiedaten ermöglichen. Auf Basis derartiger initialer Tiefenschätzungen wurden dann Methoden zur Rekonstruktion von Oberflächendaten sowie zu deren Texturierung realisiert. Nachdem eine solcher Rekonstruktionsprozess für individuelle Bildpaare für je einen Zeitpunkt aus einer Aufnahmeserie erfolgreich durchgeführt werden konnte, war es wichtig, nun auch die zeitliche Komponente zu integrieren. Eine der wesentlichen Herausforderungen bestand dann darin, die Aufnahmen der unterschiedlichen Zeitpunkte räumlich miteinander zu verorten und darauf basierend die Rekonstruktionsdaten in einen gemeinsamen Raum zu bringen. Dies ermöglichte schließlich die Konsolidierung der rekonstruierten Aufnahmen zu einem Gesamtmodell des mit dem Stereo-Endoskop optisch erfassten Bereiches.

Vor allem für die Verarbeitung der stereoskopischen Bilddaten und der darauf aufbauenden Tiefenschätzung und Oberflächenrekonstruktion für eine Erkennung räumlicher Bildmerkmale ist eine Evaluierung der realisierten Methoden unabdingbar, um die erreichbare Qualität bewerten zu können. Daher wurde ein Workflow auf Basis verschiedener Werkzeuge entwickelt, anhand dessen klar definierte Objekte mit bekannten Maßen zunächst erstellt, texturiert, dreidimensional visualisiert und schließlich eine Kamerafahrt als Videoanimation exportiert werden können. Die künstlich erzeugten Videos können nachfolgend für die Rekonstruktion unter kontrollierten Bedingungen eingesetzt werden. Die so erzeugten 3D-Daten wurden anschließend mit den künstlich erzeugten Referenzdaten verglichen.