El objetivo es desarrollar un sistema de asistencia quirúrgica para cirugía mínimamente invasiva basado en un nuevo método de navegación. En este planteamiento, los sistemas de navegación quirúrgica existentes deben complementarse o sustituirse por un sistema de navegación sin marcadores que funcione con información y datos inherentes a las imágenes endoscópicas y al proceso quirúrgico. El sistema de asistencia debería -en una fase intermedia como sistema híbrido (es decir, en combinación con el seguimiento convencional), más adelante sin necesidad de marcadores adicionales, cámaras de seguimiento e imágenes convencionales (por ejemplo, TAC, RMN)- ser capaz de trabajar únicamente sobre la base de situaciones aprendidas a partir de las secuencias de imágenes endoscópicas.

Dado que no todos los usuarios y escenarios pueden determinarse de antemano, el sistema debe reaccionar a las condiciones cambiantes de forma autodidacta en función de la situación. En situaciones nuevas o con patologías especiales, los datos de proceso e imagen correspondientes se transfieren a la base de conocimientos, teniendo en cuenta la ontología y adaptando el modelo de proceso subyacente. De este modo, están disponibles como referencia para las siguientes intervenciones. El sistema se amplía continuamente mediante la interacción con el usuario.

Contenido

El tratamiento y análisis de los datos de las imágenes endoscópicas es la base esencial de un sistema de navegación sin marcadores. Los datos de imagen proporcionados por los socios del proyecto se analizaron para identificar las características y los problemas esenciales. A partir de ahí, se desarrollaron métodos para evaluar automáticamente la calidad de los datos de imagen recibidos por el sistema durante el tiempo de ejecución, realizar correcciones menores de la imagen y hacer afirmaciones sobre su utilidad para análisis posteriores. Además, varios métodos se realizaron como módulos independientes que calculan las características básicas de la imagen. Estos módulos y datos se intercambiaron con los socios del proyecto para ofrecerles la posibilidad de prefiltrar y evaluar los datos. Se trata de métodos para la evaluación de la nitidez de la imagen, para la detección de la posición de la cámara en relación con la zona objetivo ("reconocimiento interior/exterior"), un reconocimiento y corrección de los puntos destacados en las imágenes, así como una reconstrucción inicial de la profundidad a partir de imágenes de una sola cámara.

La cadena de procesos establecida en el marco del proyecto prevé que los métodos y módulos de los socios del proyecto puedan acceder a las propiedades locales de las imágenes para incluirlas en sus propios cálculos, evaluaciones y decisiones. En concreto, se consideraron relevantes las afirmaciones sobre cambios locales de color dentro de una imagen, así como la aparición/repetición de patrones y texturas, y se examinaron los vídeos de endoscopia. Por último, Dornheim implementó y puso a disposición de los socios del proyecto módulos que determinan los atributos de imagen deseados para unos datos de imagen de entrada dados en la granularidad requerida individualmente.

Para aplicar el intercambio de datos a nivel de módulos y poder desarrollar así un sistema de software común, era necesario establecer una norma común de formato de datos y un sistema de mensajes adecuado. Basándose en experiencias previas positivas, se propuso construir el sistema sobre la base de un concepto Observador/Observable. Los módulos funcionan de forma independiente y transmiten sus datos a un intermediario central, que se encarga de la distribución de mensajes y la notificación a los "abonados" registrados (módulos cliente). En concreto, esto se realizó utilizando el protocolo "Message Queuing Telemetry Transport" (MQTT), es decir, todos los módulos de procesamiento y análisis de imágenes realizados son capaces de poner sus datos a disposición de un broker MQTT central o de recibir datos de entrada desde allí para su procesamiento. Esta configuración se probó con éxito con todos los módulos en funcionamiento durante varias pruebas en vivo en el contexto de grabaciones de datos fantasma. Los mensajes intercambiados a través de MQTT contienen los datos de los módulos en formato JSON. Las únicas excepciones son los extensos flujos de datos de imagen, para los que los mensajes MQTT se ampliaron con un formato de imagen binario.

Los datos de imágenes estereoscópicas, en particular, serán de interés en endoscopia debido al desarrollo técnico de la enseñanza. Por este motivo, paralelamente al tratamiento y análisis de los datos de endoscopia monoscópica ordinaria, se ha prestado especial atención a las nuevas imágenes estereoscópicas. Tras un análisis detallado de los datos, se siguieron desarrollando e integrando los métodos existentes, que permiten una estimación de la profundidad a partir de los datos de endoscopia estereoscópica. Sobre la base de estas estimaciones iniciales de profundidad, se implementaron métodos para la reconstrucción de datos de superficie y su texturización. Una vez que se pudo llevar a cabo con éxito dicho proceso de reconstrucción para pares de imágenes individuales para una vez cada uno a partir de una serie de imágenes, era importante integrar el componente temporal. Uno de los principales retos consistió entonces en localizar espacialmente las imágenes de los distintos puntos temporales y, a partir de ahí, llevar los datos de reconstrucción a un espacio común. Esto permitió finalmente consolidar las imágenes reconstruidas en un modelo global de la zona captada ópticamente por el endoscopio estereoscópico.

Especialmente para el tratamiento de los datos de imágenes estereoscópicas y la estimación de la profundidad y la reconstrucción de superficies basadas en ellos para el reconocimiento de las características espaciales de la imagen, es indispensable una evaluación de los métodos realizados para poder valorar la calidad alcanzable. Por lo tanto, se desarrolló un flujo de trabajo basado en diferentes herramientas, que puede utilizarse para crear objetos claramente definidos con dimensiones conocidas, texturizarlos, visualizarlos tridimensionalmente y, por último, exportar un movimiento de cámara como animación de vídeo. Los vídeos generados artificialmente pueden utilizarse después para la reconstrucción en condiciones controladas. Los datos 3D resultantes se compararon con los datos de referencia generados artificialmente.