5G HTX - Mixed Reality Remote Assistenzsystem

Unterstützung von Herztransplantationen mit Mixed Reality und 5G Mobilfunkstandard

Projektlaufzeit: 06/2021 - 06/2023

Mitarbeitende: M.Sc. Bastian Dewitz, M.Sc. Roman Bibo, Dr. Falko Schmid, Dr. Hug Aubin

Partner: Vodafone, Fachhochschule Dortmund

Fördermittelgeber: Ministerium für Wirtschaft, Industrie, Klimaschutz und Energie des Landes Nordrhein-Westfalen

Motivation

Jährlich werden am Universitätsklinikum Düsseldorf eine Vielzahl von Herztransplantationen durchgeführt, die herzkranken Patient:innen ein neues Leben ermöglichen. Das UKD zählt zu einem der größten Zentren für Herztransplantationen in Deutschland. Im Rahmen des vom Land NRW geförderten Verbundprojektes „GIGA FOR HEALTH“ hat sich das Digital Health Lab Düsseldorf zum Ziel gesetzt, Herztransplantationen mit 5G und Mixed Reality zu unterstützen und somit den Erfolg von Herztransplantationen weiter zu erhöhen.

Maßgeblich für das Gelingen einer Herztransplantation ist die Kompatibilität des Spenderherzens mit dem Empfänger, sowie die Zeitspanne zwischen Explantation des Herzens und dessen Implantation. Für einen reibungslosen Ablauf einer Herztransplantation arbeiten zwei Ärzteteams parallel, ein implantierendes und ein explantierendes Team. Das explantierende Team ist zuständig für die Entnahme des Spenderorgans, das Implantierende für die Vorbereitung des herzkranken Patienten am UKD und die Implantation des Spenderherzens.

In der Regel befindet sich der oder die Spender:in nicht am UKD selbst, sondern in einem externen Krankenhaus innerhalb der Eurotransplanregionen. Zu den Eurotransplanregionen zählen unter anderem die Länder Belgien, Niederlande und Österreich, aber auch nicht an Deutschland angrenzende Länder wie Ungarn oder Kroatien. Diese räumliche Trennung von Empfänger:in und Spender:in erschwert die Beurteilung und die effiziente, mit dem Implanationsteam abgestimmte Explanation des Spenderorgans. Die beiden Transplantationsteams müssen hier gut abgestimmt sein, um einerseits eine finale Entscheidung über die Eignung des Spenderorgans zu treffen und andererseits den oder die Patienten:in am UKD für die Implantation vorzubereiten und somit die Zeitspanne zwischen Entnahme und Implantation möglichst gering zu halten – idealerweise unter 4 Stunden.

Projekt

Um den Prozess der Explanation zu verbessern und zu beschleunigen hat sich das Digital Health Lab Düsseldorf zum Ziel gesetzt, die Kommunikation und Abstimmung zwischen den parallel arbeitenden Teams einfacher und zuverlässiger zu gestalten. Dazu wird ein auf Mixed Reality basierendes „Remote Assistance“ - System entwickelt, das es Chirurg:innen ermöglicht mit ihren Kolleg:innen am UKD zu kommunizieren, Patientendaten auszutauschen und gleichzeitig die Explantation in Echtzeit als 3D-Videostream zu übertragen. Über ein Mixed Reality-Head-Mounted-Display (MR-HMD) teilt der explantierende Operateur sein Sichtfeld in hoher Auflösung mit dem Implantationsteam und empfängt Markierungen in Form von digitalen Hologrammen vom anderen Team. Das implantierende Team wiederum kann so die Explantation in Echtzeit über großflächige Bildschirme oder in VR begleiten, auf aufkommende Fragen eingehen und Herausforderungen gemeinsam mit dem Explantationsteam im Detail lösen.

Um eine effiziente Kommunikation und Interaktion zwischen den Teams zu gewährleisten ist die Echtzeitdatenübertragung mit geringer Latenz eine Voraussetzung für ein erfolgreiches System. Diese ist nur mit der Nutzung des neuen Mobilfunkstandards 5G umsetzbar.

Gallerie