Wissenschaftler am Nationalen Centrum für Tumorerkrankungen Dresden
(NCT/UCC) und am Zentrum für taktiles Internet mit Mensch-Maschine-
Interaktion (CeTI) der TU Dresden haben mithilfe künstlicher Intelligenz
erstmals eine Methode entwickelt, mit der Computer die Nutzung
chirurgischer Instrumente vor deren Einsatz vorhersehen können. Sie
verwendeten dafür ein neuronales Netz, das sie mit einem spezifischen
Anforderungsprofil versahen und mit Videos von realen Operationen
trainierten.
Die Fähigkeit intelligenter Softwarelösungen, Ereignisse im Operationssaal
zu erkennen und zu interpretieren, ist eine wichtige Voraussetzung, um dem
OP-Team situationsbezogene Assistenzfunktionen – beispielsweise durch
Roboter – bereitstellen zu können. Die Ergebnisse ihrer Untersuchung
stellten die Wissenschaftler im Rahmen der International Conference on
Medical Image Computing & Computer Assisted Intervention (MICCAI) vor.
Das Nationale Centrum für Tumorerkrankungen Dresden (NCT/UCC) ist eine
gemeinsame Einrichtung des Deutschen Krebsforschungszentrums (DKFZ), des
Universitätsklinikums Carl Gustav Carus Dresden, der Medizinischen
Fakultät Carl Gustav Carus der TU Dresden und des Helmholtz-Zentrums
Dresden-Rossendorf (HZDR).
Im Operationssaal der Zukunft werden computerbasierte Assistenzsysteme
eine deutlich größere Rolle spielen als heute. Sie sollen Arbeitsabläufe
einfacher und sicherer machen. „Möglich sind solche
Unterstützungsfunktionen allerdings nur, wenn Computer in der Lage sind,
wichtige Ereignisse im OP zu antizipieren und zur richtigen Zeit die
richtigen Informationen bereit zu stellen“, erklärt Prof. Stefanie
Speidel, Leiterin der Abteilung Translationale Chirurgische Onkologie am
Nationalen Centrum für Tumorerkrankungen Dresden (NCT/UCC). Ein System,
das die Nutzung bestimmter chirurgischer Instrumente vorhersehen kann, ist
beispielsweise eine wichtige Voraussetzung für den Einsatz autonomer
Robotersysteme, die einfache Teilaufgaben im OP wie das Absaugen von Blut
übernehmen könnten. Zudem könnte es früh vor Komplikationen warnen, wenn
diese mit dem Einsatz eines bestimmten Instruments verknüpft sind oder die
Effizienz bei der Vorbereitung von Instrumenten erhöhen. „Wir verfolgen
allerdings nicht die Vision, den Chirurgen durch einen Roboter oder andere
Assistenzen zu ersetzen. Die intelligenten Systeme sollen lediglich eine
helfende Hand sein und den Arzt und das gesamte OP-Team entlasten“, sagt
Prof. Jürgen Weitz, geschäftsführender Direktor am NCT/UCC und Direktor
der Klinik für Viszeral-, Thorax- und Gefäßchirurgie des
Universitätsklinikums Dresden.
Wissenschaftlern am NCT/UCC und am CeTI ist es nun erstmals gelungen, eine
Methode zu entwickeln, mit der Computer lernen können, den Einsatz
chirurgischer Instrumente situationsbezogen wenige Minuten vor deren
tatsächlichem Gebrauch vorherzusagen. Sie nutzten hierfür ein künstliches
neuronales Netz, das als Teilgebiet der Künstlichen Intelligenz die
Fähigkeit des Menschen nachahmt, anhand von Beispielen zu lernen. Den
intelligenten Algorithmus versahen sie mit folgender mathematisch
formulierten Aufgabenstellung: Ausgehend von der kontinuierlichen Analyse
der Video-Bilder einer Operation soll die Nutzung bestimmter Instrumente
wenige Minuten vor deren Einsatz angezeigt werden. In den
dazwischenliegenden Zeitintervallen, in denen das jeweilige Instrument
nicht genutzt wird, soll das neuronale Netz lernen, nicht zu reagieren.
Anschließend trainierten sie das neuronale Netz mit 60 Videos von
Gallenblasenentfernungen, die standardmäßig über ein optisches Instrument
(Laparoskop) im Bauchraum aufgenommen wurden. In diesen Videos war das
Auftreten von fünf verschiedenen Instrumenten markiert.
Geringer Aufwand verspricht Praxistauglichkeit
An 20 weiteren Videos musste das Neuronale Netz dann sein Wissen ohne
entsprechende Markierungen unter Beweis stellen. Die Wissenschaftler
konnten hierbei zeigen, dass das System wichtige Lernfortschritte erzielt
hatte und die Instrumentennutzung vielfach korrekt vorhersagen konnte.
Auch im Vergleich mit anderen Herangehensweisen zeigte die Methode
vielversprechende Resultate. Dies ist auch deshalb bemerkenswert, da der
gewählte Ansatz im Vergleich zu anderen Herangehensweisen deutlich
anwendungstauglicher ist und zugleich die Lösung komplexer Aufgaben
ermöglicht. So setzen bereits bestehende Forschungsansätze zur Vorhersage
von Ereignissen aus Video-Daten vielfach auf engmaschige manuelle
Markierungen in den Trainings-Daten. Ein Aufwand, der bei langen
Operations-Videos in der Praxis nicht leistbar wäre. Andere Methoden
nehmen den Zeitpunkt des Ereignisses als gegeben an. Das Netz hat dann
lediglich die Aufgabe, zwischen verschiedenen möglichen Ereignissen zu
entscheiden. „Wir konnten hingegen zeigen, dass ein künstliches neuronales
Netz mit spezifischen Anpassungen und einer geeignet formulierten
mathematischen Aufgabenstellung in der Lage ist, mit geringem Markierungs-
Aufwand sinnvolle Aussagen über die Art des zu wählenden Instruments und
den zeitlichen Horizont der Anwendung zu treffen“, sagt Erstautor Dominik
Rivoir von der Abteilung Translationale Chirurgische Onkologie am NCT/UCC.
Künstliche Neuronale Netze in der Medizin
In vielen Bereichen unseres Lebens zählen Leistungen künstlicher
neuronaler Netze heute schon selbstverständlich zu unserem Alltag,
beispielsweise bei Produktempfehlungen auf Online-Verkaufsplattformen oder
automatischer Bilderkennung auf Social Media. Die Netze sind in der Lage,
Informationen aus Bilddaten zu extrahieren. Durch das Training mit großen
Bild- oder Videomengen lernen sie, Muster in Bildern zu erkennen, um eine
vorgegebene Aufgabe zu lösen. Die Entscheidungsfindung innerhalb des
mathematischen Systems ist hierbei jedoch häufig so komplex, dass sie sich
vom Menschen kaum noch nachvollziehen lässt. Gerade bei medizinischen
Anwendungen sollen die Entscheidungen des Computers aber möglichst
transparent sein, um mögliche Fehler und potentielle Auslöser für die
Entscheidungsfindung nachvollziehen zu können. Die Wissenschaftler wählten
daher ein so genanntes Bayessches Netz, das es ermöglicht, für jede
Teilentscheidung zu messen, mit welchem Grad an Unsicherheit das Netz die
jeweilige Aussage trifft. Das ermöglicht es, Bildmerkmale zu
identifizieren, die ein Netz mit so hoher Sicherheit erkennen kann, dass
diese zum Beispiel als Ausgangspunkt für eine Assistenzfunktion genutzt
werden können. In der vorliegenden Untersuchung interpretierte das Netz
beispielsweise das Auftauchen eines Clips zum Abklemmen eines Blutgefäßes
mit hoher Sicherheit als Merkmal, um den kurz darauf erfolgenden Einsatz
einer Schere vorherzusagen.
Die Wissenschaftler wollen die Methode nun verfeinern und das Neuronale
Netz mit weiteren Datensätzen füttern. Ein Fokus liegt auf Operations-
Videos, in denen vermehrt stärkere Blutungen zu sehen sind. Anhand der
Bilddaten soll das Netz noch besser lernen, wann Blutungen mittels eines
speziellen Instruments abgesaugt werden müssen. Dies könnte künftig als
Basis dienen, um den Einsatz eines robotergeführten Sauginstruments
zeitlich zu steuern oder Komplikationen vorherzusagen.
Veröffentlichung:
Dominik Rivoir, Sebastian Bodenstedt, Isabel Funke, Felix von
Bechtolsheim, Marius Distler, Jürgen Weitz, and Stefanie Speidel:
Rethinking Anticipation Tasks: Uncertainty-aware Anticipation of Sparse
Surgical Instrument Usage for Context-aware Assistance. In: Martel A.L. et
al. (eds) Medical Image Computing and Computer Assisted Intervention –
MICCAI 2020. MICCAI 2020. Lecture Notes in Computer Science, vol 12263.
Springer, Cham. DOI: https://doi.org/10.1007/978-3-
