Künstliche Intelligenz: Wie sich ihr missbräuchlicher Einsatz verhindern lässt

Künstliche Intelligenz (KI) unterstützt Menschen bereits heute im Alltag
und verbessert Prozesse in Unternehmen und Behörden. Selbstlernende
Systeme können aber auch entgegen ihrem eigentlichen Zweck eingesetzt
werden und der Gesellschaft und Wirtschaft schaden. Wie sich KI-Systeme
schützen lassen, zeigt ein aktuelles Whitepaper der Plattform Lernende
Systeme. Die Expertinnen und Experten veranschaulichen anhand
realistischer Anwendungsszenarien mögliche Herausforderungen und benennen
konkrete Vorkehrungen, um einen Missbrauch zu verhindern. Ihr Fazit: Von
der Entwicklung bis zur Entsorgung eines KI-Systems müssen mögliche
Einfallstore für eine schadhafte Anwendung geschlossen werden.

Autonome Fahrzeuge können Personen sicher durch den Straßenverkehr bewegen
– oder, als Waffe umfunktioniert, in eine Menschenmenge gelenkt werden.
KI-gesteuerte Flugdrohnen können Pakete zustellen – oder Drogen liefern.
Sprachmodelle können den Kundenservice verbessern – oder täuschend echte
Phishing-Mails verfassen, um Schadsoftware in ein Unternehmen zu
schleusen. Die nutzbringenden Einsatzmöglichkeiten von KI sind ebenso
vielfältig wie die missbräuchlichen Anwendungsfälle. Als „Zweckentfremdung
mit negativen Folgen“ beschreiben die Autorinnen und Autoren des
Whitepapers „KI-Systeme schützen, Missbrauch verhindern“ den sogenannten
Missbrauch von KI-Systemen. Dahinter stehe immer menschliche Absicht
unterschiedlicher Akteure mit unterschiedlichen Motiven. Die Expertinnen
und Experten betonen die besondere Tragweite einer Manipulation von KI-
Systemen im Vergleich mit anderen technischen Systemen: So können die
Handlungen von Menschen und Maschinen beeinflusst werden, wenn KI-Systeme
zur Entscheidungsfindung herangezogen werden.

„Fakt ist, dass KI-Systeme von Kriminellen, staatlichen Organisationen
oder wirtschaftlichen Wettbewerbern immer auch für unlautere Zwecke
missbraucht werden können – sei es, um Spionage zu betreiben,
Falschinformationen zu streuen oder Menschen zu überwachen. Wir müssen
deshalb den Blick von Anfang an auf mögliche Schwachstellen richten, vom
Design bis zur Wartung“, sagt Jürgen Beyerer, Leiter des Fraunhofer-
Instituts für Optronik, Systemtechnik und Bildauswertung IOSB und Leiter
der Arbeitsgruppe „Lebensfeindliche Umgebungen“ der Plattform Lernende
Systeme. „Wir müssen uns in einen möglichen Täter hineinversetzen und
überlegen, welche Angriffsszenarien im konkreten Anwendungsfall denkbar
sind. Hierfür sind technische Schutzmechanismen zu integrieren, aber auch
organisatorische Vorkehrungen zu treffen.“
Nicht nur das KI-System selbst, sondern auch seine Daten und Lernprozesse
müssen geschützt werden. Zum technischen Schutz der KI-Systeme dienen
sowohl klassische Vorrichtungen der Cybersecurity als auch KI-gestützte
Instrumente wie die Erkennung von Anomalien oder Identitäten.

“Missbrauch bedeutet dabei nicht notwendigerweise, dass das KI-System
gehackt wird, sondern dass es, so wie es ist, für einen nicht
beabsichtigten, bösartigen Zweck verwendet wird. So könnte ein autonomes
Auto für Angriffe missbraucht werden, oder ein KI-System, das aus
Sicherheitsgründen Giftstoffe erkennt, dazu verwendet werden, neuartige,
noch giftigere Stoffe zu entwickeln“, erklärt Jörn Müller-Quade, Professor
für Kryptographie am Karlsruher Institut für Technologie (KIT) und Leiter
der Arbeitsgruppe IT-Sicherheit, Privacy, Ethik und Recht der Plattform
Lernende Systeme. „Deshalb müssen schon in der Entwicklung von KI-Systemen
Vorkehrungen getroffen werden, die eine derartige kriminelle Nutzung
bestenfalls erkennen und unterbinden, zumindest aber deutlich erschweren.“

Die Autorinnen und Autoren des Whitepapers unterstreichen, dass
Schutzvorkehrungen auch die Umgebung des KI-Systems berücksichtigen
sollten sowie die Menschen, die es entwickeln, anwenden oder
kontrollieren. Das Fehlverhalten von Menschen könne in jeder Phase des
Lebenszyklus eines KI-Systems zu Risiken führen. Klare Prozesse und
Regeln, etwa zum Umgang mit KI im Unternehmen, erschweren einen
missbräuchlichen Einsatz. Notwendig sei es, das Wissen zu KI in der
Gesellschaft zu stärken und die Auseinandersetzung mit Schwachstellen von
KI zu fördern, heißt es im Whitepaper.  Zudem empfehlen die Expertinnen
und Experten, ausgewählte KI-Systeme regelmäßig von unabhängigen
Drittstellen auf Schwachstellen überprüfen zu lassen – auch nach deren
Zulassung – sowie die Verantwortlichkeiten und Haftung im Fall eines
Missbrauchs auf europäischer Ebene zu klären.

Über das Whitepaper
Das Whitepaper „KI-Systeme schützen, Missbrauch verhindern“ wurde
federführend von Expertinnen und Experten der Arbeitsgruppen
„Lebensfeindliche Umgebungen“ und „IT-Sicherheit, Privacy, Ethik und
Recht“ der Plattform Lernende Systeme verfasst. Mitglieder weiterer
Arbeitsgruppen waren beteiligt.

Über die Plattform Lernende Systeme
Die Plattform Lernende Systeme ist ein Netzwerk von Expertinnen und
Experten zum Thema Künstliche Intelligenz (KI). Sie bündelt vorhandenes
Fachwissen und fördert als unabhängiger Makler den interdisziplinären
Austausch und gesellschaftlichen Dialog. Die knapp 200 Mitglieder aus
Wissenschaft, Wirtschaft und Gesellschaft entwickeln in Arbeitsgruppen
Positionen zu Chancen und Herausforderungen von KI und benennen
Handlungsoptionen für ihre verantwortliche Gestaltung. Damit unterstützen
sie den Weg Deutschlands zu einem führenden Anbieter von
vertrauenswürdiger KI sowie den Einsatz der Schlüsseltechnologie in
Wirtschaft und Gesellschaft. Die Plattform Lernende Systeme wurde 2017 vom
Bundesministerium für Bildung und Forschung (BMBF) auf Anregung des
Hightech-Forums und acatech – Deutsche Akademie der Technikwissenschaften
gegründet und wird von einem Lenkungskreis gesteuert.