Wie ein Computer Musik über die Mozart- Jukebox „interpretieren“ kann und
wie die Augmented-Reality-Art-App Infos gibt
Mozart, Madonna oder Michael Jackson – das menschliche Gehör erkennt sehr
schnell Unterschiede zwischen Musikstücken und -stilen. Ein Computer bzw.
die Künstliche Intelligenz (KI) ist hierzu ebenso in der Lage - allerdings
nicht akustisch, sondern optisch. Dies zeigt das Projekt „Mozart Jukebox”
der Hochschule für angewandte Wissenschaften Würzburg-Schweinfurt. Ein
zweites Projekt, die Augmented-Reality-App, integriert die Einzelprojekte
des Mozart-Jubiläumsjahres. Beide Projekte der FHWS sind integriert in
zwei aktuelle Konzepte: Zum einen feiert Würzburg 100-jähriges Jubiläum
des Mozartfestes, in dem das Hochschulprojekt „Mozart & KI" ein
Bestandteil eines Quartetts ist. Zum anderen gehen Wissenschaftlerinnen
und Wissenschaftler aus Würzburg und Weimar seit 2020 der Frage nach, wie
sich die musikalische Kreativität Mozarts mit Algorithmen verbinden lässt.
Beteiligt an diesem Ansatz sind neben der FHWS die Julius-Maximilians-
Universität Würzburg, das Steinbeis-Institut New Media and Data Science
(Prof. Dr. Frank Deinzer, FHWS) sowie ein freier Komponist aus Weimar.
Mozart-Jukebox zeigt, wie ein Computer Musik „interpretiert“
Christoph Raab, Mitarbeiter am Institut Digital Engineering an der
Fakultät Informatik und Wirtschaftsinformatik der FHWS, hat die „Mozart-
Jukebox“ zusammen mit Studierenden mit dem Ziel entwickelt, den
Lernvorgang von künstlicher Intelligenz visuell zu demonstrieren. Der
Ansatz: Es werden sogenannte akustische Frequenzdarstellungen verwendet
und diese als Spektrogramm dargestellt. Die Software der Jukebox wurde
„trainiert“ und kann 484 Musikstücke von 15 Komponistinnen und Komponisten
sowie Musizierenden differenzieren. Die KI wurde so programmiert, dass sie
ihre Interpretation der Musik dreidimensional darstellt und dadurch für
das menschliche Auge sichtbar wird.
Das Projekt verfolgt zwei Ansätze – die der überwachten sowie der
unüberwachten KI. Gemeinsam ist ihnen, dass sie versuchen, Musikstücke
sinnvoll zusammenzufassen. Während die überwachte KI Zugriff auf
Künstlerinformationen hatte, stand bei der unüberwachten Variante die
Kategoriezuordnung im Fokus. „Die FHWS Jukebox“, so erläutert es Raab,
„ermöglicht es, die Perspektive einer Künstlichen Intelligenz (KI) auf
Musik nachzuvollziehen. Die hier verwendete Technik wird Convolutional
Neural Network, kurz CNN, genannt: Menschen nehmen die Umwelt über die
Augen war. Diese Wahrnehmung wird von den Augen an das Gehirn geschickt
und schließlich verarbeitet. Ein CNN ist allerdings ein Programm und
besitzt daher natürlich keine Augen. Es funktioniert aber im Prinzip
ähnlich wie das Gehirn: Der Mensch gibt dem CNN Bilder zur Verarbeitung
und meldet das Ergebnis schließlich an den Menschen zurück.
Christoph Raab zeigt die Relevanz der Ergebnisse auf: „Der Mensch denkt in
Kategorien und Mustern, um Situationen und Eindrücke einzuordnen. Diese
können sehr individuell und von den eigenen Erfahrungen geprägt sein. Auch
eine KI hat eine eigene Sichtweise, die sehr individuell sein kann.
Normalerweise können Menschen nicht ohne Weiteres einsehen, wie eine KI
Informationen einordnet. Für dieses Projekt wurde die KI so programmiert,
dass ein Mensch mit bloßem Auge die Einordnung von Liedern zu
Künstlerinnen und Künstlern sehen kann. Es ist dadurch möglich zu sehen,
wie gut oder schlecht sie das macht. Dabei ist das Ergebnis stark von der
Programmierung und den Einstellungen abhängig, die der Mensch vornimmt.“
Interessierte können die Jukebox selbst ausprobieren und unterschiedliche
Filter sowie Auswahlen treffen, auch über die „Mozart and More“-App im
App- und Playstore.
Die Augmented-Reality App
Die Augmented-Reality App wurde von Prof. Dr. Frank Deinzer (FHWS) am
Steinbeis Institut New Media and Data Science im Zuge eines
Technologietransfers bzw. einer Ausgründung entwickelt. Die App integriert
Einzelprojekte des Gesamtkonzepts „Mozart und KI“ und macht Geschichte
über z.B. Plakate, Fotos, Videos und 3D-Objekte mit zusätzlichen
Informationen und einem Content Management System „lebendig“. Auf Basis
von Augmented Reality können z.B. Plakate mit zusätzlichen Informationen
über eine App und ein Content Management System versehen werden. Diese
sind in der Lage, die Inhalte des Plakats zu erkennen und vorbereitete
Inhalte zu diesem Plakat virtuell zu überlagern.
Die „Mozart & KI“-Projekte können bis Sonntag, 27. Juni, im „M Pop-Up" in
Würzburg (Plattnerstraße 14) besichtigt bzw. ausprobiert werden.
Gefördert wird das Gesamtprojekt „Mozart & KI“ von 100 Jahre Mozartfest
Würzburg, der Vogel Stiftung, Würzburg Web Week und der Bayerischen
Sparkassenstiftung. Dessen Vorstandsvorsitzender, Professor Dr. Reuter,
zur Fördermotivation: „Wir haben mit diesem Vorhaben zum wiederholten Mal
ein Projekt initiiert und gefördert, das die Verbindung von Algorithmen
mit Kunst und Kreativität aufzeigt. Damit wollen wir die Beschäftigung
unserer Bürger mit ihrem Verhältnis zu Künstlicher Intelligenz anregen und
den gewinnbringenden Einsatz intelligenter Automation in unserer
Gesellschaft diskutieren.”
