Die Magie eines Live-Events entsteht aus einer Vielzahl von Faktoren: Die
Leidenschaft der Musikerinnen und Musiker, die sich auf das Publikum
überträgt. Die Interaktion zwischen Publikum und Künstlerinnen und
Künstlern. Der große Aha-Moment eines spektakulären Bühnenbildes. Wie kann
man diese Erfahrungen, gerade auch in Zeiten von Corona, in einem hybriden
Format erzeugen? Und wie lassen sich mit heutigen technischen
Möglichkeiten die Grenzen des Machbaren ausreizen? Im Projekt Virtual LiVe
kollaborieren dafür die drei Fraunhofer-Institute FOKUS, HHI und IIS mit
der Kreativwirtschaft und Unternehmen aus der Veranstaltungsbranche.
Gemeinsam arbeiten sie an innovativen Konzepten für hybride Live-
Veranstaltungen. Wie dies konkret aussehen kann, können Besucherinnen und
Besucher beim hybriden Laborkonzert am 11. Dezember 2021 live in Berlin,
Bochum und virtuell erleben.
An diesem Abend wird im Berliner Veranstaltungsort Kesselhaus der Künstler
Billy Andrews – The Dark Tenor – auftreten. Die unter den aktuellen
Coronavorgaben stattfindende Veranstaltung wird drei ganz besondere
Merkmale aufweisen: Erstens wird Billy Andrews live von den Queenz of
Piano begleitet, die nicht im Kesselhaus spielen, sondern mittels der
Plattform Digital Stage per Internet zusammen musizieren werden. Zweitens
wird das Konzert live in das Planetarium Bochum gestreamt. Dort genießt
das Publikum ein audiovisuelles 360-Grad-Erlebnis – als wären sie bei der
Live-Show dabei. Das Konzert wird auch über das Internet in Echtzeit zu
den Zuschauenden nach Hause gestreamt. Der Applaus des Bochumer Publikums
und der Teilnehmerinnen und Teilnehmer des Online Streams wird zum
Künstler in das Berliner Kesselhaus zurückgespielt. Hierzu wird
synthetischer Applaus aus Emojis generiert, die über eine Web-App
verschickt werden können. Das Ziel dabei: Die Zuschauenden sollen das
Konzert auf eine Weise genießen, die dem Live-Erlebnis so nah wie möglich
kommt.
Für die Übertragung der Live-Veranstaltungen setzen die beteiligten
Fraunhofer-Institute verschiedene Technologien ein:
Für das Streaming über das Internet wird die FAMIUM-DASH-Plattform
verwendet. Sie ermöglicht, Videostreams mit niedriger Verzögerung (Low
Latency), adaptiver Qualität sowie inklusive auditivem oder visuellem
Feedback zu übertragen.
Der Auftritt des Künstlers im Berliner Kesselhaus wird mithilfe der
OmniCam als hochaufgelöster 360°-Videostream aufgenommen und in Echtzeit
übertragen. Die Technologie erlaubt es, immersive Panoramen auf die
Kuppelprojektoren im Planetarium Bochum, aber auch auf VR-Brillen und
mobile Endgeräte zu streamen. Für umhüllenden 3D-Klang bei der Übertragung
sorgt die MPEG-H 3D Audio-Technologie.
Weitere Informationen zur Teilnahme unter
https://www.fokus.fraunhofer.d
berlin.de/events/virtual-live-
kesselhaus-berlin-with-fraunho
Über Virtual LiVe
Virtual LiVe – Virtualisierung von Live-Veranstaltungen durch
audiovisuelle Immersion – wird vom 3IT – Innovation Center for Immersive
Imaging Technologies – gehostet und im Rahmen des ‚KMU-akut‘-Programms
»Forschung für den Mittelstand« der Fraunhofer-Gesellschaft unterstützt.
Im Projekt arbeiten das Fraunhofer-Institut für Offene
Kommunikationssysteme FOKUS, das Fraunhofer-Institut für
Nachrichtentechnik, Heinrich-Hertz-Institut, HHI und das Fraunhofer-
Institut für Integrierte Schaltungen IIS zusammen. Ziel des Projektes ist
es, klassische Veranstaltungsformate durch den Einsatz neuer immersiver
Medientechnologien (z. B. 3D-Audio- und 360°-Video-Streaming) digital zu
ergänzen und einen Mehrwert gegenüber typischen Videostreams über das
Internet zu geben. Weitere Informationen zum Projekt: https://www.3it-
berlin.de/projects/virtuallive
Fraunhofer FOKUS
Fraunhofer FOKUS erforscht die Digitale Vernetzung und ihre Auswirkungen
auf Gesellschaft, Wirtschaft und Technologie. Seit 1988 unterstützt es
Wirtschaftsunternehmen und öffentliche Verwaltung in der Gestaltung und
Umsetzung des digitalen Wandels. Dazu bietet Fraunhofer FOKUS
Forschungsleistungen von der Anforderungsanalyse über Beratung,
Machbarkeitsstudien, Technologieentwicklung bis hin zu Prototypen und
Piloten in den Geschäftsbereichen Digital Public Services, Future
Applications and Media, Quality Engineering, Smart Mobility, Software-
based Networks, Vernetzte Sicherheit, Visual Computing und Analytics an.
Mit rund 460 Mitarbeiterinnen und Mitarbeitern in Berlin und einem
jährlichen Budget von 32,9 Millionen Euro gehört Fraunhofer FOKUS zu den
größten IKT-Instituten der Fraunhofer-Gesellschaft. Es erwirtschaftet rund
80 Prozent seines Budgets aus Aufträgen der Industrie und der öffentlichen
Hand.
https://www.fokus.fraunhofer.d
Fraunhofer HHI
Innovationen für die digitale Gesellschaft von morgen stehen im
Mittelpunkt der Forschungs- und Entwicklungsarbeit des Fraunhofer-
Instituts für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI. Dabei ist
das Fraunhofer HHI weltweit führend in der Erforschung von mobilen und
optischen Kommunikationsnetzen und -systemen, faseroptischen
Sensorsystemen sowie der Kodierung von Videosignalen und der
Bilddatenverarbeitung.
Die Abteilung Vision & Imaging Technologies beschäftigt sich mit
innovativen Technologien im Bereich der Videoerfassung, -analyse und
-darstellung. Unter anderem werden hier komplexe Erfassungs- und
Displaysysteme, die aus mehreren Kameras, Sensoren, Displays, Projektoren,
HMDs und Bildschirmen bestehen, entwickelt. Dabei werden anspruchsvolle
Lösungen für immersive Medien sowie Virtual, Augmented und Extended
Reality für ein breites Spektrum von Anwendungen in Industrie,
Medizintechnik, Landwirtschaft, Sicherheit sowie Multimedia entwickelt.
https://www.hhi.fraunhofer.de/
Fraunhofer IIS
Das Fraunhofer-Institut für Integrierte Schaltungen IIS mit Hauptsitz in
Erlangen betreibt internationale Spitzenforschung für mikroelektronische
und informationstechnische Systemlösungen und Dienstleistungen. Es ist
heute das größte Institut der Fraunhofer-Gesellschaft. Die Forschung am
Fraunhofer IIS orientiert sich an zwei Leitthemen: Audio- und
Medientechnologien sowie kognitive Sensorik.
In »Audio und Medientechnologien« prägt das Institut seit mehr als 30
Jahren die Digitalisierung der Medien. Mit mp3 und AAC wurden wegweisende
Standards entwickelt und auch an der Digitalisierung des Kinos war das
Fraunhofer IIS maßgeblich beteiligt. Die aktuellen Entwicklungen eröffnen
neue Klangwelten und werden eingesetzt in Virtual Reality, Automotive
Sound Systemen, Mobiltelefonie sowie für Rundfunk und Streaming.
www.iis.fraunhofer.de
