Neuer MPEG-Standard mit Fraunhofer HHI-Technologie: MPEG glTF 2.0-Erweiterung ermöglicht animierbare Avatare
Nach zwei Jahren Standardisierungsarbeit hat die Moving Picture Experts
Group (MPEG) ihre Arbeit zur Scene Description mit einer Erweiterung des
„Graphics Language Transmission Format“ (glTF) abgeschlossen. Die neue
Erweiterung ermöglicht es, erstmals volumetrisches Video und Audio in eine
immersive Szene zu integrieren. Das Fraunhofer Heinrich-Hertz-Institut
(HHI) war maßgeblich an der Forschung und Entwicklung des neuen Standards
beteiligt. Neben dem Fraunhofer HHI waren Unternehmen wie Qualcomm, Nokia,
Interdigital, Intel, TNO, Sony, Philips und Xiaomi mit einzelnen Beiträgen
aktiv in den Standardisierungsprozess eingebunden.
Der glTF-Standard ist weit verbreitet. Er wurde von der Khronos Group für
die Beschreibung dreidimensionaler Modelle und Szenen entwickelt. Die
Khronos Group ist ein Industriekonsortium von über 150 branchenführenden
Unternehmen. Sie entwickelt fortschrittliche, lizenzfreie
Interoperabilitätsstandards für 3D-Grafik, Augmented und Virtual Reality,
parallele Programmierung, Vision Acceleration und Maschinelles Lernen. Die
MPEG-Erweiterung baut auf der glTF-Version 2.0 auf und ermöglicht es unter
anderem, Videotexturen, animierte Meshes und räumliches Audio in glTF zu
integrieren. Durch diese Neuerungen können nun auch volumetrische Videos
mit dem glTF-Format an Endgeräte übertragen werden.
Teil der MPEG-Erweiterung ist die vom Fraunhofer HHI entwickelte Mesh-
Linking-Technologie. Sie ermöglicht es, den hohen Realismus von
volumetrischen Videos mit der Animierbarkeit von Computergrafikmodellen zu
kombinieren. Fotorealistische virtuelle Personen können nun in Mixed-
Reality-Szenen integriert werden, um mit den Nutzenden zu interagieren.
Zum Beispiel kann ein fotorealistischer Avatar jetzt aktiv den
Blickkontakt mit einem*r Nutzer*in halten. Bisher war das nur mit
Computergrafikmodellen möglich, nicht aber mit den viel realistischer
aussehenden, aber komplexeren volumetrischen Videoinhalten.
„Wir haben unsere langjährige Erfahrung und Expertise auf dem Gebiet der
Computergrafik in den Standardisierungsprozess eingebracht,“ sagt Prof.
Peter Eisert, Leiter der Abteilung „Vision and Imaging Technology“ am
Fraunhofer HHI. „Die Grundidee ist, die Bewegung von
Computergrafikmodellen auf den volumetrischen Scan zu übertragen.“ Dafür
wird zunächst die Geometrie des Computermodells an den volumetrischen Scan
angepasst. Nach diesem Anpassungsprozess wird die Übereinstimmung zwischen
den beiden Formaten berechnet, so dass die Animationen des
Computergrafikmodells auf den volumetrischen Scan übertragen werden
können.
„Mit der neuen MPEG-Erweiterung ist das glTF 2.0-Format in der Lage,
fotorealistische volumetrische Videos mit der Flexibilität eines
Computergrafikmodells zu liefern,“ sagt Yago Sanchez, Wissenschaftler in
der Gruppe „Multimedia-Kommunikation.“ „Mit diesen Informationen kann ein
kompatibler glTF-Player das volumetrische Video nun frei animieren.“
„MPEG ist immer auf der Suche nach Technologien, die höchste Qualität
liefern und die bisherigen Anwendungsmöglichkeiten eines Standards
erweitern. Wir sind daher stolz darauf, dass wir unsere Technologien in
den neuen Standard einbringen konnten und es so ermöglichen, animierbare
volumetrische Videos in glTF 2.0 zu integrieren,“ kommentiert Dr.
Cornelius Hellge, Gruppenleiter „Multimedia-Kommunikation“ am Fraunhofer
HHI.
Nach der MPEG-Sitzung im Januar 2022 wird der „Final Draft Industrial
Standard“ (FDIS) des „Scene Description Standard“ veröffentlicht. Damit
ist der Standard technisch fertig gestellt und muss nur noch von den
führenden Standardisierungsorganisatione
Zusammenschluss der nationalen Standardisierungsorganisatione
der Internationalen Elektrotechnischen Kommission, formal ratifiziert
werden.
2022 wird sich das Fraunhofer HHI darauf konzentrieren, die MPEG-
Erweiterung in Richtung Interaktivität für immersive Szenen
weiterzuentwickeln. Die Forschenden haben bereits eine Live-Demonstration
entwickelt, die das Potenzial der neu standardisierten Technologie
aufzeigt.
