Als wäre man vor Ort

Die Forschungsgruppe „Multimedia Communication“ um Hermann Hellwagner arbeitet in einem europaweiten Konsortium daran, Telepräsenztechnologien weiterzuentwickeln. Das Ziel ist eine möglichst natürliche Interaktion zwischen real und virtuell anwesenden Personen. 

Wir Menschen träumen davon, auf einfache und schnelle Weise andere Orte zu erreichen. Wiewohl das „Beamen“, so wie im Raumschiff Enterprise praktiziert, ein Wunschtraum bleiben wird, arbeiten Forscher*innen schon jetzt weltweit daran, wie Menschen virtuell an entfernten Orten mit anderen Menschen oder Objekten interagieren können. Diese Forschungen gehen weit über unsere jetzigen zweidimensionalen Darstellungsmöglichkeiten auf Bildschirmen hinaus. Geplant ist, die dreidimensionale virtuelle Anwesenheit von Personen und Objekten auf möglichst natürliche Art und Weise mit real anwesenden Personen und Objekten zu verschränken. Immerhin wird also das „Holodeck“ aus Star Trek für uns näher rücken.

Virtuelle Telepräsenz

Aus diesem Grund nennen sich die neuen Technologien auch immersive Telepräsenztechnologien. Sie sollen ein möglichst vollkommenes Eintauchen einer Person in die virtuelle Telepräsenz erlauben, so dass sie die virtuelle Umgebung als möglichst real empfindet.

Beim Projekt SPIRIT, das drei Jahre laufen wird und derzeit noch ganz am Anfang steht, handelt es sich um eine sogenannte Innovation Action der Europäischen Union. Es ist also kein klassisches Forschungsprojekt, sondern zielt darauf, schon existierende Technologien weiterzuentwickeln. In das Projekt werden zwei Prototypen von Telepräsenzsystemen eingebracht, von den Partnern Ericsson und Fraunhofer Heinrich-Hertz-Institut. Hermann Hellwagner beschreibt die Pläne „als kühnes Unterfangen, da es das Ziel ist, den Reifegrad der Technologie bis wenige Jahre vor Markteinführung weiterzuentwickeln“.

Hologramme und Point Clouds

Grundsätzlich wird derzeit an zwei vielversprechenden Technologien gearbeitet, die Telepräsenz ermöglichen sollen: Das sind einerseits Hologramme, die aber physikalisch relativ komplex sind, und andererseits sogenannte Point Clouds. In solchen Punktwolken werden Objekte oder Menschen aus hunderttausenden Einzelpunkten zusammengesetzt. Jeder dieser gefärbten Einzelpunkte hat eine bestimmte Lage im dreidimensionalen Raum. In ihrer Gesamtheit ergeben die Einzelpunkte dann das entsprechende Objekt. Im Gegensatz zu Hologrammen, die spezielle Displaygeräte erfordern, sind bei Punktwolken Virtual-Reality-Brillen im Einsatz.

Allein die technischen Voraussetzungen solcher Übertragungen von Hologrammen oder Punktwolken sind sehr komplex. Hellwagner dazu: „Sie setzen voraus, dass die abgebildete Person an ihrem physischen Ort mit geeigneten Kameras oder mit geeigneten Aufnahmesystemen, sogenannten Kamera-Arrays, aufgenommen wird.“ Daraufhin muss die entstehende, riesige Datenmenge komprimiert, übertragen und an dem Ort, an dem die Person telepräsent erscheint, wieder reproduziert werden. Auch am Ort der Reproduktion ist – neben geeigneten Displays – wiederum eine geeignete Aufnahmeumgebung notwendig, um eine Interaktion zu ermöglichen.

„Die Pläne sind ein kühnes Unterfangen.“ (Hermann Hellwagner)

Aufnahme, Übertragung und Reproduktion sind also sehr aufwändige Prozesse – und das macht Telepräsenztechnologien so kompliziert. An beiden Enden wird spezielle Hardware zur Aufnahme und Darstellung benötigt. Hinzu kommt eine intensive Vor- und Nachbearbeitung, um die Bilder aus den Kameras in Daten umzuwandeln und aus den Daten dann wiederum geeignete Repräsentationen zu erzeugen. Genau in diesen aufwändigen Schritten liegt der Unterschied zu Standardvideos und -aufnahmen, so wie wir sie bisher kennen. Jetzt ist es so, dass eine Kamera ein zweidimensionales Pixelfeld aufnimmt und dieses dann wiederum auf einem Bildschirm dargestellt wird. Bei der Telepräsenz, wo es um dreidimensionale Objekte geht, ist dieser Prozess wesentlich komplizierter.

Zeitverzögerung als Herausforderung

Eine der größten Herausforderungen ist die Zeitverzögerung zwischen Aufnahme und Wiedergabe. In Videokonferenzen sollte diese maximal 250 Millisekunden betragen, ansonsten empfinden die Beteiligten den Prozess nicht mehr als natürliche Kommunikation. Diese Prämisse gilt auch für dreidimensionale Umgebungen: Spätestens in einer Viertelsekunde sollten die Informationen beim Gegenüber angekommen sein − natürlich audio-, video-, lippensynchron. Diese Zeitverzögerung ist für die menschliche Wahrnehmung gerade noch erträglich. Das stellt natürlich die neuen Telepräsenztechnologien vor besondere Herausforderungen: Der schon beschriebene komplexe Aufnahmeprozess, der quellseitige Vorverarbeitungsprozess, die Übertragung der riesigen Datenmenge und die zielseitige Reproduktion und Darstellung – all das muss in der genannten Zeitspanne geleistet werden.

Daraus ergibt sich implizit die zweite große Herausforderung, nämlich die begrenzte Übertragungskapazität in den verfügbaren Netzen, denn es geht ja um sehr große Datenmengen. Ein normales Video benötigt in 4K-Qualität, also Ultra High Definition, bis zu 50 Megabit pro Sekunde. In einer dreidimensionalen Umgebung vervielfacht sich diese Datenmenge. Um zum Beispiel eine Person als Punktwolke zu übertragen, wäre – unkomprimiert – die unglaubliche Datenrate von 5,6 Gigabit pro Sekunde notwendig. Effektive Kompressionsverfahren sind also unerlässlich.

Hinzu kommt noch, dass die Interaktion mit virtuellen Objekten und Personen in guter Qualität erfolgen muss – ansonsten werden die technologischen Lösungen vom Markt nicht akzeptiert.

Die Forscherinnen und Forscher der Universität Klagenfurt bringen ihre ganz spezielle Expertise in das Konsortium ein. Dabei kommt ihre jahrelange Erfahrung in Videokommunikation, Übertragungstechnik und adaptivem Streaming zum Tragen, die auch in das Unternehmen Bitmovin eingegangen ist. Die Gruppe um Hermann Hellwagner verfügt über tiefgreifendes Know-how in der Übertragung großer Datenmengen. Speziell geht es auch darum, wie man die überhaupt vorhandene Übertragungskapazität am besten nutzen kann und in welchen Qualitätsstufen die Daten komprimiert, paketiert und übertragen werden müssen.

Auch um die Frage, welche Daten zu welchem Zeitpunkt überhaupt übertragen werden müssen, kümmern sich die Klagenfurter Forscher*innen. In einem Punktwolkenobjekt muss beispielsweise die Rückseite, die gerade nicht angeschaut wird, auch nicht übertragen werden. Es geht also darum, die richtigen Techniken zu finden, um die zu einem bestimmten Zeitpunkt tatsächlich sichtbaren und relevanten Daten zu übertragen. Wenn sich eine Person in ihrer virtuellen Welt bewegt, dann müssen sofort neue Daten übertragen werden. Geschieht dies nicht innerhalb von ungefähr 20 Millisekunden, dann kann der Mensch in der virtuellen Welt bewegungskrank werden. Der wahrgenommene Bildausschnitt, auch Viewport genannt, muss sich also möglichst schnell ändern. Die Universität Klagenfurt hat hier schon Erfahrungen im Bereich des 360-Grad-Videostreaming sammeln können, die sie nun in die Arbeit an der virtuellen Telepräsenzwelt einbringen kann.

Auch ihre langjährige Expertise in der Bewertung der Qualität („Quality of Experience“) von zweidimensionalen Videos bringt die Universität in das Konsortium ein. Die Klagenfurter werden hier aber auch ganz neue und andere Einflusskriterien für das Qualitätsempfinden im dreidimensionalen Raum festlegen müssen und die entsprechenden Qualitätsmetriken und Qualitätsbewertungsmethoden entwickeln.

Mehr zum Projekt SPIRIT (Scalable Platform for Innovations on Real-time Immersive Telepresence)

für ad astra: Annegret Landes