Buch: Immersive Virtuelle Realität

Urs Vögeli Urs Vögeli

Für mich gehört es dazu, auch theoretische, konzeptionelle und wissenschaftliche Grundlagen anzuschauen, wenn ich etwas ergründe. Deshalb habe ich für meinen CAS auch ein Sachbuch gesucht, welches meinen Themenkreis umspannt. Immersive Virtuelle Realität - Grundlagen, Technologien, Anwendungen" von Matthias Wölfel (Springer 2023) war meine Wahl, um auch diese Perspektive zu integrieren.

Zuerst gilt es natürlich begriffliche Klärungen und Annäherungen an Definitionen vorzunehmen. Alle die bekannten Begriffe wie Virtuelle Realität, Metaverse, etc. sind dem schnellen Wandel unterzogen.

Es geht um imaginäre Räume, vorgetäuschte Räume, um die Illusion einer Umgebung, einer computer-generierten digitalen Umgebung, die künstliche Sinneserfahrung erlaubt und damit eine simulierte Wirklichkeit kreieren. Die Nutzenden haben eine aktive Rolle, die Interaktion erfolgt in Echtzeit. Das Erkunden, Interagieren, Beobachten, Erforschen und Manipulieren dieser virtuellen Realität "als ob diese real wäre" ist ein wesentliches Merkmal, welches VR auch von 3D-Panorama-Film unterscheidet.

Die Konzepte sind stark durch Science-Fiction-Literatur und -Film geprägt, etwa durch die Matrix-Trilogie, das Holodeck aus Star Trek oder auch die Begriffe Cyberspaces und Metaversum haben im Genre Cyberpunk ihren Ursprung.

Wölfel umschreibt die grossen Unterschiede in Form und Grad der Repräsentation, wenn es allgemein um virtuelle Räume geht. Es geht also um die Wahl des Mediums der fiktiven, virtuellen Welt:

  • Visuelle Repräsentation: Gemälde als Abbild einer imaginären Welt oder der echten Welt nachgeahmten Imitation
  • Literarische Repräsentation: Mythen, Legenden und Geschichten als virtuelle Welten verstanden, in die mehr oder weniger eingetaucht werden kann. Auch Übersetzungen können als Repräsentation des ursprünglichen Textes verstanden werden.
  • Audiovisuelle Repräsentation: Film
  • Abstrakte Repräsentation: Zum Beispiel eine Landkarte als Abstraktion des Echten
  • Materielle Repräsentation: Theaterbühnen oder Freizeitparks kreieren eine "nicht echte" Welt
  • Digitale Repräsentation: Simulationen und digitale virtuelle Inhalte

Virtuelle Welten haben also eine schon etwas längere Geschichte.

Versuch der Begriffsklärung

Weitere zentrale Begriffe sind: Immersion und Präsenz

Immersion meint eine eintauchende, lebendige Illusion. Es sind insbesondere auch Einflüsse gemeint, die nicht mehr wahrgenommen werden. Dafür geht es jedoch um die wahrgenommene Präsenz, die gefühlte Anwesenheit in der virtuellen Umgebung.

Neben ungeklärten Datenschutzfragen (VR-Brillen sammeln und verarbeiten noch innigere Verhaltensdaten im Bereich Körperhaltung, Kopf- und Blickrichtung, sowie zwischenmenschliche Distanz) haben Immersion und Präsenz ein erweitertes Potenzial für Beeinflussung und Manipulation. Das gesteigerte Präsenzgefühl, die körperliche Erregung und emotionale Prozesse können die wahrgenommene Glaubwürdigkeit erhöhen und eine Form von "erzwungener Empathie" (die Welt mit den Augen anderer Personen sehen) erzeugen. Dies wird kritisch diskutiert. Die Befunde sind jedoch noch nicht klar und fundiert.

Weiter soll es um den Versuch der Klärung der vielfältigen Begriffe Virtual, Augmented, Mixed und Extended Reality gehen. Hier meine Zusammenfassung:

Weiter unterscheidet Wölfel verschiedene VR-Formen. Mit filmischer VR ist das passive 360°-Filmerlebnis gemeint, welches u.a. mit VR konsumiert werden kann. Immersive VR beschreibt die oben bereits beschriebene virtualisierte Welt und das Eintauchen darin. Soziale VR umschreibt den von verschiedenen Personen gemeinsam erlebten virtuellen Raum. Es geht also um gegenseitige Wahrnehmung, Kommunikation, Interaktion und gemeinsame Aktivitäten. Dieser virtuelle Raum entsteht nicht unbedingt nur mit VR-Technologie. Er kann auch auf dem Bildschirm beschritten werden. Gleichzeitig öffnet nicht jede VR-Anwendung einen sozialen Raum. Viele Anwendungen auf VR können respektive müssen alleine benutzt werden. Das Metaverse-Konzept zeichnet sich beispielsweise explizit durch den sozialen Aspekt aus, kann aber in den meisten Fällen auch 2D mit Bildschirm betreten werden. Auch Online-Gaming lebt ganz generell von diesem Element.

Avatare (Mensch-kontrolliert) oder verkörperte Agenten (Algorithmus-kontrolliert), respektive generelle digitale visuelle Repräsentationen nennt man Verkörperung in sozialer VR. Es geht dabei um Selbstverortung, Handlungsfähigkeit und virtuellen Körperbesitz. Die Proximetrik befasst sich dabei mit dem Thema Nähe, also mit der sozialen Distanz. Der Protheus-Effekt beschreibt das Phänomen, dass das Erscheinungsbild eines Avatars zu Verhaltens-, Einstellungs- und Wahrnehmungsänderungen (Selbst- und Fremdwahrnehmung) führen kann.

Bei Avataren steigt interessanterweise die Akzeptanz nicht mit dem Realismusgrad, sondern macht einen Knick kurz bevor es ganz realistisch wird (vgl. uncanny valley). Hier am eignen Beispiel: Ich habe mich virtualisiert. Der Realitätsgrad ist sehr hoch. Das Bild wirkt aber doch irgendwie beängstigend oder zumindest irritierend. Der Grund dafür ist möglicherweise, dass bei einem sehr hohen Realitätsgrad nur kleine Abweichungen zu höherer Irritation führen, als wenn das Abbild abstrakter dargestellt würde mit weniger Detailierungsgrad.

Wenn es um den Begriff Metaverse geht, wird es noch diffuser. Der Marketing-Aspekt dürfte nicht unwesentlich sein, wie man am Beispiel der Firmen-Umbenennung von Facebook zu Meta gesehen hat. Mit einer offenen Definition kann synonym auch von Cyberspace, Datenraum oder Online-Welt gesprochen werden. Mit dieser weiten Definition ist uns jedoch nicht weitergeholfen. Ebenfalls noch sehr offen, aber doch konkreter ist die Definition als eine eine Reihe miteinander verbundener virtueller Welten. Wichtig ist jedoch der Aspekt, dass auch Güter, Dienstleistungen und Währungen eine Rolle spielen. Echtzeit, Synchronizität, Dauerhaftigkeit, sowie eine unbegrenzte Anzahl Nutzende sind wesentliche Merkmale eines Metaverse. Das Gefühl der Präsenz und Kontinuität, Endlichkeit, Historie, Identität und Avatare zeigen gleichsam die konzeptionellen Gemeinsamkeiten und Unterschiede zu Phänomen wie Extended Reality auf.

Wie nehmen wir die (virtuelle) Welt wahr?

Spannend waren die Kapitel und Teile des Buches, die sich mit dem Thema Wahrnehmung auseinandersetzten. Dabei habe ich zahlreiche Fremdwörter kennengelernt. Folgende Wahrnehmungsbereiche des Menschen wurden behandelt:

  • Visuell: verbraucht 50% Hirnkapazität, es wird auch von visueller Dominanz gesprochen
  • Somatosensorisch (Berührung/Tastsinn): verbraucht 10% Hirnkapazität
    • Kutanes Sinnessystem (Haut): Rauheit, Textur, Temperatur, Druck, Vibration, Schmerzen
    • Kinästhetisches Sinnsystem: Kraft, Position, Bewegung, Gewicht, Härte, Drehmoment
    • Haptisches Sinnessystem (aktiv)
  • Auditiv: verbraucht 2-3% Hirnaktivität, insbesondere das binaurale Hören ermöglicht räumliches Wahrnehmen
  • Olfaktorisch (Geruchssinn): verbraucht <1% Hirnaktivitäten
  • Vestibulär (Gleichgewicht)
  • Gustatorisch (Geschmackssinn)

Insbesondere die visuell-vestibuläre Übereinstimmung ist für VR sehr wichtig, dies in Zusammenhang mit der Cyberkrankheit bei nicht Übereinstimmung. Diese Übereinstimmung wird durch räumliche und zeitliche Übereinstimmung, Unmittelbarkeit und Synchronizität erreicht. Die Auge-Hand-Koordination wird durch visuelle und propriozeptive Übereinstimmung (wo man die Hand fühlt sollte man sie auch sehen) erreicht.

Dabei sind wir schon bei den verschiedenen Formen von Interaktion angelangt. Man spricht von Mensch-Maschine-Interaktion. Wichtig sind dabei etwa das Gefühl der Handlungsfähigkeit und die Entdeckbarkeit. Es werden folgende Formen von Interaktion beschrieben:

  • Objektinteraktion (Selektion, Manipulation, Transformation, Erstellung, Modifikation)
  • Navigation und Fortbewegung
  • Systemkontrolle und symbolische Eingabe

Neben den bekannten Interaktionsmöglichkeiten via Blick, Kopfrichtung, Hände, etc. werden in Zukunft auch Gehirnschnittstellen (brain-computer-interface), invasiv und nichtinvasiv noch mehr ein Thema sein. Dabei werden umgekehrt auch Reize direkt an das Hirn weitergegeben.

Ein weiteres Element sind Benutzeroberflächen. Bei den Benutzeroberflächen und bei den Interaktionen versucht man sich an vertrauten künstlichen und dadurch möglichst "natürlich" anfühlenden Konzepten aus der realen Welt zu orientieren. Symbole und Interaktionsmetaphern, Imitationen von z.B. natürlichen Gesten oder Interaktionsmöglichkeiten mit dem Umfeld oder Umwelt z.B. greifen, zeigen, etc. spielen dabei eine Rolle. In diesem Zusammenhang wurde auch das Thema Fortbewegung (Lokomotion) und Navigation eingehend behandelt.

Technologie und Wirkung

Auf der technologischen Ebene war etwa der Teil zu Sensorik sehr spannend. Die Messung von Position, Richtung, Bewegung, Druck, Akustik, Optik, etc. ist zentral für VR. Die verschiedenen Erfassungsmöglichkeiten, der Grad der Auflösung, sowie Marker und Tracker wurden besprochen. Wichtig ist beim Tracking etwa die Kalibrierung und der Latenzgrad. Bei Latenz und fehlender Synchronisation können sogenannten Präsenzbrüche und Irritationen entstehen.

Auch bei der Datenausgabe gibt es viele verschiedene Dinge zu berücksichtigen. Primär wird hier mit visuellem und akustischem Rendering (Auralisation) gearbeitet. Für VR ist das Thema Echtzeit zentral. Die virtuelle Welt muss in Echtzeit dargestellt und erlebt werden können. Das stellt hohe Anforderungen an das Rendering, also die Live-Realisierung von Bild und Ton. Die vielen Freiheitsgrade der Interaktion verlangen nach eine permanenten Synchronizität die somit viel komplexer ist als bei einem Computerspiel oder einem 3D-Film, bei denen viele Einschränkungen möglich sind, etwa der Beweglichkeit, Blickrichtung, Interaktionsmöglichkeiten, etc.

Bei AR wird zwischen Optical See-Through (durchlässig) und Video See-Through (Kameraaufnahme) unterschieden. Die handelsüblichen VR-Brillen nehmen die Umwelt mittels Kameras auf und zeigen dieses Umfeld in der Brille innen an. Umgekehrt werden die Augen innen mit Kamera aufgenommen und aussen auf einem Display gezeigt, was den Eindruck von See-Through vermittelt, jedoch bereits digital verarbeitet ist. In Zukunft werden etwa Smart Contact Lens oder Netzhautanzeigen ein Thema sein. Auf der haptischen Ebene wird primär mit Vibration gearbeitet, um die Immersion zu stärken. Dies ist bereits aus dem Gaming-Bereich mit vibrierenden Controllern bekannt und eine relativ einfache Möglichkeit etwas Haptik zu simulieren. Alle anderen Möglichkeiten sind noch nicht ausgereift.

Zu guter Letzt ging es natürlich auch noch um Anwendungen und die Wirkung von immersiver VR. Spannend fand ich die These, dass damit eine stärkere emotionale Wirkung erzielt werden kann, was auch das Beeinflussungspotenzial erhöht. Die Evidenz sei jedoch teilweise widersprüchlich. Generell gilt, dass es noch zu wenig Forschung gibt zu VR und seine Wirkung. Spannend fand ich aber den Begriff der Neuroplastizität, die insbesondere mit VR nötig ist. Dieser Begriff meint die Fähigkeit der kontinuierlichen Anpassen an veränderte Umgebung oder neue Anforderungen. Somit reiht sich auch hier das Phänomen VR an Themen der digitalen Transformation an.

Im Bereich der Anwendungsmöglichkeiten wurde speziell das immersive Lernen behandelt. Eine solch interaktive Lernumgebung fördert das entdeckende Lernen (Exploration) und das spielerische Lernen (Edutainment und Gamification). Der Mensch sei ein Homo ludens, im Grunde ein spielendes Wesen.

Auch der Begriff digitaler Zwilling (digital twin) also die virtuelle Abbildung wurde in den letzten Kapiteln noch aufgegriffen. Dabei stünden sich Realitätstreue und Simulationstreue oft entgegen. Höhere Realitätsnähe ist dabei eben nicht unbedingt besser für eine Simulation. Abstraktion ist in diesem Bereich immer noch ein gewolltes und nötiges Element. Es geht nach wie vor um Modelle, Imitationen und Virtualität.

Spannend war zum Schluss das Thema Virtual Engineering. Räumliche Aspekte, kollaboratives Design, hohe Interdisziplinarität und Prototyping sind wichtige Bereiche, wenn man mit VR arbeitet. Diese Faszination teile ich, weshalb ich auch mit Blender zu arbeiten begonnen habe um mehr Gefühl und Verständnis für räumliches virtuelles Gestalten zu bekommen.