Das österreichische Unternehmen REALSIM arbeitet an neuen Konzepten der gemischten Realität (Mixed Reality). Hier verschwimmen die Grenzen zwischen Wirklichkeit und Fantasie. Mit Microsoft HoloLens 2 bringt REALSIM Hologramme in verschiedene Bereiche wie Medizin, Industrie oder auch Polizei und Rettungsdienst. Doch das ist nicht alles: Die Österreicher setzen zunehmend auf den Einsatz der Technologie in der Unterhaltungsbranche. Ihr jüngstes Projekt ist ein Dinosaurier-Park.
Angefangen hat alles mit einer einfachen, ganz praktischen Frage, wie der REALSIM-Gründer und -CEO, Thomas Peterseil, erklärt: „Ich war Ausbilder bei der Feuerwehr, und bei den Übungen standen wir häufig vor dem Problem, dass wir uns eine Brandsituation vorstellen mussten – schließlich kann man für das Training nicht immer gleich ein ganzes Haus anzünden. Allerdings hatten die Teilnehmer*innen sehr unterschiedliche Vorstellungen von dem Brand, das heißt, sie handelten jeweils mit ihren eigenen Bildern im Kopf und deswegen aneinander vorbei. Das beeinträchtigte die Ergebnisse. Da habe ich angefangen, über eine Lösung nachzudenken, wie ich an realen Schauplätzen in einer einheitlichen, vergleichbaren und womöglich wiederholbaren Situation üben kann.“
HoloLens 2 ermöglicht ein kompletteres, multimediales Erlebnis
Peterseil betont, wie wichtig dieser Bezug zur Wirklichkeit ist: Unter harten Einsatzbedingungen müsse sich das Trainingskonzept bewähren. Das sei auch der Grund gewesen, weshalb er sich für Mixed Reality entschieden habe: „Bei der virtuellen Realität (Virtual Reality) entsteht alles im Computer, da wird also die gesamte Wirklichkeit modelliert. Aber dabei verlieren wir die sinnliche, körperliche Dimension. Und das macht jede Übung irreal. Mit HoloLens 2 bekommen wir stattdessen ein kompletteres, multimediales Ergebnis: Ich habe die handgreifliche Wirklichkeit, dann die darüber gelegten Hologramme, dazu kommen Hör-, Fühl- oder Riecherlebnisse, alle taktilen Erfahrungen, physischen Anstrengungen – ich kann auch mal hinfallen oder muss irgendwo hochklettern.“
Der Realismus bei Mixed Reality ist also der entscheidende Punkt. REALSIM verfolgt hier einen ganzheitlichen Ansatz. Mit wenig Aufwand lassen sich komplexe Übungssituationen gestalten, bei denen sich alle Akteur*innen jederzeit im Blick haben und miteinander interagieren. Zugleich sind die realistischen Trainingsszenarien für die Übungsleiter*innen vollkommen zugänglich, bieten ihnen alle erdenklichen Blickwinkel und werden für die spätere Auswertung aufgezeichnet.
Ohne Grenzen im Einsatz
Das Konzept, Wirklichkeitsnähe und Anschaulichkeit zu schaffen, bewährt sich an vielen Orten. Zum Beispiel als hybride Lehrform mit 3D-animierten holografischen Modellen: Hier können sowohl im Präsenz- als auch im Distanzunterricht neuartige Erfahrungs- und Erkundungsräume entstehen, in denen etwa anatomische Modelle in der Medizin untersucht werden. Dasselbe funktioniert andernorts auch mit Maschinenteilen oder Produktionsabläufen.
Ein Lehrkonzept liegt Thomas Peterseil besonders am Herzen: Fahrsicherheitstraining. Verkehrsunfälle können vermieden und Menschenleben gerettet werden, wenn sich Fahrer*innen in realistischen Situationen besser auf die Praxis vorbereiten könnten. Etwa, wenn sie auf plötzlich auftauchende Hindernisse reagieren müssen, wenn ein Kind auf die Fahrbahn läuft oder ein anderes Auto den Weg kreuzt. Mit dem „Holopackage Dynamic“ lassen sich gefahrenfrei komplexe und dynamische Verkehrssituationen simulieren – anders als bei der recht vorhersehbaren Wasserwand bei den herkömmlichen Fahrsicherheitsübungen.
Den Möglichkeiten sind keine Grenzen gesetzt, allerdings kommt es auf die richtige technische Ausstattung an. Die Frage, warum REALSIM sich hier für HoloLens 2 entschieden hat, beantwortet Thomas Peterseil so kurz wie klar: „Ganz einfach, weil es die beste Lösung auf dem Markt ist.“ Das holografische Headset sei im Vergleich zu seinem Vorgänger nicht nur kleiner und leichter geworden, sondern auch sehr stabil. „Das Gerät hält einiges aus“, so Peterseil, „und fällt einem beim Tragen nicht zur Last. Wir haben dazu noch einen Schutzhelm entwickelt – das ist für robustere Anwendungen gesetzlich vorgeschrieben. Das Ergebnis ist eine Mixed-Reality-Brille, ein Headset, das überall einsetzbar ist.“
Wenn Hologramme sich an reale Objekte anpassen
REALSIM arbeitet eng mit Microsoft zusammen und profitiert von der Sicherheit, Zuverlässigkeit und Skalierbarkeit der Cloud- und KI-Dienste in Microsoft Azure. REALSIM hat auf dieser Basis mehrere patentierte Verfahren entwickelt, die Hologramme an reale Objekte wackelfrei anpassen und beim Perspektivenwechsel stabil synchronisieren. Das trägt erheblich zum Realismus bei. Hinzu kommen die genau auf Bewegungen und Blickwinkel abgestimmten Geräusche – gemeinsam mit der Vor-Ort-Situation entsteht so ein sehr dichter und zugleich offener Erlebnisraum.
Nun ist es gewiss aufregend, ein Auto-Hologramm vor sich fahren zu hören und zu sehen. Aber wie wäre es mit einem zähnefletschenden, 13 Meter hohen T-Rex, der direkt vor dir steht? Genau diese Idee hat REALSIM in der Opria-Galaxy World auf 1500m2 verwirklicht. Dort gibt es den Dinotopria-Park: Eine detailreich ausgestattete Tropenumgebung, in der einem allerlei Dinosaurier als lebensechte Hologramme begegnen. Besucher*innen brauchen für diesen Familienspaß lediglich ein HoloLens-2-Headset. Man kann die Dinos sogar füttern!
Physikalische und holografische Realität gehen nahtlos ineinander über
Für Thomas Peterseil war es wichtig, mit der Holo-Technik auch in den Entertainmentbereich zu gehen. Hier liege ein großes Potenzial für REALSIM, davon ist er überzeugt: „Im Moment arbeiten wir noch mit einem klaren Storyboard. Das heißt, die Bewegungen der Dinos sind festgelegt, unterscheiden sich aber schon von den mechanischen Figuren in Freizeitparks, da sie nicht nur den Hals etwas verrenken, sondern tatsächlich im ganzen Raum hin und her laufen und Besucher*innen geräuschvoll gegenübertreten. Wir arbeiten jetzt daran, die Bewegungsabläufe noch präziser zu gestalten.“
Derzeit arbeitet Peterseil an einem Escape-Room-Napoleon-Projekt. Dabei soll der im Festungsverlies schmorende französische Feldherr gemeinsam mit den Besucher*innen einen Fluchtplan aushecken und dann aus einem Labyrinth finden. Die technische Neuerung beim Napoleon-Spiel wird unter anderem darin bestehen, dass wirkliche Effekte mit der holografischen Erscheinung interagieren, so wie etwa ein echter Windhauch eine virtuelle Kerze ausbläst oder „Napoleon“ durch die gerade geöffnete Tür geht. Auf diese Weise sollen physikalische und holografische Realität nahtlos ineinander übergehen.
Pläne für die Zukunft: KI-gesteuerte Avatare
Doch REALSIM arbeitet längst an der nächsten Entwicklungsstufe. Peterseil will künftig verstärkt künstliche Intelligenz (KI) einsetzen: „Derzeit ist das Handlungsrepertoire der animierten Hologramme noch geskriptet. Es gibt allenfalls verschiedene Versionen, die zwar alternativ abgerufen werden können, aber im Vorhinein festgelegt sind. Mit KI könnten wir Situationen jedoch viel offener anlegen. Wenn sich zum Beispiel ein T-Rex mit seinen 13 Metern Höhe vor mir aufbaut und ich davonlaufe, würde er die Verfolgung aufnehmen, ganz gleich, wohin ich renne. Die kleineren Velociraptoren würden mir sogar bis in enge Nischen folgen. Und warum sollte Napoleon nicht auf unvorhersehbare Fragen oder Aktionen der Besucher*innen reagieren können?“
Und weil Peterseil bei allem Spaß nie den Ernst vergisst, denkt er schon an weitere Anwendungen: „Ich kann mir bei einem Feuerwehreinsatz gut vorstellen, dass mich ein intelligenter Avatar begleitet, der mich auf Gefahrenlagen hinweist und mich mit allem wichtigen Wissen zur Mission versorgt. Und zwar ohne Storyboard, sondern in einer offenen Situation und in Echtzeit. Komplexe und intelligente Assistenzsysteme könnten also das nächste große Ding sein. REALSIM erkundet und erweitert hier gerade unsere Möglichkeiten.
Ein Beitrag von Bosse Kubach
Communications Manager Innovation
