Augmented Reality: Die Technik

Vor mittlerweile fast acht Jahren hat Susanne hier im Blog  das erste Mal über Augmented Reality geschrieben und uns darin ihre Vision für die Zukunft von AR näher gebracht. Seit damals haben unzählige Innovationen die Möglichkeiten, die AR bietet, stetig vergrößert. In diesem Blogbeitrag möchte ich auf die heutigen, technischen Möglichkeiten und Entwicklungen eingehen und einen kurzen Überblick über die Entwicklung einer AR-App geben.

Was ist AR?

Augmented Reality ist neben Virtual Reality eines der größten Hypethemen der letzten Jahre. Die deutsche Übersetzung ‘Erweiterte Realität’ beschreibt die Grundidee von AR schon sehr gut: reale Elemente, meist von einer Kamera gefilmt, werden durch digitale Zusatzinformationen ergänzt.

Beispiele für Einsatzszenarien sind dabei vielfältig:
America Airlines hilft sich in Flughäfen schneller zu Recht zu finden, indem sie in einer App den optimalen Weg zum Gate anzeigen. Angereichert wird diese Hilfe durch dynamische Informationen wie Infos zu Cafes und Restaurants, die am Weg liegen sowie durch dynamische Informationen zu Wartezeiten beim Sicherheitscheck

 
Auch im Bildungsbereich gibt es unzählige Beispiele für interaktive, auf AR basierende Lernhilfen. Complete Anatomy  lässt Benutzer hochdetaillierte Modelle des menschlichen Körpers vor die Kamera des iPads projizieren. JigSpace bietet die Möglichkeit, dreidimensionale Modelle aller Art – die Bandbreite reicht dabei von Anatomie über Maschinen bis hin zum Aufbau des Erdmantels – auseinanderzunehmen um dabei die Funktionsweise besser zu verstehen.

Welche Geräte unterstützen AR-Anwendungen?

Historisch gibt es vor allem für Smartphone und Tablets die meisten Anwendungen für AR-Applikationen, da hier von Anfang an besonders viel Einsatz und Know How in die für AR wichtigsten Technologien gelegt wurde: Kamera und Rechenleistung.

Besonders Rechenleistung ist in AR-Applikationen nicht unerheblich, weil das Bild, das über die Kamera aufgezeichnet wird, ständig analysiert werden muss um dann passend dazu das gewünschte 3D-Modell im Bild einzufügen.

Eine weitere, primär für den Einsatz von AR entwickelte Technologie sind Datenbrillen. Besonders bekannt weil sie für großen Aufschrei in der Bevölkerung gesorgt hat war dabei Google Glass, die nach einem mehrfach verschobenen Marktstart 2014 auf den Markt kam und nur ein Jahr später wieder eingestellt wurde. Auch wenn sich die große Ablehnung gegen das Produkt vor allem auf die eingebaute Kamera bezog, konnte die Idee der immer vorhandenen Möglichkeiten der erweiterten Realität das Projekt nicht retten.

Einen etwas anderen Weg schlägt Microsoft mit der HoloLens ein und umschifft dabei die sozialen Probleme, die Google Glass aufgebracht hat. Statt eine Datenbrille zur täglichen Verwendung im Alltag entwickelt Microsoft mit der HoloLens eine spezialisierte Brille für den professionellen Einsatz in kommerziellen Applikationen und Bildungseinrichtungen.

Der Fokus von Microsoft liegt dabei vor allem auf der Möglichkeit der HoloLens, gemeinsam mit anderen Personen an einem Projekt – sei es professionelle Designstudien für Autos, Architekturmodelle oder zur Planung von medizinischen Eingriffen – zu arbeiten.

Während die Forschung an AR-Kontaktlinsen und Datenbrillen für Endbenutzer weiter stark vorangetrieben wird, zeigt Neil Harbisson, was in Zukunft möglich sein wird. Harbisson, ein 33 Jahre alter Künstler aus Spanien wurde farbenblind geboren und ließ sich deshalb eine Antenne ins Gehirn implantieren, mit der u.a. Farben – durch Schwingungen – hören kann.

Wie wird Augmented Reality entwickelt?

Wie und womit AR-Apps entwickelt werden, hängt natürlich stark von der Zielplattform ab. Microsoft stellt für die Entwicklung für HoloLens eigene Development-Kits zur Verfügung, Google und Apple haben eigene Frameworks für die Entwicklung von AR-Apps für Smartphones entwickelt: Google ARCore und Apples ARKit.

Generell kann die Arbeit, die in einer AR-App zur Laufzeit passiert in zwei große Themenblöcke aufgeteilt werden können:

Raumposition berechnen und Elemente erkennen

Die zuvor angesprochenen Frameworks unterstützen Entwickler, aufwendige Berechnungen, die für die Anzeige von Inhalt nötig sind, zur vereinfachen und den Entwickler damit zu entlasten. Grundsätzlich ist es zunächst wichtig zu wissen, wie das Gerät im Raum positioniert ist, wo sich der Boden befindet und wie es vom Benutzer im Raum rotiert und bewegt wird. Hat das Gerät genug Daten aus den zweidimensionalen Daten der Kamera gesammelt, um sich ein dreidimensionales Bild vom Raum zu machen, können Objekte in diesem Raum positioniert werden.

Zusätzlich unterstützen viele Frameworks Entwickler bei der Umsetzung weiterer, aufwendiger Berechnungen wie z.b. der Erkennung bestimmter Referenzbilder (die zuvor vom Entwickler spezifiziert werden) oder Gesichter, um dann darauf basierende Filter oder Effekte zu generieren. Ein Beispiel hierfür sind z.b. ‘Linsen’ bei Snapchat.

Inhalt einfügen

Ist die Position des Geräts im Raum gefunden geht es an den eigentlichen Inhalt der AR-App. Soll ein dreidimensionaler Inhalt – also z.B. wie in den Beispielen weiter oben ein Modell des menschlichen Körpers oder ein Concept-Car – angezeigt werden, kommt eine 3D-Engine zum Einsatz.

Da viele AR-Apps für Smartphone sowohl für iOS als auch für Android entwickelt werden, werden oft Cross-Plattform-Spiele-Engines für diese Zwecke benutzt. Die bekanntesten Vertreter dabei sind die Unreal Engine und Unity.

Stark verkürzt gesagt handelt es sich bei den angesprochenen Engines um komplette Entwicklungsumgebungen für 3D Inhalte und Spiele aller Art. Sie kombinieren viele Aspekte, die auch für die Entwicklung von AR-Inhalten wichtig sind und bieten damit die ideale Basis für die Anzeige von dreidimensionalen Inhalten.

Es muss natürlich nicht immer ein dreidimensionales Modell sein, dass in das bestehende Bild eingefügt wird.

WordLens, eine AR-Übersetzungsapp, die Schilder und andere Texte in eine gewünschte Sprache übersetzt, in dem man das Smartphone auf den betreffenden Text hält, und Google Lens, eine visuelle Bildersuche, die Objekte erkennt und dann auf Google danach suchen lässt, sind weitere Beispiele für die vielfältigen Einsatzmöglichkeiten von Augmented Reality im Alltag.

Zusammenführung

Beide Schritte, also die Berechnung der Raumposition und das Einfügen der Inhalte werden miteinander kombiniert und für jedes Bild, dass das Gerät macht, neu berechnet. In der Engine wird die Position des AR-Gerätes mit einer virtuellen Kamera verknüpft.

Diese Kombination erlaubt es dann, sich frei im Raum zu bewegen und so das dreidimensionale Modell von allen Seiten zu betrachten.

Die Zukunft

Technisch steht AR auf viel breiteren Beinen als noch vor wenigen Jahren. Sowohl Google als auch Apple bauen die Möglichkeiten, die Geräte mit iOS oder Android bieten weiter massiv aus und stellen Entwickler immer neue, spannende Hardwareentwicklungen für den Einsatz von AR zur Verfügung.

Ein Beispiel dafür sind neuere Kamerasysteme in der Plus-Linie von iPhones, die auch Tiefeninformation generieren können, um so ein noch genauere Raum-Berechnung zu ermöglichen.