Was ist LiDAR und wie funktioniert es auf dem iPhone?

Das iPhone 12 Pro von Apple war das erste Smartphone des Unternehmens, das mit einem LiDAR-Scanner (Light Detection and Ranging) auf der Rückseite ausgestattet wurde. Aber was genau bewirkt LiDAR und welche zukünftigen Anwendungsgebiete sieht Apple dafür vor?

Was versteht man unter LiDAR?

Ein LiDAR-Scanner ermittelt die Distanz zwischen sich selbst und einem Objekt, indem er die Zeit misst, die ein Lichtimpuls – oft ein Laser – benötigt, um zurückgeworfen zu werden. Es ähnelt dem Radar, verwendet jedoch anstelle von Radiowellen Infrarotlicht.

Im Gegensatz zu Radar, das für große Entfernungen konzipiert ist, agiert LiDAR aufgrund der Absorption von Licht durch Objekte auf seinem Weg in einem kleineren Maßstab. Durch das Aussenden von Hunderttausenden von Lichtimpulsen pro Sekunde können LiDAR-Scanner mit hoher Genauigkeit Entfernungen und Objektgrößen im Nahbereich erfassen.

Diese gewonnenen Daten ermöglichen die Erstellung von 3D-Modellen, was eine Hauptanwendung von LiDAR im Bauwesen und in Ingenieurprojekten darstellt. Sie haben wahrscheinlich schon von der Nutzung von 3D-Laserscans zur Erstellung von Gebäudeplänen gehört – hier kommt LiDAR zum Einsatz.

LiDAR findet in vielen Branchen vielfältige Anwendung. Archäologen nutzen es zur Vorbereitung von Ausgrabungsstätten, während autonome Fahrzeuge sich auf LiDAR verlassen, um Echtzeit-3D-Karten ihrer Umgebung zu erstellen. Sogar für die Erstellung realistischer und präziser Karten von Rennstrecken in Videospielen wie Project CARS wurde LiDAR eingesetzt. Auch die Geschwindigkeitsmessgeräte der Polizei arbeiten mit dieser Technologie.

Und nun hat, ähnlich wie beim iPad Pro im März 2020, ein LiDAR-Scanner seinen Weg in Apples Premium-Smartphone, das iPhone 12 Pro, gefunden.

Wie wird LiDAR im iPhone 12 Pro eingesetzt?

Apple verwendet LiDAR etwas anders als auf einer Baustelle oder bei einem Blitzer. Das Grundprinzip – die Nutzung von reflektiertem Licht zur Distanzermittlung – bleibt dasselbe, aber der Maßstab ist kleiner. Der LiDAR-Scanner im iPhone 12 Pro (und iPad Pro) hat eine effektive Reichweite von etwa 5 Metern.

Die Hauptfunktion von LiDAR im iPhone ist die Optimierung der Augmented Reality (AR). Es liefert Apps präzisere Informationen über ihre Umgebung, was zu einer flüssigeren und zuverlässigeren AR-Erfahrung führt.

AR ermöglicht es Entwicklern, virtuelle Objekte mit der realen Welt zu verbinden. Es nutzt die Kamera Ihres Geräts und erlaubt es Ihnen, Spiele zu spielen, interaktive Filter (wie bei Snapchat) zu verwenden oder die Positionierung von Möbeln und anderen Objekten vorab anzusehen.

Pokémon Go ist ein bekanntes Beispiel für ein AR-Spiel, bei dem virtuelle Kreaturen in der realen Welt eingefangen werden können. Die sehr erfolgreiche Place-App von Ikea ermöglicht es Ihnen, zu sehen, wie die meisten Artikel des Unternehmens in Ihren eigenen vier Wänden aussehen würden.

LEGO gehört zu den vielen Firmen, die ebenfalls eigenständige Produkte (in diesem Fall Bausätze) auf den Markt gebracht haben, welche mit AR-Funktionen „zum Leben erwachen“, wenn sie mit einem kompatiblen Smartphone verwendet werden.

Obwohl LiDAR häufig für das Scannen von Gebäuden und anderen Objekten eingesetzt wird, ist der Scanner im iPhone 12 Pro und iPad Pro nicht präzise genug für exakte Objektscans. Sebastiaan de With, der die bekannte iPhone-Kamera-App Halide entwickelt hat, stellte dies beim Erstellen eines Proof of Concept namens Esper fest.

„Leider ist die Mesh-Ausgabe des Systems im Moment nicht genau genug, um sie an einen 3D-Drucker zu senden“, schrieb de With auf der Halide-Website. „Es ist aber ein guter Ausgangspunkt für ein 3D-Modell, da alle Proportionen sehr präzise sind.“

In der Praxis wird LiDAR wahrscheinlich in zwei Hauptbereichen Verbesserungen bringen: der Platzierung virtueller Objekte (z.B. in Shopping-Apps) und in AR-Spielen. Dies ist auch ohne LiDAR-Technologie auf anderen iPhones möglich, jedoch wird durch LiDAR eine zusätzliche Ebene an Genauigkeit bei Abmessungen und der Distanz zu einem Objekt in einem Raum erreicht.

Sie können auch ein nahtloseres AR-Erlebnis erwarten, insbesondere beim Platzieren virtueller Objekte in der realen Welt. Das iPhone 12 Pro soll beispielsweise reale Objekte im Vordergrund besser erkennen können, was realistischere Interaktionen zwischen virtuellen und realen Elementen ermöglichen soll.

Apple plant außerdem, LiDAR zur Verbesserung der Kameraleistung bei schlechten Lichtverhältnissen zu nutzen. Das Unternehmen verwendet sogenannte „Fokuspixel“ im iPhone XS, was Apples Bezeichnung für den Phasen-Autofokus (PDAF) ist. Da diese Technologie auf Licht angewiesen ist, funktionieren selbst die neuesten Autofokus-Verbesserungen in dunkler Umgebung nicht optimal.

Durch die Erfassung der Entfernung zwischen Ihrem iPhone und dem Motiv, das Sie fotografieren, kann Apple die Kamera darüber informieren, auf welche Distanz sie fokussieren muss, um optimale Ergebnisse zu erzielen. Dies soll das Fotografieren mit dem iPhone im Dunkeln erheblich vereinfachen, insbesondere in Kombination mit dem Nachtmodus.

Ist LiDAR eine große Sache?

Bisher haben nur zwei Geräte von Apple einen LiDAR-Sensor. Beide Geräte sind im oberen Preissegment angesiedelt und tragen den Beinamen „Pro“, was LiDAR vorerst zu einer Nischenfunktion macht. Dies bedeutet aber nicht, dass sich die Software nur langsam verbreiten wird. Apples umfassende Liste von Software Development Kits (SDKs) umfasst ARKit, das im Juni 2020 auf Version 4.0 aktualisiert wurde.

Dieses Update führte neue Funktionen ein, welche LiDAR in ARKit integrieren. Entwickler können dadurch den neuen Sensor des iPad Pro und des iPhone 12 Pro nutzen. SDKs wie dieses ermöglichen es Entwicklern, ganze Gerätefamilien anzusprechen, auch wenn diese nicht die neuesten technischen Features besitzen.

Es ist wahrscheinlich Apples Absicht, LiDAR-Sensoren mit der Zeit in mehr Geräte einzubauen, während Entwickler gleichzeitig Apps entwickeln, die die verbesserte Leistung nutzen. Angesichts des erneuten Interesses des Unternehmens an der Technologie in den letzten Softwareversionen scheint Apple großes Potenzial in AR zu sehen.

Apples ambitionierteste Pläne für LiDAR könnten jedoch weit über Tablets und Smartphones hinausgehen. Dies ist zumindest die Meinung vieler Analysten, da die Gerüchte um eine vermeintliche AR-Brille des Unternehmens immer lauter werden. Falls ein solches Projekt realisiert werden sollte, wäre eine präzise AR-Funktionalität als Grundlage für die Benutzererfahrung naheliegend.

Indem Apple Entwickler dazu ermutigt, AR zu nutzen, kann das Unternehmen die Verfügbarkeit von Apps auf einer neuen Wearable-Plattform beschleunigen. Die langsame Einführung in einigen High-End-Modellen folgt Apples Vorgehensweise bei früheren iPhone-Funktionen wie haptisches Feedback, Gesichtserkennung und Mehrfachkameras.

Durch die Integration von Hardware, die AR direkt zugutekommt, in ausgewählte Geräte hat das Unternehmen außerdem die Möglichkeit, die Technologie zu optimieren, bevor ein Produkt auf den Markt gebracht wird, das sich stärker auf diese Technologie verlässt.

Ist LiDAR ein Upgrade wert?

Wenn Sie vor der Entscheidung stehen, ob Sie sich für das iPhone 12 oder das iPhone 12 Pro entscheiden sollen, wird LiDAR Ihre Entscheidung wahrscheinlich nicht beeinflussen. Wenn Sie nicht häufig Apps verwenden, die AR-Funktionen nutzen, oder viele Fotos bei Nacht aufnehmen, werden Sie kurzfristig keine Vorteile aus dieser Technologie ziehen.

Selbst wenn Sie ein begeisterter AR-Spieler sind oder gerne Möbel online bestellen und deren Platzierung planen, hat sich die AR-Implementierung in aktuellen iPhones ohne LiDAR in den letzten Jahren bereits deutlich verbessert. LiDAR wird diese Erfahrung zwar nochmals verbessern, rechtfertigt aber wahrscheinlich nicht den Aufpreis von 300 Dollar, den Apple für das iPhone 12 Pro verlangt.

Viele Nutzer sind derzeit vielleicht noch nicht sonderlich begeistert von LiDAR, aber die Technologie wird sich in den kommenden Jahren immer mehr durchsetzen und das gesamte iPhone-Erlebnis verbessern. LiDAR ist zudem nicht die einzige nennenswerte Neuerung der iPhone-Reihe von 2020 – es gibt ein neues Ökosystem von MagSafe-Zubehör, 5G-Unterstützung und Dolby Vision-Aufnahmen.