Apple Vision Pro: Siri mit visueller Intelligenz sieht reale und virtuelle Umgebung

Mit VisionOS 27 erhält Siri auf dem Apple Vision Pro deutlich erweiterte visuelle Fähigkeiten. In einer frühen Entwickler-Vorschau zeigt sich, wie die Assistentin sowohl reale Objekte als auch virtuelle Elemente im Blickfeld erkennt und beschreibt.

Siri als schwebende Kugel mit Blick auf den Raum

Im Test sitzt der Autor im Büro: Ein echtes Bücherregal steht an der Wand, davor sind im Vision Pro jedoch auch virtuelle Panoramafenster mit Blick auf Paris und eine digitale Wanduhr eingeblendet. Wenn Siri per Sprachbefehl als leuchtende, frei platzierbare Kugel aufgerufen wird und die Frage „Was ist vor mir?“ kommt, beschreibt die Assistentin all diese Elemente – reale wie virtuelle – in einem Textfeld.

Anders als auf iOS und iPadOS, wo die Visual-Intelligence-Funktionen über die Kamera-App gestartet werden, reicht auf dem Vision Pro der „Hey, Siri“-Befehl. Die Kugel erscheint als 3D-Objekt im Raum, lässt sich per Pinch-Geste verschieben und wirft dabei Lichtreflexe in der Umgebung, berechnet über die räumliche Grafikengine von VisionOS.

Auf ein entsprechendes Kommando hin löst Siri eine Art Scan aus: Ein neuer Signalton ertönt, und ein kurzer visueller Effekt zeigt, wie der Bereich gescannt wird, auf den die Nutzer:innen aktuell blicken – Eye-Tracking inklusive. Die Kamera nimmt dazu ein einzelnes Standbild auf, aus dem Siri Informationen extrahiert. Das System erkannte im Test etwa das Bücherregal mit diversen Figuren und Spielzeugen und las mehrere Buchtitel wie „Uzumaki“ und „Wonderbook“ vor. Der Ablauf ähnelt anderen kamerabasierten KI-Funktionen, etwa auf Metas Brille oder Samsungs Galaxy XR, arbeitet im aktuellen Stand aber nicht live, sondern immer nur mit einem einzelnen Schnappschuss pro Anfrage.

Reale Hardware und virtuelle Fenster im selben Kontext

Die Entwickler-Vorschau von VisionOS 27 zeigt, dass Siri auf dem Vision Pro nicht zwischen physischen und virtuellen Objekten unterscheiden muss. Auf dem Schreibtisch identifizierte die Assistentin unter anderem einen roten Virtual-Reality-Headset-Klassiker (Virtual Boy) sowie ein Steam Deck. Im nächsten Schritt erkannte Siri aber ebenso die virtuellen Paris-Fenster, das Uhren-Widget an der Wand und das Bücherregal voller Zauberutensilien.

In dieser frühen Beta-Version bleibt Siri nach einer Erkennung zunächst bei der jeweiligen Ansicht, bis die Kugel neu positioniert oder Siri geschlossen wird. Der Autor probiert zugleich produktive Szenarien aus: Eine Notizen-App mit Einträgen zu einem Theaterstück wird per Sprachbefehl geöffnet und von Siri inhaltlich zusammengefasst. Ebenso liefert Siri Informationen zu Browserfenstern auf einem über das Vision Pro eingeblendeten virtuellen MacBook-Display – inklusive des Google Docs, in dem der Bericht über die realen und virtuellen Objekterkennungen entsteht.

Panoramafotos als 3D-Hintergrund in VisionOS 27

Zusätzlich zu Siri erhält VisionOS 27 eine Funktion, mit der sich beliebige Panoramafotos aus der Mediathek in 3D-Hintergründe verwandeln lassen. Diese wirken im Test wie großflächige, sehr breite Fenster, die sich um das Sichtfeld legen, ohne den Raum vollständig zu ersetzen. Anders als Apples eigene immersive Umgebungen bieten sie weder Bewegung noch Umgebungsgeräusche.

Noch lassen sich nicht alle Panoramen problemlos umwandeln, die Funktion befindet sich in einem sehr frühen Stadium. Gelungene Beispiele vermitteln dennoch einen starken Präsenz-Eindruck: Ein Panorama aus dem Garten der Mutter des Autors, aufgenommen während der Pandemie, lässt sich nun als Hintergrund nutzen und erzeugt das Gefühl, wieder vor Ort zu sein.

Parallel zur erweiterten Siri auf Vision Pro bereitet Apple eine überarbeitete, leistungsfähigere Version der Assistentin für weitere Geräte wie Apple Watch, iPhone und iPad vor. Die jetzt sichtbaren Funktionen machen deutlich, dass Kamera- und Umgebungsdaten zentraler Bestandteil der zukünftigen Assistenzfunktionen werden. Wer das heute ausprobieren möchte, braucht dafür jedoch ein Vision Pro zum Preis von 3.499 US-Dollar. Wie und wann ähnliche Fähigkeiten in kleinere und leichtere AR-Brillen einziehen, bleibt offen – die gezeigte Vorschau deutet aber an, in welche Richtung sich Apples Plattform entwickeln könnte.

Hinweis: Dieser Beitrag ist eine automatisch erstellte Zusammenfassung mithilfe von Künstlicher Intelligenz. Eine redaktionelle Prüfung fand nicht statt.

Via: cnet.com

Den Beitrag in unserem Forum kommentieren