Apple-Forschung zu Raumverständnis von KI und Gebärdensprach-Annotation

Apple treibt seine KI- und Spatial-Computing-Forschung weiter voran – auch wenn manche die Apple Vision Pro bereits abgeschrieben haben. Mehrere neue Studien zeigen, dass räumliche Anwendungen und Gebärdensprach-Erkennung intern weiterhin eine wichtige Rolle spielen.

Neuer Maßstab für räumlich-funktionale Intelligenz multimodaler KI

Im April 2026 wurde die Apple Vision Pro als Fehlschlag bezeichnet, und es hieß, ein Nachfolger werde nie erscheinen. Diese Einschätzung wird inzwischen jedoch infrage gestellt. Trotz Veränderungen in der Vision Products Group deuten aktuelle KI-Arbeiten darauf hin, dass Apple seine raumbezogenen Projekte nicht aufgegeben hat.

Auf dem Blog für Maschinelles Lernen stellt Apple die Studie „Von wo Dinge sind zu wozu sie dienen: Benchmarking räumlich-funktionaler Intelligenz für multimodale große Sprachmodelle“ vor. Darin beschreiben Forschende ein neues Prüf- und Bewertungssystem für multimodale große Sprachmodelle (MLLMs), das deren räumliches Schlussfolgern genauer erfassen soll.

Um menschliches Raumverständnis nachzubilden, benötigen diese Modelle laut Studie zwei getrennte Repräsentationen: eine räumliche Darstellung für Anordnung und Beziehungen von Objekten sowie eine funktionale Darstellung für Verwendungsmöglichkeiten, Zwecke und kontextabhängige Nutzung. Bestehende Benchmarks wie VSI-Bench decken vor allem den ersten Aspekt ab und vernachlässigen den funktionalen Teil weitgehend.

Als Antwort darauf hat Apple den Spatial-Functional Intelligence Benchmark (SFI-Bench) entwickelt. Dieses videobasierte Benchmark umfasst 1.555 von Expert:innen annotierte Fragen zu 134 Raum-Videoaufnahmen aus Innenbereichen. Es prüft nicht nur räumliche Kognition, sondern auch funktionales und wissensbasiertes Schlussfolgern: Versteht ein Modell, wofür Objekte da sind, wie sie bedient werden und wie Fehler diagnostiziert werden können?

Konkrete Aufgaben sind etwa, die größte Gruppe gleichartiger Flaschen derselben Marke in einem Schrank zu identifizieren, ein laufendes Programm an einer Waschmaschine abzubrechen oder den Verwendungszweck einer Fernbedienung zu beschreiben. Apple testete mit SFI-Bench mehrere offene und proprietäre KI-Modelle. Google Gemini 3.1 Pro erzielte das beste Gesamtergebnis, OpenAI GPT-5.4-High belegte Platz zwei, Gemini-3.1-Flash-Lite Platz drei.

Die Studie betont jedoch, dass globales, bedingtes Zählen bei allen Modellen eine zentrale Schwachstelle bleibt. Die Systeme haben weiterhin Probleme mit räumlichem Gedächtnis, funktionaler Wissensintegration und der Verknüpfung von Wahrnehmung mit externem Wissen. Modelle mit Internetzugang schnitten im Vergleich zu Offline-Modellen besser ab. Für iOS wäre perspektivisch eine Version von Siri denkbar, die Raum und Kontext versteht – besonders vor dem Hintergrund der Kooperation mit Google für „Apple Intelligence“.

KI-gestützte Annotation von Gebärdensprache

Eine weitere Studie mit dem Titel „Bootstrap von Gebärdensprach-Annotationen mit Gebärdensprach-Modellen“ untersucht, wie KI bei der Annotation von Gebärdensprach-Videos helfen kann. Ziel ist es, Zeit und Kosten für die manuelle Bearbeitung hunderter Stunden Videomaterial zu reduzieren.

Das Forschungsteam entwickelte eine „Pseudo-Annotations-Pipeline“, die als Eingabe ein Video mit Gebärdensprache und englischen Text erhält. Als Ausgabe liefert das System eine sortierte Menge wahrscheinlicher Annotationen inklusive Zeitintervalle für Glossareinträge, buchstabierte Wörter und Gebärdenklassifikatoren. Dafür kamen einfache, aber wirkungsvolle Basis-Modelle für Buchstabiererkennung und Erkennung isolierter Gebärden zum Einsatz, die auf den Datensätzen FSBoard (6,7 % Zeichenfehlerquote) und ASL Citizen (74 % Top-1-Genauigkeit) aktuelle Bestwerte erreichen.

Apple-Forschende erstellten knapp 500 manuelle Englisch-zu-Glossar-Annotationen und validierten sie über Rückübersetzung, manuelle Annotationen sowie Pseudo-Annotationen für mehr als 300 Stunden ASL STEM Wiki und 7,5 Stunden FLEURS-ASL. Für Tests erhielt Claude Sonnet 4.5 eine Glossar-zu-Englisch-Variante eines Prompts und sollte manuelle ASL-STEM-Wiki-Annotationen zurück in den entsprechenden englischen Referenztext der Gebärdenden übersetzen.

Laut Studie traten Fehler vor allem dann auf, wenn Sätze keine buchstabierten Elemente enthielten. Dennoch betonen die Forschenden, dass sich ihr Ansatz zur Buchstabier- und Gebärdenerkennung mit vergleichsweise geringen GPU-Ressourcen trainieren lässt und sich für weitere Iterationen der Pseudo-Annotations-Pipelines eignet.

3D-Kopfmodelle aus Mehrkamera-Aufnahmen

In einer dritten Arbeit mit dem Titel „Großskalige, hochwertige 3D-Gaußsche Kopfrekonstruktion aus Mehransichts-Aufnahmen“ untersucht Apple, wie sich mit KI aus Bildern hochwertige 3D-Kopfmodelle erzeugen lassen. Das Team entwickelte „HeadsUp“, eine skalierbare, vorwärtsgerichtete Methode zur Rekonstruktion von 3D-Gaußschen Köpfen aus umfangreichen Mehrkamera-Setups.

Vereinfacht gesagt, werden verschiedene Kopfansichten zunächst in gaußsche Punktwolken überführt und dann über Encoder- und Decoder-Netzwerke zu 3D-Modellen verarbeitet. Getestet wurde mit einem internen Datensatz von mehr als 10.000 Personen, der damit erheblich größer ist als bestehende Mehransichts-Datensätze für menschliche Köpfe. Die resultierenden 3D-Modelle konnten zudem über Expressions-Blendshapes animiert werden.

Laut Studie erreicht HeadsUp eine Rekonstruktionsqualität auf aktuellem Höchststand und verallgemeinert auf neue Identitäten, ohne dass für die Testphase eine zusätzliche Optimierung nötig ist. Mögliche Anwendungen liegen im Umfeld von Apple Vision Pro und der Persona-Funktion, etwa bei der Erfassung und Darstellung von Gesichtern und Ausdrücken in visionOS oder bei passgenauen Hardware-Anpassungen. Welche konkreten Produkte daraus entstehen, bleibt offen – klar ist nur, dass Apple seine Arbeit an KI und Spatial Computing fortsetzt.

Apple wird iOS 27 und zugehörige Betriebssystem-Updates auf der Entwicklerkonferenz WWDC 2026 vorstellen, die am 8. Juni beginnt.

Via: https://appleinsider.com

Den Beitrag in unserem Forum kommentieren