Apples neue KI-Forschung: 2D‑Fotos in Sekunden in 3D-Szenen

Apple stellt mehrere neue KI-Studien vor, die sich um Bildbearbeitung und Sprachverständnis drehen. Im Mittelpunkt stehen ein 2D‑zu‑3D‑Modell, Bewertungsrahmen für Bildbearbeitung und ein Testsystem für komplexe Sprachen.

SHARP: Aus einem Foto wird eine 3D-Szene

Mit iOS 26 könnt Ihr zweidimensionale Fotos als räumliche Szenen mit Tiefenwirkung anzeigen. Dazu passend beschreibt Apple nun ein Forschungsprojekt, das deutlich weiter geht: das KI-Modell „SHARP“.

Die Studie „Sharp Monocular View Synthesis in Less Than a Second“, veröffentlicht auf Apples Machine‑Learning‑Blog, beschreibt SHARP als „einen Ansatz für fotorealistische Sichtsynthese aus einem einzelnen Bild“. Das Modell schätzt aus einem Foto die Parameter einer dreidimensionalen Gauß-Darstellung der abgebildeten Szene – und das laut Apple in weniger als einer Sekunde auf einer typischen Grafikkarte.

Statt Dreiecken verwendet SHARP Millionen Gauß-Ellipsoide („Blobs“), um Volumen und Tiefe zu repräsentieren. Normalerweise erfordert ein solches 3D-Modell mehrere Fotos aus unterschiedlichen Blickwinkeln, doch SHARP kommt mit einem einzigen Bild aus und benötigt nur einen Feedforward-Durchlauf durch ein neuronales Netz.

Dafür trainierten Forschende das Modell mit großen Datensätzen, damit SHARP typische Tiefenstrukturen erkennen kann. Ziel ist es, die Tiefe einer Szene zu schätzen und darauf basierend eine Gauß-Repräsentation zu erzeugen.

In vielen Fällen gelingt das, Apple zeigt aber auch Fehler: Eine Biene landet hinter statt auf einer Blüte, der Himmel wird als gekrümmte Fläche in der Nähe interpretiert oder komplexe Spiegelungen bereiten Probleme. Zudem beschränkt sich SHARP strikt auf den sichtbaren Bildausschnitt und ergänzt keine unsichtbaren Bereiche zu einer größeren 3D-Umgebung. Das Modell steht als Open-Source-Projekt auf GitHub bereit.

GIE-Bench: Wie gut bearbeiten KI-Modelle Bilder per Text?

Parallel dazu stellt Apple mit „GIE‑Bench“ ein Bewertungsframework für textgesteuerte Bildbearbeitung vor. Es bewertet, wie korrekt ein Modell gewünschte Änderungen umsetzt und wie gut der Rest des Bildes erhalten bleibt.

Die funktionale Korrektheit wird über automatisch erzeugte Multiple-Choice-Fragen geprüft, die testen, ob die angeforderte Änderung tatsächlich erfolgt ist. Für die Bildtreue nutzen die Forschenden eine objektbewusste Maskierung und Erhaltungsscores, ergänzt durch manuell erstellte Masken.

Apple testete tausend Bearbeitungsbeispiele aus 20 Inhaltskategorien und ließ verschiedene Modelle antreten, darunter MGIE, OmniGen und GPT‑Image‑1. Laut Studie erzielte GPT‑Image‑1 die insgesamt besten Ergebnisse, zeigte aber Schwächen, etwa unvollständiges Entfernen von Objekten, falsch verstandene Layout-Anpassungen oder Veränderungen in eigentlich unberührten Bildbereichen.

Die Studie hält fest, dass GPT‑Image‑1 Kernbearbeitungen gut ausführt, aber bei feiner Steuerung räumlicher Beziehungen und strikter Inhaltserhaltung Defizite hat. Die Modelle OneDiffusion und MagicBrush erreichen hingegen durchgängig die höchsten Erhaltungsscores. Apple erhält damit ein Werkzeug, um eigene Bildgenerierungsmodelle zu testen oder Schwächen anderer Systeme zu erkennen. Bereits heute nutzt der Konzern mit „Bildspielplatz“ ein systemweites KI-Bildwerkzeug innerhalb von Apple Intelligence.

IMPACT: KI-Modelle im Härtetest für komplexe Sprachen

Mit „IMPACT“ stellt Apple ein weiteres Framework vor, das die Leistung mehrsprachiger Sprachmodelle in morphologisch komplexen Sprachen untersucht. Im Fokus steht die Flexionsmorphologie, also die Veränderung von Wörtern durch Morpheme, etwa zur Kennzeichnung von Zahl oder Tempus.

Die Forschenden betrachten insbesondere Arabisch, Russisch, Finnisch, Türkisch und Hebräisch und stellen fest, dass große Sprachmodelle mit solchen Sprachen oft Schwierigkeiten haben und deren linguistische Komplexität nur begrenzt erfassen.

IMPACT enthält testfallartige Beispiele, von grundlegenden Verbformen bis zu sprachspezifischen Phänomenen wie umgekehrter Genus-Kongruenz im Arabischen oder Vokalharmonie im Finnischen und Türkischen. Acht mehrsprachige Modelle wurden in zwei Szenarien getestet: In einem müssen sie die korrekte Flexionsform erzeugen, im anderen grammatische und ungrammatische Sätze bewerten.

Dazu erhalten die Modelle Sprachmuster, die relevante morphologische Eigenschaften erklären, und lösen anschließend Lückentexte, in denen passende Formen einzusetzen sind. Später beurteilen sie, ob vorgegebene Äußerungen grammatisch sind und natürlicher Sprachverwendung entsprechen.

Die Ergebnisse zeigen, dass die untersuchten Modelle besonders mit seltenen morphologischen Mustern kämpfen und in den betrachteten Sprachen generell schlechter abschneiden als im Englischen. Apple kann IMPACT nutzen, um eigene KI-Systeme gezielt für solche Sprachen zu überprüfen – etwa für Funktionen wie die 2025 angekündigte Live-Übersetzung mit AirPods.

Trotz personeller Veränderungen im KI-Bereich, etwa dem Ausscheiden des früheren KI‑Chefs John Giannandrea, setzt Apple seine Forschungsaktivitäten fort. Mit einem kontextbewussten Siri‑Update, das mit iOS 26.4 erwartet wird, dürfte ein Teil dieser Arbeiten in kommende Produkte einfließen.

Via: https://appleinsider.com
Titelbild: Apfeltalk

Den Beitrag in unserem Forum kommentieren