Apple-Forscher:innen arbeiten an neuen KI-Verfahren für die schnelle Entwicklung von Benutzeroberflächen und für eine präzisere Bewertung der Sicherheit von Bildern. Zwei aktuelle Studien zeigen, wie große Sprachmodelle dabei helfen sollen.
Squire: Interaktive UI-Prototypen mit Komponentenbäumen
Mit Xcode 26.3 hat Apple bereits Werkzeuge für sogenanntes agentisches Programmieren integriert, die Entwickler:innen beim Planen, Ausführen und Iterieren von Projekten mit KI-Unterstützung helfen. Xcode kann dabei mit gängigen Chatbots auf Basis großer Sprachmodelle zusammenarbeiten. Die neue Forschung geht nun einen Schritt weiter und nimmt speziell die Generierung von UI-Entwürfen ins Visier.
In der Studie „Squire: Interactive UI Authoring via Slot Query Intermediate Representations“ stellen Apples Forscher:innen ein System vor, das den Prozess der KI-gestützten UI-Prototypenerstellung strukturierter gestalten soll. Der Ansatz reagiert auf Schwächen bestehender Werkzeuge, die oft nur einen fertigen Entwurf ausgeben und nachträgliche Feinanpassungen entweder kaum ermöglichen oder unzuverlässig umsetzen.
Squire basiert auf OpenAIs Modell GPT‑4o und erzeugt zunächst einen anpassbaren Komponentenbaum, statt direkt fertigen Code zu liefern. Entwickler:innen sehen damit die einzelnen Bestandteile einer Oberfläche – etwa einer Webseite – und können gezielt Elemente verändern. So lassen sich Schriftarten anpassen, zusätzliche Informationsebenen hinzufügen oder Komponenten vollständig austauschen.
Sobald die Anforderungen erfüllt sind, wandelt Squire diese Zwischenrepräsentation in lauffähigen Code um, inklusive HTML-, CSS-Dateien und weiterer Ressourcen. In der zugehörigen Studie arbeiteten 11 Frontend-Entwickler:innen mit Squire an Webseiten für mobile Geräte und bewerteten das System positiv in Bezug auf Bedienbarkeit und allgemeine Zufriedenheit.
Die Forschenden kommen zu dem Schluss, dass sich Codegenerierung in schnellen UI-Prototyping-Werkzeugen besser steuern lässt, wenn Chat-Interaktionen mit klar abgegrenzten Bearbeitungsmöglichkeiten kombiniert werden. Ein anpassbarer Komponentenbaum gibt Entwickler:innen demnach mehr Kontrolle über den gesamten Erstellungsprozess. Ob und wann dieser Ansatz in Xcode oder andere Apple-Werkzeuge einfließt, bleibt offen.
SafetyPairs: Bildpaare zur Bewertung von Sicherheitsrisiken
Mit iOS 18 hat Apple lokale KI-Modelle eingeführt, die auf dem iPhone Bilder erzeugen können. Die Funktion Bildspielplatz erstellt comicartige Motive vollständig ohne Internetverbindung. Parallel dazu untersucht Apple, wie KI die Sicherheit solcher Inhalte besser einschätzen kann.
Die Studie „SafetyPairs: Isolating Safety Critical Image Features with Counterfactual Image Generation“ beschreibt ein Verfahren, mit dem Modelle trainiert werden, die Sicherheit von Bildern genauer zu bewerten. SafetyPairs ist ein skalierbarer Rahmen zur Erzeugung von Bildpaaren, die sich nur in sicherheitsrelevanten Merkmalen unterscheiden und dadurch unterschiedliche Sicherheitskennzeichnungen erhalten.
In der Praxis bedeutet das: Zwei fast identische Bilder können sich etwa durch eine Geste wie einen ausgestreckten Mittelfinger oder durch Darstellungen von Gewalt unterscheiden. Bei Szenen mit Gebäuden, Flaggen oder Fahrzeugen zeigt möglicherweise nur eines der Bilder brennende Objekte. Insgesamt entstanden 1.510 eindeutige Bildpaare, deren einzelne Bilder von KI-Modellen als sicher oder unsicher klassifiziert wurden.
Nach Angaben der Forschenden ist der SafetyPairs-Ansatz wirksam, um Schwachstellen aktueller Bild-Text-Modelle sichtbar zu machen und als Datenbasis für effizientere Schutzmodelle zu dienen. Auf diese Weise lassen sich Schutzmechanismen verbessern, die beispielsweise in Bildspielplatz oder potenziell auch in der Fotos-App zum Einsatz kommen könnten.
Apple stellt solche Forschungsarbeiten regelmäßig im Apple Machine Learning Blog vor. Einige der dort beschriebenen Konzepte finden später ihren Weg in iOS, macOS oder Entwicklerwerkzeuge wie Xcode. Einen Ausblick auf kommende Systemversionen wird Apple auf der Entwicklerkonferenz WWDC 2026 geben, die am 8. Juni startet.
Forschungsschwerpunkt große Sprachmodelle
Beide Studien zeigen, dass Apple weiterhin stark auf große Sprachmodelle setzt. Squire adressiert die konkrete Arbeit von Entwickler:innen beim Prototyping von Oberflächen, während SafetyPairs die Grundlage für robustere Sicherheitsbewertungen von Bildern legt. Gemeinsam verdeutlichen sie, wie KI nicht nur Code erzeugen, sondern auch die Kontrolle und Sicherheit rund um generierte Inhalte verbessern soll.
