Apple hat FastVLM, ein leistungsfähiges KI-Modell für schnelle Video-Untertitelung, für die breite Öffentlichkeit zugänglich gemacht. Ihr könnt das Modell jetzt bequem im Browser ausprobieren – Voraussetzung ist ein Apple Silicon-Mac.
Vor einigen Monaten hat Apple das Visual Language Model FastVLM vorgestellt. Dieses Modell verwendet MLX, Apples eigene offene Machine-Learning-Plattform speziell für Apple Silicon. FastVLM soll bis zu 85-mal schneller Untertitel für Videos erzeugen als vergleichbare Modelle. Das Modell ist dabei über drei Mal kleiner als andere Lösungen. Damit eignet sich FastVLM insbesondere für lokale Anwendungen, bei denen eine schnelle und effiziente Bild- und Videobeschreibung notwendig ist.
Mit FastVLM verarbeitet ihr hochauflösende Bilder und Videos nahezu in Echtzeit und erhaltet zugehörige Untertitel sehr schnell. Nutzer:innen profitieren dabei von einer enormen Zeitersparnis, weil das Modell ohne Umwege über externe Server direkt auf eurem Mac arbeitet.
Apple hat sein FastVLM-Modell nicht nur auf GitHub, sondern auch auf der Plattform Hugging Face veröffentlicht. Die leichtere Version, FastVLM-0.5B, ist dort direkt im Browser nutzbar – ganz ohne Installation zusätzlicher Software. Ihr benötigt lediglich einen Apple Silicon-Mac, etwa mit einem M1, M2 oder neuerem Prozessor. Je nach Hardware kann das Laden des Modells einige Minuten dauern. Auf einem MacBook Pro M2 Pro mit 16GB RAM dauerte das Laden etwa zwei Minuten. Nach dem Start erkennt das Modell Personen, Räume, Gesichtsausdrücke, Objekte und liefert dazu jeweils passende Bildbeschreibungen.
Ein besonderer Vorteil: Ihr könnt den Beschreibungstext (Prompt) anpassen. Es gibt vordefinierte Optionen wie „Beschreibe was du siehst in einem Satz“, „Welche Farbe hat mein Shirt?“ oder „Welche Emotionen oder Handlungen sind erkennbar?“. Auch eigene Fragen könnt ihr eingeben und so gezielt bestimmte Aspekte analysieren lassen.
FastVLM läuft komplett lokal im Browser, sodass eure Daten auf dem Gerät bleiben und nicht ins Internet übertragen werden. Dadurch eignet sich die Lösung besonders für sensible Anwendungen, Assistenzsysteme oder Wearables, bei denen Datenschutz und geringe Latenz wichtig sind. Fortschrittliche Anwendungsfälle lassen sich ebenfalls testen: Setzt zum Beispiel eine virtuelle Kamera-App ein und beobachtet, wie das Modell verschiedene Szenen live beschreibt.
Die auf Hugging Face verfügbare Demo nutzt das leichtere Modell mit 0,5 Milliarden Parametern. FastVLM ist aber auch als größere Varianten mit 1,5 und 7 Milliarden Parametern erhältlich. Diese leistungsfähigeren Modelle könnten die Erkennung noch weiter verbessern, erfordern dann allerdings leistungsfähigere Hardware und lassen sich nicht mehr direkt im Browser nutzen. Am Besten geht es im Chrome Browser. Safari wollte hier nicht. Die Live-Caption zum Titelbild:
Wer das schnelle Video-Untertitelmodell von Apple bereits ausprobiert hat, kann Erfahrungen direkt in den Kommentaren teilen.
Via: https://9to5mac.com
Den Beitrag in unserem Forum kommentieren
Apple und Microsoft müssen in Russland Kommunikationsdaten ihrer Nutzer:innen drei Jahre lang speichern. Russische Behörden können die Herausgabe von Nachrichten,…
Das neue iPad mini bringt ein OLED-Display, ein dünneres Gehäuse und den A20 Pro. Erste Testberichte loben die Verbesserungen, sehen…
Ein Flüssigkeitsschaden kann auch dann noch entstehen, wenn die Oberfläche längst trocken ist. Schaltet Euren Mac deshalb sofort aus und…
Apple hat mit dem Test von iOS 27.3 begonnen. Das Update ergänzt neue Funktionen für Safari, Siri und die Health-App…
Apple Fitness+ soll mit Gym Strength individuelle Kraftpläne fürs Fitnessstudio anbieten. Zugleich zeigen Gesundheitsberichte, dass gezielte Gewichtsabnahme das Risiko für…
Apple öffnet Siri AI für Entwickler:innen. Zugleich rücken neue KI-Funktionen für die Apple Watch in den Blick, weil sie auf…
Diese Website benutzt Cookies um Ihr Nutzererlebnis zu verbessern. Wenn Sie diese Website weiter nutzen, gehen wir von Ihrem Einverständnis aus.
Mehr lesen