Werbung



NewsKI

Liquid AI bringt leistungsfähige KI-Agenten aufs Gerät – ganz ohne Cloud

Raspberry Pi Preiserhöhung

Werbung



Liquid AI hat mit LFM2.5‑2,6B ein neues Sprachmodell vorgestellt, das komplett lokal läuft – bis hinunter zum Raspberry Pi. Der Fokus liegt klar auf Agenten statt klassischen Chatbots.

Kleines Modell, große Agenten-Ambitionen

Das 2023 von ehemaligen MIT-Informatiker:innen gegründete Start-up Liquid AI positioniert LFM2.5‑2,6B als offenes Sprachmodell mit offenen Gewichten, das speziell für Agenten-Arbeitslasten entwickelt wurde. Laut Unternehmensangaben kann das Modell vollständig auf lokaler Hardware ausgeführt werden, von Smartphones und Laptops bis zu Kleinstrechnern wie einem Raspberry Pi. Es benötigt weder Cloud-Inferenz noch Grafikkarten und zielt damit auf Edge-KI-Szenarien und regulierte Branchen, in denen sensible Daten nicht in die Cloud wandern dürfen.

Gedacht ist LFM2.5‑2,6B vor allem für häufig wiederkehrende, klar definierte Agenten-Aufgaben vor Ort: Werkzeugaufrufe, Dokumentenverwaltung, Kalender- und Workflow-Automatisierung sowie dauerhaft laufende Hintergrundprozesse. Auch in Umgebungen mit eingeschränkter Konnektivität wie Fahrzeugen oder Robotik soll das Modell punkten, während stark code-lastige Aufgaben größeren Modellen überlassen bleiben. Für Unternehmen, die keine Datenschutzbedenken haben, bleibt die Aussicht verlockend, spezialisierte Agenten mit geringen Hardware- und Stromkosten zu betreiben. Gleichzeitig verweist Liquid AI auf eine eigene offene Gewichte-Lizenz, die wie bei Moonshots Frontier-Modell Kimi K3 sorgfältig von Rechtsabteilungen geprüft werden sollte.

Optimiert für Edge-Hardware und Agenten-Workflows

LFM2.5‑2,6B verfügt über 2,6 Milliarden Parameter, unterstützt ein Kontextfenster von 128.000 Token und bringt nativen Werkzeugaufruf mit. Der Name kombiniert die Modellgeneration 2.5 mit der Parameterzahl. Sowohl das nachtrainierte Modell als auch ein Basis-Checkpoint (LFM2.5‑2,6B‑Base) für Feintuning stehen auf Hugging Face bereit, mit sofortiger Unterstützung für gängige Inferenz-Stacks wie llama.cpp, MLX, vLLM, SGLang und ONNX. Liquid AI liefert zudem ein eigenes Open-Source-Feintuning-Framework namens LEAP.

Das Unternehmen versteht LFM2.5‑2,6B nicht als Konkurrenz zu den größten Modellen, sondern als Alternative für Szenarien, in denen Latenz, Datenschutz, Flexibilität beim Deployment oder Inferenzkosten wichtiger sind als Benchmark-Rekorde. Laut Maxime Labonne, Leiter Post-Training bei Liquid AI, wurden Architektur und Implementierung konsequent auf reale CPU-Leistung ausgelegt. Interne Messungen nennen rund 220 Token pro Sekunde auf einem Apple M5 Max und 113 Token pro Sekunde auf einem AMD Ryzen AI Max+ 395 bei unter 2,5 Gigabyte Speicherverbrauch, etwa 30 Token pro Sekunde auf einem Smartphone und fast 15.000 Ausgabe-Token pro Sekunde auf einer einzelnen Nvidia H100 unter Dauerlast. Die Werte stammen vom Anbieter und sind nicht unabhängig verifiziert. Die Modelle lassen sich auf dem Smartphone über die App Apollo ausprobieren.

Beim Training setzt Liquid AI konsequent auf Agenten-Szenarien statt Chat-Oberflächen. Das Modell wurde mit etwa 34 Billionen Token vortrainiert, das Vokabular auf 128.000 Einträge verdoppelt, um nicht-lateinische Schriften besser zu unterstützen, und das Kontextfenster in einer dedizierten Trainingsphase erweitert. Das nachgelagerte Training umfasst beaufsichtigtes Feintuning, spezialisierte Lehrermodelle für verschiedene Domänen, eine Multi-Domänen-Distillation sowie agentenbezogene Verstärkungslernverfahren direkt in produktiven Agenten-Hüllen wie Hermes Agent und OpenClaw. Dort lernte LFM2.5‑2,6B an realistischen Aufgaben rund um Recherche, Programmierung, Dokumentenverwaltung, Werkzeugaufrufe und Automatisierung und profitierte laut Labonne auch jenseits der Agenten-Ziele, etwa bei Mathematik, Befolgung von Anweisungen und Programmieraufgaben.

Eigene Agenten-Hülle und Lizenz als Mittelweg

Parallel zum Modell hat Liquid AI eine eigene Agenten-Hülle entwickelt und diese bereits auf einem Smartphone demonstriert, inklusive Planung und Werkzeugaufrufen komplett auf dem Gerät. Hintergrund ist zum einen das Fehlen einer telefonnativen Hülle, zum anderen ein anderer Interaktionsansatz: Statt nur auf Eingaben zu warten, sollen Agenten proaktiv im Hintergrund laufen, Aktivitäten und Kalender prüfen und daraus eigenständig Aufgaben ableiten. Die enge Kopplung von Modell und Hülle soll Schwächen des Modells ausgleichen; Nutzer:innen interessiere am Ende nur, dass eine Aufgabe zuverlässig erledigt wird. Gleichzeitig ist LFM2.5‑2,6B mit bestehenden Hüllen wie Hermes Agent, OpenClaw und Pi kompatibel und lässt sich hinter jedem OpenAI-kompatiblen Endpunkt betreiben.

Für Unternehmen hebt Labonne hervor, dass Agenten-Fähigkeiten lokale Modelle vielseitiger machen: Statt viele spezialisierte Feintuning-Modelle zu pflegen, können Unternehmen das gleiche Modell mit unterschiedlichen Werkzeugen und Hüllen für verschiedene Aufgaben einsetzen, etwa als Kalender-Hilfe oder Besprechungsassistent. Feintuning empfiehlt er für produktive Einsätze weiterhin, da so die Leistung mit größeren Modellen wie GPT oder Claude vergleichbar werden könne, sofern die Aufgaben nicht zu komplex sind. Die Hürde für Feintuning sei deutlich gesunken.

Beim Lizenzmodell wählt Liquid AI einen kommerziellen Mittelweg. LFM2.5‑2,6B wird unter der LFM Open License v1.0 veröffentlicht. Sie erlaubt Nutzung, Modifikation und Weitergabe, auch kommerziell, für Organisationen mit weniger als 10 Millionen US-Dollar (rund 9,2 Millionen Euro) Jahresumsatz. Größere Unternehmen benötigen eine gesonderte Vereinbarung, während qualifizierte Non-Profit-Organisationen für nicht-kommerzielle und Forschungszwecke von der Umsatzschwelle ausgenommen sind. Labonne sieht darin eine Grundlage, um die Weiterentwicklung der Modelle zu finanzieren, und betont, dass größere Unternehmen im Kern lediglich darum gebeten würden, Kontakt aufzunehmen.

Parallel zu den lizenzierten Veröffentlichungen stellt Liquid AI Forschungsarbeiten frei zur Verfügung, darunter neue Bewertungsverfahren für strukturierte Ausgaben und ein Trainingsverfahren gegen Wiederholungsschleifen kleiner Modelle. Die Bedeutung des Ansatzes unterstreicht eine langfristige Partnerschaft mit dem Softwareanbieter MacPaw, der mit Liquid AI einen lokalen KI-Stack für den Mac auf Basis der Assistentin Eney und eigener Inferenz- und Speicherlösungen plant. Einer der Gründe für die Wahl von LFM2.5‑2,6B sei der geringe Speicherbedarf. Insgesamt zielt Liquid AI auf ein Marktsegment, in dem nicht reine Modellgröße entscheidet, sondern die Fähigkeit, kleine, spezialisierte Agenten dauerhaft und kostengünstig direkt dort laufen zu lassen, wo Unternehmens-Workflows ohnehin stattfinden.

Via: https://venturebeat.com

Den Beitrag in unserem Forum kommentieren

Werbung



Tags: LFM2.5-2, 6B, Edge KI, Hugging Face, LEAP, KI-Agenten, On-Device KI, MacPaw, Lizenzmodell, Raspberry Pi, Liquid AI

Ähnliche Artikel

Werbung



Einkaufstipps
Beliebte Artikel

Werbung