Neue Apple-Studie: Wie ähnliche Klänge KI-Sprachgeneration deutlich beschleunigen

Apple und die Universität Tel Aviv stellen ein Verfahren vor, das KI-gestützte Text-zu-Sprache-Ausgabe spürbar beschleunigt, ohne die Verständlichkeit zu verschlechtern. Grundlage ist ein neuer Umgang mit ähnlichen Sprachbausteinen.

Neuer Ansatz für schnellere Sprachsynthese

In der Facharbeit mit dem Titel „Principled Coarse-Grained Acceptance for Speculative Decoding in Speech“ beschreiben Apple-Forschende einen neuen Ansatz zur Erzeugung von Sprache aus Text. Im Fokus stehen autoregressive Text-zu-Sprache-Modelle, die Sprachbausteine nacheinander erzeugen.

Wer sich schon mit großen Sprachmodellen beschäftigt hat, kennt autoregressive Verfahren: Sie sagen jeweils das nächste Token anhand aller vorangegangenen Token voraus. Bei der Sprachsynthese funktionieren sie ähnlich, nur dass die Token nicht Wörter oder Zeichen, sondern Audiosegmente darstellen.

Dieses Vorgehen gilt als effizient, erzeugt aber einen Engpass, wie das Forschungsteam erläutert:

„Für Sprach-LLMs, die akustische Token erzeugen, ist exakte Token-Übereinstimmung jedoch zu restriktiv: Viele diskrete Token sind akustisch oder semantisch austauschbar, was Akzeptanzraten senkt und Beschleunigung begrenzt.“

Autoregressive Sprachmodelle sind also oft zu streng und verwerfen sinnvolle Vorhersagen, nur weil sie nicht exakt dem erwarteten Token entsprechen. Das bremst die Erzeugung von Sprache spürbar aus.

Prinzipielles Grobkörniges Akzeptieren: Tokens nach Klang gruppieren

Der Ansatz von Apple beruht darauf, dass viele verschiedene Token nahezu gleich klingen können. Mit diesem Wissen gruppiert das Team Tokens mit ähnlichem Klangverhalten und schafft eine flexiblere Prüfstufe.

Statt jedes mögliche Geräusch als vollkommen einzigartig zu behandeln, darf das Modell ein Token akzeptieren, das zur gleichen allgemeinen Gruppe „akustischer Ähnlichkeit“ gehört. Dieses Verfahren trägt den Namen Prinzipielles Grobkörniges Akzeptieren (Principled Coarse-Graining, PCG).

PCG besteht aus zwei Modellen: Ein kleineres Modell schlägt schnell mögliche Sprach-Token vor, ein zweites, größeres Bewertungsmodell überprüft, ob diese Token in die passende akustische Gruppe fallen, bevor sie übernommen werden. So entsteht ein Rahmenwerk, das die Ideen des spekulativen Dekodierens auf Sprachmodelle mit akustischen Tokens überträgt. Das beschleunigt die Sprachgenerierung und erhält zugleich die Verständlichkeit.

In den Versuchen zeigte PCG eine Beschleunigung der Sprachgeneration um etwa 40 Prozent, während herkömmliches spekulatives Dekodieren bei Sprachmodellen kaum Tempo-Gewinne brachte. Gleichzeitig blieb die Wortfehlerrate niedriger als bei früheren, auf Geschwindigkeit fokussierten Methoden, die Stimmähnlichkeit wurde bewahrt, und PCG erzielte eine Natürlichkeitsbewertung von 4,09 auf einer Skala von 1 bis 5.

In einem Belastungstest („Ablation on intra-group token substitution“) ersetzten die Forschenden 91,4 Prozent der Sprach-Token durch Alternativen aus derselben akustischen Gruppe. Trotzdem blieb die Ausgabe stabil: Die Wortfehlerrate stieg nur um +0,007, die Stimmähnlichkeit sank lediglich um −0,027.

Mögliche praktische Auswirkungen von PCG

Die Studie geht nicht darauf ein, welche direkten Folgen die Ergebnisse für Apple-Produkte oder Plattformen haben könnten. Das Verfahren könnte aber für künftige Sprachfunktionen interessant sein, die Tempo, Qualität und Effizienz ausbalancieren müssen.

Wichtig ist dabei: Das Zielmodell muss nicht neu trainiert werden, denn es handelt sich um eine Änderung zur Dekodierzeit. PCG lässt sich also auf bestehende Sprachmodelle während der Ausführung anwenden, ohne deren Architektur anzupassen oder sie erneut zu trainieren.

Zusätzlich ist der Ressourcenbedarf gering: Für die Speicherung der akustischen Ähnlichkeitsgruppen werden laut Studie nur rund 37 MB Speicher benötigt. Das macht PCG grundsätzlich geeignet für Geräte mit begrenztem Arbeitsspeicher.

Weitere technische Details zu PCG, etwa zu Datensätzen und Bewertungsmethoden, findet Ihr direkt in der Publikation von Apple unter diesem Link: Principled Coarse-Grained Acceptance for Speculative Decoding in Speech.

Via: https://9to5mac.com

Den Beitrag in unserem Forum kommentieren