Geringere Bandbreite: Netflix codiert seinen gesamten Katalog neu

[Martin Wendel]

Seit 2011 arbeitet Netflix an einem neuen Codierungs-Algorithmus, mit dem bei gleichbleibender Bild- und Audioqualität etwa 20 Prozent Bandbreite eingespart werden sollen. Nun sind bereits erste Inhalte, die mit der neuen Technologie codiert wurden, verfügbar. Bis Weihnachten soll die Zahl auf 1.000 Titel ansteigen, bis Ende März will Netflix seinen gesamten Katalog, bestehend aus zehntausenden Filmen und Serienepisoden, neu codiert haben.

Analyse jedes Videos

Der neue Ansatz von Netflix besteht darin, dass jedes Video analysiert und in der dafür optimalen Bitrate codiert wird. Bisher behandelte Netflix noch sämtliche Inhalte identisch. Dies führte dazu, dass vor allem bei Animationsfilmen, die aufgrund des simpleren Bildaufbaus und der geringeren Bandbreite an Farben eigentlich auch noch mit deutlich niedrigeren Bitraten ein gutes Bild liefern würden, viele Bytes unnötig durchs Netz gejagt wurden.

Nicht nur für Animationsfilme

Von dem neuen Algorithmus sollen jedoch nicht nur animierte Serien und Filme profitieren. Das US-Magazin Variety konnte bei Netflix einen Vergleich zwischen einer Episode "Orange is the New Black", die auf zwei Fernsehern nebeneinander jeweils in 1080p abgespielt wurde, sehen. Bei einer Variante handelte es sich um die alte Codierung mit 5.800 kbit/s, die zweite Variante war mit dem neuen Algorithmus und einer Bitrate von 4.640 kbit/s codiert.

Einsparung von 20 Prozent

Für Variety waren zwischen den beiden Versionen keine Unterschiede feststellbar, jedoch wird beim Streaming 20 Prozent der Bandbreite eingespart. Netflix veranstaltet intern einen ähnlichen Wettbewerb. Dasselbe Video wird in der alten und neuen Version nebeneinander abgespielt. Sollte ein Mitarbeiter einen Unterschied feststellen können, bekommt er eine Flasche Champagner – bis heute konnte sich noch niemand den Preis schnappen.

Bis zu ein Drittel des Internetverkehrs

Die Internetbetreiber wird dies freuen, immerhin ist Netflix zu Spitzenzeiten für ein Drittel des Internetverkehrs in den USA verantwortlich. Bis Ende März soll nun der gesamte Netflix-Katalog mit dem neuen Algorithmus neu codiert werden, langweilig wird den Netflix-Technikern danach aber nicht. Immerhin müsse man sich noch um die 4K-Inhalte kümmern, außerdem gebe es noch andere Möglichkeiten zur Verbesserung der Bildqualität – Stichworte HDR und HFR (High Frame Rate).

Szene für Szene

Außerdem gibt es bereits Ideen, den gesamten Katalog erneut zu codieren: Diesmal will man nicht für jeden Film und jede Serienepisode die optimale Bitrate wählen, sondern sogar jede einzelne Szene bewerten und die Bitrate daraufhin anpassen. So wäre es möglich, dass in hektischen Kampfszenen die Bitrate nach oben gefahren wird und man bei ruhigeren Szenen wie Dialogen die Bitrate bei gleichbleibender Qualität reduzieren kann.

Via Variety

zurück zum Magazin...

 

[CheatSheep]

Verstehe ich nicht, dachte das ist Stand der Technik, dass die Bitrate beim, also im, Film dynamisch ist. Das habe ich vor 15 Jahren schon bei Sicherheitskopien von DVDs so gemacht.

 

[DoktorToast]

Find ich gut dass Netflix in dem Bereich entwickelt...kann auf Dauer nur von Vorteil sein

 

[Slartie]

Bisher hatte ich von Netflix ja eine recht hohe Meinung, so als Entwickler (viele interessante Open-Source-Projekte stammen von denen, und sie haben auf der JavaOne einen extrem guten Vortrag beigesteuert), aber...tschuldigung, Multi-Pass-Encoding mit variabler Bitrate als grandiose Neuerung verkaufen? Das hab ich, wie CheatSheep auch schon sagte, in der Tat auch vor 15 Jahren schon gemacht, in einer großteils manuell betriebenen Encoding-Pipeline mit VirtualDub Ich vermute allerdings, dass Netflix das deswegen für so futuristisch und bahnbrechend hält, weil sie sich mit ihrer parallelisierten Encoding-Pipeline (siehe hier: http://techblog.netflix.com/2015/12/high-quality-video-encoding-at-scale.html) da selbst ein Ei gelegt haben: wenn ich ein Video in viele Segmente unterteile, die ich dann parallel encodiere, dann ist es ungleich schwerer, die Szenen mit unterschiedlicher Bitrate zu kodieren, weil man die Segmentgrenzen dazu idealerweise so legen müsste, wie man auch die Bitraten-Wechsel vornehmen will, d.h. man braucht flexibel große Segmente. Die Jungs und Mädels müssen also VBR-Encoding für ihre Pipeline in der Tat quasi neu erfinden und halten das deswegen vermutlich für was tolles hippes neues

 

[smoe]

@CheatSheep @Slartie Ich glaube ihr habt das falsch verstanden. Netflix hat immer schon die Filme in einer ganzen Palette an verschiedener Bandbreiten codiert, sie haben also sowieso jede Szene des Films in verschiedenen Bandbreiten vorliegen. Hier geht es nur darum die gleiche Bildqualität *der selben Szene* mit einer geringeren Bandbreite zu ermöglichen. Und das schafft man nicht durch dynamische Verteilung der Bandbreite in der Codierung, sondern nur durch bessere Algorithmen.

Die Daten müssen durch eine schmale Internetverbindung geschoben werden, da ist das wichtigste die beste Bildqualität aus kleiner Bandbreite rauszuholen. Bei euren dynamisch codierten Filmen ist es ja hingeben das Ziel die Gesamtgröße der Datei klein zu halten, aber eben bei aufwendigen Szenen trotzdem gute Bildqualität zu ermöglichen indem in diesen Szenen dann die Bandbreite hochgefahren wird. Die Bandbreite einer Internetleitung lässt sich aber nicht mal eben erhöhen damit die Szene in besserer Qualität durch passt. Bei euren Filmen die von der Festplatte kommen und evtl über LAN gestreamt werden habt ihr dieses Problem mit der kleinen Bandbreite nicht.

 

[walex]

Ich verstehe nicht, warum es hier ständig Leute gibt, die ständig andere schlecht machen müssen, nur um sich wahrscheinlich selbst besser zu fühlen.

Anstatt sich darüber zu freuen oder es wohlwollend zur Kenntnis zu nehmen, dass Netflix sein bestehendes Produkt verbessert, wird hier nur kritisiert und genörgelt.

Ich denke, es gibt wenige Menschen, die diese Materie so gut verstehen, dass sie sich über die technische Umsetzung wirklich ein Urteil erlauben dürfen.

 

[CheatSheep]

@CheatSheep @Slartie Ich glaube ihr habt das falsch verstanden. Netflix hat immer schon die Filme in einer ganzen Palette an verschiedener Bandbreiten codiert, sie haben also sowieso jede Szene des Films in verschiedenen Bandbreiten vorliegen. Hier geht es nur darum die gleiche Bildqualität *der selben Szene* mit einer geringeren Bandbreite zu ermöglichen. Und das schafft man nicht durch dynamische Verteilung der Bandbreite in der Codierung, sondern nur durch bessere Algorithmen.

Beides ist richtig.
Es geht genau darum, bestimmte Szenen bei gleicher Optik mit weniger Daten darzustellen. Szene für Szene.
Das geht indem man bei eintönigen Szenen die Bitrate reduzieren kann, weil bei weniger/keine Bewegung das Bild nicht so oft geladen werden muss, und andererseits mit Algorithmen, die ganze (ähnliche) Farbbereiche zusammenfassen und platzsparend darstellen (aber ohne dass Klumpen entstehen...).
Aber wie gesagt, exakt das hat man schon vor 15 Jahren gemacht mit Multipassdurchläufen und verschiedenen Algorithmen.

Ich finde die Erklärung von @Slartie sehr gelungen, warum Netflix das bisher offenbar nicht in ausufernder Form gemacht hat.

@walex
So wie der Artikel von Marin geschrieben ist, klingt das nach keiner Raketenwissenschaft und wie es dort beschrieben ist, war das vor 15 Jahren schon völlig Normal für ambitionierte Filmegucker zuhause. Da darf man schon kritisch hinterfragen, warum das so ist...

 

[Slartie]

@smoe Guter Einwand, was die harte Grenze durch die Kapazität der Leitung angeht. Aber denke es mal folgendermaßen: nimm die jetzige, fixe Bitrate (von mir aus 5MBit/s) als Obergrenze für ein variables Profil an, welches diese Bitrate - wann immer es ohne Unterschreiten einer gewünschten Zielqualität möglich ist - auf bis zur Hälfte reduzieren kann. Endergebnis: in den Actionszenen hat man genau dieselbe Bitrate wie bei konstantem Encoding vorher auch (und damit auch dieselben Anforderungen an die Kapazität der Leitung), in den ruhigen Szenen hat man aber reichlich Bitrate gespart. Auch wenn man die jetzt nicht - wie man das sonst gern bei VBR-Encoding tut - zur Verbesserung der Qualität der Actionszenen "re-investieren" kann, weil man dann die Anforderung an die Leitung erhöhen würde, ist das Gesamtergebnis eben doch, dass deutlich weniger Bits für denselben Film in derselben Qualität übertragen werden müssen

 

[smoe]

Aber denke es mal folgendermaßen: nimm die jetzige, fixe Bitrate (von mir aus 5MBit/s) als Obergrenze für ein variables Profil an, welches diese Bitrate - wann immer es ohne Unterschreiten einer gewünschten Zielqualität möglich ist - auf bis zur Hälfte reduzieren kann. Endergebnis: in den Actionszenen hat man genau dieselbe Bitrate wie bei konstantem Encoding vorher auch (und damit auch dieselben Anforderungen an die Kapazität der Leitung), in den ruhigen Szenen hat man aber reichlich Bitrate gespart.

Der Witz an der Sache ist aber dass ein besserer Codec bessere Qualität liefern kann wenn du bereits am Maximum von deinen 5MBit angekommen bist. Ob du nun insgesammt Bits sparen kannst ist weniger das Problem, Traffic kostet quasi nichts, nur die zu verfügung stehende Bandbreite ist nunmal fix und meist klein.

Es geht hier ja um die Aussage, dass die selbe Szene mit dem neuen Algorithmus bei einer Bitrate von 4.640 kbit/s die selbe Qualität liefert wie 5.800 kbit/s bei dem alten Codec. VBR kann das nicht liefern. Man könnte natürlich trotzdem zusatzlich VBR einsetzen, um zusätzlich Traffic zu sparen, da stimme ich dir voll und ganz zu.

 

[walex]

Das ist kein technischer Artikel, sollte es wohl auch nicht sein. Daher entsteht vielleicht auch der Eindruck, dass es simpel ist, was Netflix macht.
Ich hab genug Ahnung von Video um zu wissen, dass es das nicht ist. Es ist auch ein Unterschied, ob man eine DVD rippt oder ob man Videos zu Hunderttausenden Kunden stremmt.

Exakt ist nicht bekannt, was Netflix genau einsetzt und wie es konfiguriert ist. Das sind größtenteils nur Vermutungen, auf Grund derer ihr ein Unternehmen schlecht macht.
Macht nur weiter so und hofft, dass das niemand mit euch anstellt.

 

[walex]

Jemand der schon mal einen Server betrieben hat weiß, dass es ganz sicher NICHT nur auf die Bandbreite ankommt.

Das trifft nur bei der Verrechnung zu, aber auch nicht wirklich.

 

[Slartie]

@smoe: Mit "neuem Algorithmus" meinen sie aber nicht "neuer Codec", sondern nur einen neuen Algorithmus zur Auswahl der Kodierparameter - und dabei vor allem der Bitrate - je nach Filminhalt, während das vorher unabhängig vom Inhalt immer statisch war. Aus dem Originalartikel geht das recht klar hervor: http://techblog.netflix.com/2015/12/per-title-encode-optimization.html

Die Zahlen 4,64MBit/s vs 5,8MBit/s beziehen sich einzig auf das konkrete Beispiel einer Episode von "Orange is the new Black". Da es aber gerade darum geht, dass die Bitrate abhängig vom Inhalt gewählt werden soll, sind diese Zahlen eben auch nur für diese eine Episode dieser Serie gültig - bei anderen Serien wird man wohl nach wie vor zu 5,8Mbit/s greifen, bei wieder anderen zu noch niedrigeren Raten als 4,64Mbit/s.

Und Netflix geht es sehr wohl um die Reduktion der gesamten übertragenen Bits.
Zum Einen müssen die, wie im Apfeltalk-Artikel schon genannt, inzwischen einen Großteil des gesamten weltweiten Traffics sourcen, das kostet nicht "fast nix", sondern gewaltig Kohle, zumal der Traffic bei Netflix die größte infrastrukturelle Kostenstelle sein dürfte ("Traffic" heißt ja nicht nur, den nackten Uplink zu bezahlen - man braucht für mehr Traffic auch mehr Rechner, die ihn erzeugen, leistungsfähigere Router und Switches, leistungsfähigeres Management...da hängt ein gewaltiger Rattenschwanz dran). Wenn man da 10-20% einsparen kann, heißt das im Umkehrschluss, dass man 10-20% mehr zahlende Kunden mit derselben Infrastruktur bedienen kann.

Und zum Anderen hängen nicht alle Kunden mit einer unbegrenzten Flatrate am Netz. Es gibt immer mehr Leute, die über Mobilfunkverbindungen streamen, die entweder über Volumen limitiert sind - dann hat der Kunde direkt ein großes Interesse daran, mit wenig Traffic viel Qualität zu bekommen - oder bei denen der Anbieter zwar Netflix nicht aufs Volumen anrechnet (macht T-Mobile in den USA in manchen Tarifen so), aber dafür selbst dann ein großes Interesse gegenüber Netflix hat, dass deren Streams so effizient wie möglich sind.

 

[Slartie]

Exakt ist nicht bekannt, was Netflix genau einsetzt und wie es konfiguriert ist. Das sind größtenteils nur Vermutungen, auf Grund derer ihr ein Unternehmen schlecht macht.

Ehrlich gesagt sehe ich nicht, wo hier irgendeiner von uns das Unternehmen "schlecht macht". Nur weil wir nicht spontan in Huldigungsstarre verfallen und alles, was die machen, grundsätzlich für übermenschliche Raketenwissenschaft halten?

Was Netflix genau macht ist übrigens allen, die es WIRKLICH interessiert, recht gut bekannt, ich empfehle dir z.B. mal die Lektüre der zwei von mir verlinkten Blogeinträge sowie der anderen Artikel dort. Die geben schon allein auf ihrem Techblog recht viel Auskunft über die High-Level-Architektur ihres Systems; die ist auch durchaus beeindruckend, speziell die parallelisierte Encoding-Pipeline auf EC2-Maschinen, die sie je nach Bedarf mieten und wieder abstoßen ist ein sehr flexibles System, mit dem man sowohl viele Videos parallel als auch einzelne Videos sehr sehr schnell verarbeiten kann - nur eine dieser Eigenschaften hinzukriegen ist recht leicht, beide gleichzeitig erfordert schon sehr viel mehr Einsatz. Ziemlich beeindruckend ist auch der Aufwand, den sie in die automatische Verifikation stecken.

Das heißt jedoch nicht, dass ich bzw. wir uns nicht Gedanken über die Übertragung anderer, im Encoding-Bereich seit Ewigkeiten als gängig angesehene Techniken wie VBR auf die dargestellte Infrastruktur machen dürfen - und uns insbesondere wundern dürfen, warum relativ naheliegende technische Verbesserungen noch nicht umgesetzt wurden, obwohl die nötige technische Expertise ohne Zweifel vorhanden sein dürfte. Genau dann wird es nämlich interessant; diese Konstellation weist meist auf Schwachstellen des Systems hin bzw. zeigt oft die Richtung auf, in die wohl die weitere Zukunft geht. Ich jedenfalls gehe schwer davon aus, dass Netflix mittelfristig irgendeine Form von variabler Bitrate innerhalb einzelner Streams realisieren wird, evtl. auch als Weiterentwicklung ihrer jetzt offenbar aufgebauten "Videobewertungs-Engine", die dann möglicherweise einzelne Szenen statt ganzer Filme bewertet.