AnandTech: Benchmark-Schummelei gehört bei Android zum guten Ton

[Marc Freudenhammer]

Erst gestern berichteten wir von Samsungs Bemühungen, etwaige Benchmarktest mithilfe von speziellen Optimierungen der Prozessorleistung hinters Licht zu führen. Einem aktuellen Report von AnandTech zufolge scheint diese Vorgehensweise im Smartphone-Geschäft offensichtlich gang und gäbe zu sein. Lediglich bei den Geräten von Apple, Motorola und den Nexus 4 und Nexus 7-Modellen soll das Ergebnis von Benchmarktests den tatsächlichen Leistungen entsprechen. [PRBREAK][/PRBREAK]

Benchmarktests wären inzwischen zu einer Art Katz-und-Maus-Spiel geworden, heißt es in dem Bericht von Anandtech weiter. Bei nahezu jedem Andoid-Gerät könnte man die künstliche Leistungssteigerung nachweisen. Ein Problem dabei: sobald eine Benchmark-Tool populär wird, wandert es in die Liste der Programme, bei denen die gesteigerte Prozessor-Leistung abgerufen wird. AnandTech kritisieren diese Vorgehensweise besonders deswegen, weil der Leistungszuwachs meistens unter 10 Prozent liege. Samsungs "Optimierungen" beim Galaxy Note 3 waren nicht zuletzt dadurch aufgefallen, weil dort rund 20 Prozent mehr Leistung herausgekitzelt wurde. Den kompletten Bericht inklusive näheren Erläuterungen zu den Benchmarks gibt es bei AnandTech.



Via AnandTech

 

[FantasticMacs]

Leider ist das ja nichtmal auf den Smartphone-Bereich beschränkt.

Jeder Hersteller versucht seine Produkte im bestmöglichen Licht stehen zu lassen. Der eine mit mehr Abweichung von der Realität, der andere mit weniger.

 

[Nike]

Umso peinlicher finde ich es, dass z.B. das Note 3 trotz 20% mehr Leistung durch die Trickserei immer noch schlechter bei den Benchmarks abschneidet als das iPhone 5S.

 

[Gloster]

Wie wäre es denn, die Benchmarktests wieder (?) näher an der realistischen Verwendung des Produktes zu konzipieren? Dann würden auch wir Nutzer vom Optimieren der Prozessoren profitieren. Scheinbar ist in den Dingern ja ne Menge Potential unerschöpft.

 

[olemax]

Warum überhaupt Benchmarks beachten, wenn man nicht an High end Games interessiert ist? Die aktuellen Prozessoren, Grafik Chips sind doch für 99% der User ausreichend. So what.

 

[jFx]

Und ich sage es wieder, so ganz schlecht läuft mein IP4S aktuell immer noch nicht.

Und das ist nun fast 2.

 

[eyePH0NE]

Und ich kaufe ein "r".

 

[Paganethos]

Wie wäre es denn, die Benchmarktests wieder (?) näher an der realistischen Verwendung des Produktes zu konzipieren? Dann würden auch wir Nutzer vom Optimieren der Prozessoren profitieren. Scheinbar ist in den Dingern ja ne Menge Potential unerschöpft.

Nein. Die "Optimierungen" gehen in die Richtung, dass für Benchmark xy einfach der CPU höher als normal getaktet wird. Für die Dauer des Benchmarks sicher kein Problem, im Alltag geht das nicht. Also zumindest Samsung macht das so.

 

[SeptimusFlyte]

Gibt es eigentlich eine Werbung, wo nicht geschummelt wird....

 

[Flinx]

Für mich sind Benchmark-Vergleiche insofern relevant, als dass sie ein Indiz dafür sind, wie lange ein Gerät "frisch" bleibt. Das 4S war seiner Zeit das schnellste Smartphone (wurde afaik erst vom SGS3 abgelöst) und ist auch heute noch nach fast 2 Jahren (mit iOS7) in Sachen Schwuppdizität absolut ausreichend. Nach meiner Erfahrung kann man das von langsameren Geräten des selben Jahrgangs nicht behaupten.

 

[OneCent]

und ist auch heute noch nach fast 2 Jahren (mit iOS7) in Sachen Schwuppdizität absolut ausreichend.

"Schwuppdizität" - das fehlt wirklich noch in den Benchmarks - lach.

 

[Applefreak^2]

@Flinx: Geiles neues Wort

 

[RUN/DOS/RUN]

@Flinx: Geiles neues Wort

Wieso neu? Das gibt es spätestens seit derc't 08/2008 (S.100)

 

[Gloster]

Nein. Die "Optimierungen" gehen in die Richtung, dass für Benchmark xy einfach der CPU höher als normal getaktet wird. Für die Dauer des Benchmarks sicher kein Problem, im Alltag geht das nicht. Also zumindest Samsung macht das so.

Danke für die Erläuterung. Nach meinem Rechtsempfinden liegt damit betrügerisches Handeln vor, wenn Samsung das nicht erkennbar erläutert.

 

[smoe]

Naja Betrug muss an der Stelle erstmal nachgewiesen werden.

Die Benchmarkergebnisse sind ja korrekt, das Gerät hat ja zu diesem Zeitpunkt die entsprechende Leistung erbracht. Doof nur, dass diese Leistung in normalen Anwendungen nicht zur Verfügung steht, aber das behauptet Samsung und Co ja auch gar nicht. Das ist natürlich Schummeln und unanständig, nur rechtlich wohl total in Ordnung, solange nirgends diese Leistung versprochen wird.

Für mich stellt sowas eher immer mehr den Sinn von Benchmarks überhaupt in Frage...

 

[Gloster]

@smoe: In der Tat, Benchmarks müssen wohl immer mehr hinterfragt werden.

Zum Betrugsvorwurf: Die Juristen gehen - soweit mir bekannt - vom durchschnittlich informierten Verbraucher aus. So einer könnte denken, das Ranking nach einem Benchmarktest sagt mir, welches Gerät schneller ist. Wenn Samsung die Manipulationen am Gerät durchführt mit dem Ziel, nur in Benschmarktests besser abzuschneiden (und nicht dazuschreibt, dass der Benchmark nicht das normale Verhalten abbildet), dann wird getäuscht. Führt das zum Vermögensnachteil (weil der Käufer sich sonst für ein billigeres, aber gleichschnelles Geräte entschieden hätte) ist der Betrug greifbar.

Mir ist klar: Eine theoretische Diskussion mit "wenn" und Konjunktiv. Es "Schummelei" zu nennen ist mir aber einfach zu schwach.

 

[smoe]

Die spannende Frage ist in dem Zusammenhang wohl: Veröffentlicht oder bewirbt Samsung selbst die Benchmarkergebnisse? Das würde ich für problematisch halten. Dass aber ein Test einer dritten Person Messwerte angibt die nicht der Praxis entsprechen ist ja in erster Linie mal ein Problem dieser dritten Person bzw des Messverfahren an sich. Und solange es keine rechtlich verbindlichen Vorgaben für solche Benchmark-Verfahren gibt, kann da natürlich jeder optimieren wie er möchte.

 

[xees]

Dann muss das Benchmark Tool eben auch schwindeln und jedesmal vorgeben ein anderes Tool zu sein. Z. B. eine Textverarbeitung.