Perplexity ignoriert robots.txt: Kontroverse um Daten-Scraping für KI-Training

[Apfeltalk Redaktion]

Das Training großer Sprachmodelle, wie das von Perplexity AI, steht in der Kritik, weil es gezielt gegen die robots.txt-Richtlinien verstößt. Untersuchungen zeigen, dass Perplexity verschiedene Techniken einsetzt, um Blockaden zu umgehen, was das Vertrauen zwischen Webseitenbetreiber:innen und KI-Unternehmen untergräbt. Während andere Anbieter diese Richtlinien respektieren, fehlt es an rechtlichen Grundlagen, um sie durchzusetzen, was das Ansehen aller betroffenen KI-Anbieter:innen leidet.

Perplexity AI verteidigt sein Vorgehen als technischen Differenzierungsansatz, wird jedoch von Fachberichten kritisch bewertet. Die aggressive Datensammlung hat negative Auswirkungen auf den Web-Traffic und gefährdet die wirtschaftliche Grundlage vieler Webseiten. Im Gegensatz dazu betont Apple, die robots.txt-Richtlinien zu respektieren und keine Nutzerdaten für KI-Training zu verwenden, was die ethischen Standards im Umgang mit Webdaten in den Fokus rückt.

Was denkt ihr über die Praktiken von Perplexity AI? Glaubt ihr, dass es dringend notwendig ist, rechtliche Rahmenbedingungen für den Umgang mit robots.txt zu schaffen? Diskutiert mit uns!

Klick hier, um den vollständigen Beitrag im Magazin zu lesen

Hinweis: Dieser Beitrag ist eine automatisch erstellte Zusammenfassung mithilfe von Künstlicher Intelligenz. Eine redaktionelle Prüfung fand nicht statt.

 

[kelrin]

Ich verstehe die technische Fragen hinter dem Artikel nicht ganz, bin aber der Meinung, dass die bereits getroffenen europarechtlichen Regelungen schon jetzt eher zu weit gehen.

 

[voyager]

Ich verstehe die technische Fragen hinter dem Artikel nicht ganz

du kennst vermutlich auch nicht die robots.txt und den Sinn dahinter ? (der seit Jahrzehnten funktioniert)

ganz einfach. Du hast eine "private" Webseite, die du mit Freunden,... teilst, wo Bilder , Urlaubserinnerungen,.. .drauf sind, und die soll nicht in Google gelistet werden. Das machst du über die robots (wenn ein Passwort nicht notwendig ist).

und genau da geht perplexity drüber, und schaut sich auch deine privaten Daten an, und durchsucht deine Webseite und nutzt die Inhalte

 

[Mure77]

Das ist schon der Knaller. Damit sollte ein Kauf von Apple kein Thema mehr sein.

 

[voyager]

Damit sollte ein Kauf von Apple kein Thema mehr sein

hoffentlich meinst du im positiven Sinne

 

[Mure77]

hoffentlich meinst du im positiven Sinne

Es steht ja zur Diskussion dass Apple den Anbieter kaufen möchte. Das sollte nun kein Thema mehr sein, wie ich finde.

 

[voyager]

Es steht ja zur Diskussion dass Apple den Anbieter kaufen möchte. Das sollte nun kein Thema mehr sein, wie ich finde.

ach so meinst du das. (ich dachte an den aktuellen kauf von Endgeräten durch User).

zumindest müssten sie den "Saustall" ordentlich aufräumen , Klarheit schaffen und entmisten, damit alles Datenschutzrechtlich passend gemacht wird

 

[Balkenende]

… bin aber der Meinung, dass die bereits getroffenen europarechtlichen Regelungen schon jetzt eher zu weit gehen.

Welche Regelung meinst Du genau?

Und in welchem Bereich geht sie zu weit? Insbesondere bei der hier aufgezeigten Umgehung?

 

[AndiEh]

ganz einfach. Du hast eine "private" Webseite, die du mit Freunden,... teilst, wo Bilder , Urlaubserinnerungen,.. .drauf sind, und die soll nicht in Google gelistet werden. Das machst du über die robots (wenn ein Passwort nicht notwendig ist).

und genau da geht perplexity drüber, und schaut sich auch deine privaten Daten an, und durchsucht deine Webseite und nutzt die Inhalte

Es geht aber nicht nur um Datenschutz:

Ich betreibe eine kleines werbefreies Reisemobilforum, welches auf einer günstigen Hosting Instanz läuft. Für meine 4000 User reicht das vollkommen aus.
Wenn aber wie vor zwei Wochen plötzlich tausende Bots getarnt als Gast Besucher gleichzeitig auf die Seite zugreifen (die meisten aus den USA) dann reicht mein Hosting Paket eben nicht mehr aus, damit meine echten User noch Zugriff auf die Seite haben.
Und laut meinem Forum Partner ist das nicht nur uns, sondern auch anderen Foren so gegangen.
Andere haben dann gleich Cloudflare dazwischengeschaltet, was meines Wissens nach nicht kostenlos ist.
Gott sei Dank hat es nur so 24h angehalten....aber ich möchte nicht wissen, was passieren würde, wenn das Schulung macht. Dann kostet mich dann mein privates Geld.

Gruß
Andi

 

[voyager]

dann reicht mein Hosting Paket eben nicht mehr aus

das kann aber selbst ein 5€ All-Inkl Hostingpaket

 

[Wuchtbrumme]

Was denkt ihr über die Praktiken von Perplexity AI? Glaubt ihr, dass es dringend notwendig ist, rechtliche Rahmenbedingungen für den Umgang mit robots.txt zu schaffen?

die Frage nach robots.txt ist ja nett, aber am Kern vorbei. Knapp zusammengefasst geht es hier um das Ignorieren von Urheberrecht. Wenn Du das als Webseitenbetreiber machst, wirst Du vor Gericht kielgeholt. Das ist auch nichts "Grauzone" oder "muss noch geklärt werden", dazu ist schon alles gesagt, eben nur noch nicht von jedem, der sich halt für besonders hält.

Ja, wenn ich Inhalte, Anleitungen, Howtos, Tips, Erfahrungen, Reiseberichte und Bilder oder Videos poste - da gelten für mich dieselben Regeln wie für Universal, Sony usw. Und sollten auch für Google, OpenAI usw. gelten. Die machen das aber im Geheimen oder meinen, das in Nutzungsbedingungen für andere Dienste verstecken zu können.

 

[AndaleR]

Aber ist die robots.txt verpflichtend?

Laaaange nicht mehr damit befasst, aber galt das nicht als Richtlinie u. mehr oder weniger freiwillig?

 

[voyager]

Aber ist die robots.txt verpflichtend

Nope, aber es gehört zur Netiquette. Selbst Google, die Datenkrake, beachtet die "Regel".

 

[AndiEh]

das kann aber selbst ein 5€ All-Inkl Hostingpaket

nein

Gruß
Andi

 

[access]

Also in der heutigen Zeit dürfte Traffic kein Problem sein, einzig die CPU-Zeit könnte ein Problem werden, wenn zu viel Zugriffe zur gleichen Zeit laufen.
Aber zurück zum Thema, durchforsten von Verzeichnissen die durch die Robots.txt gesperrt sind geht gar nicht.

 

[AndiEh]

Also in der heutigen Zeit dürfte Traffic kein Problem sein, einzig die CPU-Zeit könnte ein Problem werden, wenn zu viel Zugriffe zur gleichen Zeit laufen.

So ist es

Gruß
Andi