Das Training großer Sprachmodelle beruht auf einer Vielzahl von Webdaten. Die Einhaltung technischer Standards wie robots.txt dient als Grundlage für Vertrauen im offenen Internet. Doch einige Anbieter stehen in der Kritik, gezielt gegen diese Richtlinie zu verstoßen. Der folgende Beitrag analysiert die aktuelle Debatte um das Vorgehen von Perplexity AI und die Folgen für Betreiber:innen von Webseiten.
Systematische Umgehung von robots.txt durch Perplexity
Seit 2024 bleibt Perplexity AI durch den gezielten Bruch von robots.txt-Richtlinien auffällig. Untersuchungen von Cloudflare zeigen, dass Perplexity verschiedene Methoden einsetzt, um gezielt Sperren zu umgehen. Die Bots wechseln IP-Adressen, Browser-Agents und sogar komplette ASNs, um Webseiten dennoch zu crawlen.
Tests mit neuen, bislang nicht gescannten Webseiten bestätigen diesen Verdacht. Sobald die ursprünglichen Bots geblockt werden, tauchen weitere abgewandelte Bots auf. Sie beschaffen gezielt Informationen, die ausschließlich auf den entsprechenden Webseiten verfügbar sind. Ergebnisse von Perplexity AI belegen die Nutzung dieser Daten. Werden alle Bots erfolgreich blockiert, sinkt die Antwortqualität deutlich.
Diese Strategie untergräbt laut Cloudflare das nötige Vertrauen zwischen Webseitenbetreiber:innen und KI-Unternehmen. Während andere Anbieter wie Apple, Google oder OpenAI die robots.txt respektieren, wählt Perplexity den entgegengesetzten Weg. Es fehlen derzeit rechtliche Grundlagen, um robots.txt verbindlich durchzusetzen. Dennoch leidet das Ansehen aller betroffenen KI-Anbieter:innen.
Reaktion von Perplexity und Auswirkungen für das Web
Perplexity AI verteidigt sein Vorgehen mit dem Verweis auf technische Differenzierung. Das Unternehmen behauptet, dass Cloudflare nicht zwischen regulären KI-Agenten und „bösartigen“ Scraper-Bots unterscheiden könne. Perplexity sieht sich in der Rolle des Bewahrers eines offenen Webs – eine Argumentation, die von Beobachter:innen kritisch bewertet wird.
Die Haltung des Unternehmens wird von mehreren Fachberichten analysiert und überwiegend abgelehnt. Fachmagazine wie „404 Media“ oder „Ars Technica“ weisen darauf hin, dass das aggressive Datensammeln negative Auswirkungen auf menschlichen Web-Traffic hat. Der wirtschaftliche Schaden für Webseiten wächst, da Nutzer:innen Informationen direkt durch KI erhalten.
Die Diskussion um Ethik und Geschäftsmodelle im KI-Zeitalter bleibt damit weiterhin aktuell. Perplexity sieht die Verantwortung bei Webseitenbetreiber:innen, während diese um ihre Existenzgrundlage fürchten. Solange Bots wie die von Perplexity weiter agieren, geraten zahlreiche wirtschaftliche Modelle im Web unter Druck.
Vergleich mit Apple und anderen KI-Anbietern
Die Veröffentlichung von Apple Intelligence brachte den Umgang mit Webdaten erneut in die öffentliche Debatte. Die firmeneigene Suchmaschine Applebot wurde ebenfalls für Trainingszwecke genutzt. Apple betont jedoch, die Richtlinien von robots.txt einzuhalten und keine Nutzerdaten für KI-Training zu verwenden.
Apple kombiniert lokale Modelle mit privaten Cloud-Lösungen und Servern, die mit erneuerbarer Energie betrieben werden. Apple verzichtet nach eigenen Angaben auf Daten von Nutzer:innen und achtet explizit die Privatsphäre sowie ethische Standards. Das unterscheidet Apple von Anbietern wie Perplexity, die weniger restriktiv agieren.
Die Einhaltung technischer und ethischer Grundsätze spielt eine zentrale Rolle für die Akzeptanz von KI-Anwendungen. Die aktuelle Perplexity-Debatte macht deutlich, dass Reputation und Vertrauen im offenen Web gefährdet werden, wenn Richtlinien systematisch unterwandert werden.
