OpenAI, Google, Microsoft und Anthropic unterstützen ein gemeinsames Signal, mit dem Website-Betreiber:innen das Training von KI-Modellen mit ihren Inhalten untersagen können. Doch die Kennzeichnung in der Datei „robots.txt“ hält sich nicht jeder Bot daran – weitere Maßnahmen haben ebenfalls Grenzen.
KI-Crawler per robots.txt ausschließen
Das Internet ist eine umfangreiche Sammlung menschlichen Wissens. KI-Unternehmen durchsuchen Websites, um Trainingsdaten für ihre Modelle zu sammeln. Wer eigene Inhalte nicht dafür freigeben möchte, kann Crawlern Regeln vorgeben. Eine neue gemeinsame Abmeldekennzeichnung in der Datei „robots.txt“ soll dabei helfen. OpenAI hat andere KI-Anbieter:innen dazu aufgerufen, das Signal ebenfalls zu beachten.
Die Datei liegt im Stammverzeichnis einer Website und enthält Anweisungen für automatisierte Programme. Sie kann etwa Suchmaschinen-Crawlern Orientierung geben und helfen, die Serverlast durch Bot-Anfragen zu begrenzen. Ihre Vorgaben sind jedoch freiwillig: Bots, die sich nicht an die Regeln halten, lassen sich damit nicht zuverlässig stoppen.
Um KI-Crawler auszuschließen, öffnet Ihr die bestehende „robots.txt“ oder erstellt eine neue Textdatei. Ergänzt dort den Kommentar „# AI crawlers“. Mit der Regel „Disallow: /“ sperrt Ihr den Zugriff auf die gesamte Website. Für einen bestimmten Bot fügt Ihr zuvor eine Zeile wie „User-agent: ChatGPT-User“ ein und setzt darunter „Disallow: /“.
Einzelne Seiten könnt Ihr ebenfalls ausnehmen. Die Regel „Disallow: /author/benedict-collins“ würde beispielsweise den Zugriff auf diese Autorenseite verhindern. Anschließend müsst Ihr die geänderte Datei in den Quelldateien Eurer Website aktualisieren.
Kontenpflicht und Begrenzung von IP-Adressen
Eine weitere Möglichkeit besteht darin, Inhalte nur angemeldeten Benutzer:innen zugänglich zu machen. Ein Konto, das per E-Mail-Adresse oder Telefonnummer bestätigt werden muss, kann Bots aussortieren. Zugleich erschwert eine Anmeldepflicht den Zugang für Menschen, die Informationen schnell und ohne Registrierung abrufen möchten.
Wer erst ein Konto anlegen muss, verlässt eine Website möglicherweise direkt wieder und sucht die Antwort anderswo. Wenn Euch die Besucherzahlen wichtig sind, solltet Ihr deshalb abwägen, ob dieser Schutz den zusätzlichen Aufwand für Eure Leser:innen rechtfertigt.
Auch die Begrenzung von Anfragen einzelner IP-Adressen kann helfen. Dienste von Drittanbietern ermöglichen es, eine Höchstzahl von Zugriffen innerhalb eines bestimmten Zeitraums festzulegen. Beispielsweise könnt Ihr Anfragen auf fünf pro IP-Adresse innerhalb von zehn Sekunden beschränken. Solche Angebote können jedoch kostenpflichtig sein.
Die Maßnahme greift nicht immer: Manche KI-Bots und Webcrawler wechseln regelmäßig ihre IP-Adresse, um Sperren zu umgehen. Eine Begrenzung einzelner Adressen verhindert daher nicht jeden automatisierten Zugriff.
CAPTCHAs mit Bedacht einsetzen
CAPTCHAs sollen prüfen, ob eine Person oder ein Bot eine Website aufruft. Dafür müssen Besucher:innen etwa bestimmte Bilder auswählen oder ein Puzzle lösen. Solche Tests können weniger leistungsfähige Bots und wiederholte automatisierte Zugriffe abwehren.
Allerdings empfinden manche Menschen CAPTCHAs als lästig und brechen den Besuch ab. Zudem können einige KI-Modelle solche Prüfungen inzwischen lösen. Komplizierte Aufgaben können außerdem bei Nutzer:innen Misstrauen auslösen, die darin eine Gefahr für ihre Geräte sehen.
Keine der beschriebenen Methoden bietet allein einen vollständigen Schutz. Eine Kombination verschiedener Maßnahmen kann Scraper bremsen, zugleich aber den Zugang für Besucher:innen erschweren. Setzt die Schutzmaßnahmen daher mit Bedacht ein.
