AI-Classifier: Tool von ChatGPT wird eingestellt

Eigentlich ist es wenig überraschend – OpenAI hat den sogenannten AI-Classifier eingestellt. Der Service war nicht zuverlässig.

OpenAI hat sein ChatGPT-Erkennungstool, den AI-Classifier, von seiner Website entfernt. Der Grund für diesen Schritt: Eine enttäuschende Genauigkeit. Dieses Tool sollte in der Lage sein, ChatGPT-Texte ab 1.000 Zeichen zu erkennen. Doch nach eigenen Tests scheint es, als seien die meisten derartigen Tools sehr ungenau.

Die Alternativen: ZeroGPT, GPTZero, OriginalityAI und Contentforscale

Im Test schnitt ZeroGPT am besten ab, obwohl auch dieses Tool Fehler machte. GPTZero, das sich selbst als Goldstandard ausgibt, entlarvte sogar einen vollständig von GPT-4 generierten Text als menschlich. OriginalityAI war teils ein Glücksspiel, wohingegen Contentforscale alle Texte als von Menschen verfasst auswies.

AI-Classifier : Einfluss von GPT-Versionen

Ein interessantes Muster fiel auf: Texte, die von GPT auf Basis von Stichpunkten erstellt wurden, wurden häufiger erkannt als solche, die lediglich von GPT-3.5 oder GPT-4 angepasst wurden. Ob der Text aus GPT-3.5 oder GPT-4 stammte, schien das Ergebnis nicht zu beeinflussen.

OpenAI’s Antwort: Ein Update zur Verbesserung

OpenAI stellte sein eigenes Tool erst mit einem Update der ursprünglichen Ankündigung ein. Sie versprechen, das Feedback zu berücksichtigen und effektivere Methoden zur Herkunftsbestimmung von Text zu erforschen. Auch die Entwicklung von Mechanismen zur Erkennung von KI-generierten Audio- oder visuellen Inhalten ist geplant.

OpenAI hat sich der Aufgabe verschrieben, Benutzer:innen bei der Herkunftsanalyse von Texten zu unterstützen. Doch diese Aufgabe erweist sich als schwieriger als anfangs angenommen. Nur etwa jeder vierte KI-Text wurde eindeutig erkannt.

Via Hersteller