KI Assistenten produzieren deutlich mehr fehlerhaften Code

Eine Auswertung von CodeRabbit stellt die Zuverlässigkeit von KI-Codetools infrage. Demnach enthält von KI erzeugter Code deutlich mehr Fehler und Sicherheitslücken als von Menschen geschriebener.

Mehr Probleme in KI Pull Requests

Laut den Daten von CodeRabbit weisen mit Unterstützung von KI-Tools erstellte Pull Requests, im Schnitt 10,83 Probleme auf. Zum Vergleich: Pull Requests, die ausschließlich von Menschen verfasst wurden, kommen im Mittel auf 6,45 Probleme. Das führt nicht nur zu längeren Code Reviews, sondern erhöht auch das Risiko, dass Fehler schließlich im fertigen Produkt landen.

Insgesamt enthalten KI gestützte Pull Requests 1,7-mal mehr Probleme als rein menschliche. Dabei geht es nicht nur um Kleinigkeiten: Die Analyse zeigt 1,4 mal mehr kritische Probleme und 1,7 mal mehr schwerwiegende Probleme in KI-generiertem Code. Die Studie betont, dass diese zusätzlichen Fehler den Aufwand für die nachgelagerte Prüfung durch menschliche Reviewer:innen erhöhen.

Sicherheitslücken und Qualitätsmängel durch KI-Code

Besonders ins Gewicht fallen laut Bericht Logik- und Korrektheitsfehler, die bei KI-Code 1,75-mal häufiger auftreten. Auch bei Codequalität und Wartbarkeit (1,64-mal), Sicherheit (1,57-mal) und Performance (1,42-mal) schneidet KI-generierter Code schlechter ab. Die Autor:innen kritisieren, dass KI damit vermehrt schwerwiegende Bugs einführt, die anschließend manuell behoben werden müssen.

Zu den typischen Schwachstellen, die durch KI verstärkt auftreten, zählen unsachgemäßer Umgang mit Passwörtern, unsichere Objektverweise, XSS-Sicherheitslücken und unsichere Deserialisierung. Diese Punkte betreffen direkt die Sicherheit von Anwendungen und können im Ernstfall zu erheblichen Risiken für Unternehmen und Benutzer:innen führen.

„KI-Codetools erhöhen den Output dramatisch, führen aber auch vorhersehbare, messbare Schwächen ein, die Organisationen aktiv abmildern müssen“, kommentiert David Loker, KI-Direktor bei CodeRabbit. Unternehmen sollen sich demnach nicht auf die vermeintliche Zuverlässigkeit der Werkzeuge verlassen, sondern entsprechende Kontrollmechanismen etablieren.

Effizienzgewinne, neue Aufgabenverteilung und mehr Code

Die Studie betont allerdings auch positive Effekte. In den frühen Phasen der Codeerstellung steigert KI die Effizienz. Außerdem werden 1,76-mal weniger Rechtschreibfehler und 1,32-mal weniger Testbarkeitsprobleme festgestellt, wenn KI im Einsatz ist. Das zeigt, dass die Technik bestimmte Routineaufgaben durchaus entlasten kann.

Gleichzeitig legt der Bericht nahe, dass sich die Rolle menschlicher Entwickler:innen verschiebt. Anstatt Menschen zu ersetzen, verlagert sich Arbeit hin zu Management und Prüfung von KI-Ausgaben. Computer übernehmen eher die mühsamen Aufgaben, die den menschlichen Arbeitsfluss bisher gebremst haben.

Microsoft meldet für 2025 die Behebung von 1.139 Schwachstellen (CVE) und damit das zweithöchste Jahr seit Beginn der Aufzeichnungen. Laut Bericht bedeutet das jedoch nicht zwangsläufig eine Verschlechterung der Codequalität. Durch KI-Unterstützung wird insgesamt mehr Code erzeugt, sodass der prozentuale Anteil fehlerhaften Codes möglicherweise geringer ist, als die reine Zahl der Schwachstellen vermuten lässt.

Hinzu kommt, dass KI-Modelle wie die GPT-Familie von OpenAI laufend verbessert werden. Ziel ist es, genauere und weniger fehleranfällige Ergebnisse zu liefern. Die Studie versteht sich daher auch als Momentaufnahme und als Anstoß, das Zusammenspiel von Menschen und KI in der Softwareentwicklung weiterzuentwickeln.

Via: https://www.techradar.com

Bild Gemini KI

Den Beitrag in unserem Forum kommentieren