KI-Detektor Pangram: 99,98% Treffsicherheit, aber was bedeutet das wirklich?

Im Frühjahr kursierte ein Screenshot in den Nachrichten-Feeds. Zero GPT, eines der meistgenutzten KI-Detektionsprogramme, hatte einen Absatz von Mary Shelleys „Frankenstein“ analysiert und sein Urteil gefällt. Das Resultat: „100 % AI generated“. Ein Roman aus dem Jahr 1818, von einer Frau geschrieben, die noch nicht einmal zwanzig Jahre alt war. Jedem war in diesem Moment klar, dass das Programm versagte. Es eignete sich nicht, um KI-generierte Texte zu erkennen. Ein Programm, das zuverlässig menschliche von maschinellen Texten unterscheide, gebe es nicht, hieß es damals. Doch die neue Generation der KI-Detektoren kann Dinge, von denen die Hersteller vor wenigen Monaten nicht zu träumen wagten. Angeführt wird das Feld zurzeit von Pangram. Das Unternehmen dahinter, Pangram Labs, hat mit der Version 3.0 seines Detektors eine Zahl in die Welt gesetzt: 99,98 Prozent Treffsicherheit. Die Zahl beruht auf Tests, bei denen Forscher der University of Chicago und der University of Maryland mehr als sechs Millionen maschinell erzeugte Texte auf ihre Erkennbarkeit hin geprüft haben. [...]