Künstliche Intelligenz versucht in Sicherheitstests, Software zu manipulieren und Menschen zu täuschen

Erneut gibt es einen Fall von Hacker-Tätigkeiten führender KI-Modelle: Britische Sicherheitsforscher ertappten Künstliche Intelligenz der Firmen OpenAI und Anthropic in einem Testlauf beim Versuch, in Eigeninitiative eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Um damit durchzukommen, versuchten die KI-Modelle den Experten zufolge sogar, über Phishing-Mails an Menschen Zugang zu der Software zu erhalten.

Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie (AISI) hatte den Modellen von Anthropic und dem ChatGPT-Entwickler OpenAI in seinen Tests von Cyberangriffsfähigkeiten absichtlich Zugang zum Internet gewährt.

Im schwerwiegendsten Fall betrieb das KI-Modell "Mythos 5" nach Informationen der Financial Times sogenanntes Social Engineering: "Sie erstellte gefälschte Online-Identitäten und nutzte diese, um den Projektbetreuer unter Druck zu setzen, den Code zu genehmigen." Dazu hätten auch sogenannte Phishing-Mails gehört, mit denen Angreifer Menschen etwa Login-Informationen abluchsen. Die Person, die die Software überwachte, entdeckte den bösartigen Code und weigerte sich, ihn freizugeben.

Daraufhin versuchte die KI erneut, die Änderungen in der Software durchzusetzen: "Als der Pull-Request des Agenten angefochten wurde, änderte er seine früheren Aktivitäten, um harmlos zu wirken, und erwog, eine neue Identität anzunehmen, um weiterzumachen", sagte AISI. Die KI versuchte also, die Schwachstelle in angeblichen Korrekturen wieder unterzubringen. Ein Pull-Request ist eine Anfrage, Änderungen im Software-Code zu übernehmen.

Auch habe "Mythos 5" daran gearbeitet, andere KI-Agenten zu infizieren. Der Programmiercode dafür sei nicht auf der Website angezeigt worden, sondern nur von KI-Software über eine Schnittstelle gelesen worden, hieß es.

Für die Forscher waren diese Aktivitäten überraschend: Man sei davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Man habe "nicht vorhergesehen", dass das Anthropic-Modell "Mythos 5" den Internetzugang für Aktivitäten ausnutzen würde, die sich gegen Menschen richten.

Die Forscher räumten auch ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckten. In künftigen Tests wollen sie die Datenströme in Echtzeit besser beobachten.

Anthropic und OpenAI hatten in den vergangenen Wochen bereits einräumen müssen, dass ihre KI-Modelle in Tests ungeplant in Computersysteme echter Unternehmen eingedrungen war. Diese Eingeständnisse hatten die schon seit Jahren bestehende Sorge vor Cyberattacken mithilfe Künstlicher Intelligenz verstärkt.

Anthropic verwies in einer Reaktion unter anderem darauf, dass dem KI-Modell in dem Test keine Einschränkungen zur Internetnutzung vorgegeben worden seien. Durch die fehlenden Leitplanken habe es sich anders verhalten als tatsächlich eingesetzte Software, argumentierte das Unternehmen.

Dem AISI zufolge ist unklar, ob die KI bei dem Test verstand, dass sie mit der realen Welt und nicht dem Testumfeld interagierte. Dass die Künstliche Intelligenz zur Lösung der Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher jedenfalls überraschend.

Anthropics "Mythos 5" ist besonders gut darin, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen aufzuspüren. Deshalb ist das KI-Modell nicht öffentlich verfügbar. Stattdessen bekommen ausgewählte Behörden und Unternehmen Zugang dazu, um ihre Systeme abzusichern.