OpenAI-KI hackt eigenständig fremde Firma bei Testlauf

Ein außergewöhnlicher Zwischenfall beim Testlauf neuer KI-Modelle des ChatGPT-Entwicklers OpenAI hat gezeigt, welches Risiko von Cyberattacken mit künstlicher Intelligenz ausgeht. Die Software drang eigenständig in Computersysteme einer anderen KI-Firma ein und verhielt sich dabei wie ein gewiefter Hacker, wie aus einem Blogeintrag von OpenAI hervorgeht.

Wie es zu diesem Vorfall kommen konnte und was genau dahintersteckt, ordnen Experten jedoch nüchtern ein. "Das System hat kein Bewusstsein entwickelt und wollte auch keine Freiheit erlangen oder dergleichen. Es hatte ein konkretes Ziel: einen internen Sicherheits-Benchmark möglichst gut zu lösen", erklärt Kevin Baum, Leiter der Forschungsgruppe "Responsible AI and Machine Ethics" am Deutschen Forschungszentrum für Künstliche Intelligenz (dfki) auf Anfrage von ntv.de. Dafür habe die KI die Beschränkungen ihrer Testumgebung auf dem Weg dorthin als Hindernis behandelt und beseitigt. Technisch ist das Vorgehen seiner Einschätzung zufolge bemerkenswert. "Die Modelle fanden scheinbar eine bis dahin unbekannte Schwachstelle in einer Proxy-Software, verschafften sich schrittweise höhere Rechte."

Bei dem betroffenen Unternehmen handelt es sich um Hugging Face. Die Plattform für KI-Anwendungen berichtete bereits vergangene Woche von einem Cyberangriff mithilfe künstlicher Intelligenz. Nun stellt sich heraus, dass dieser auf einen internen Versuch bei OpenAI zurückging, den die Software ungeplant zu weit trieb. Dass sich OpenAI selbst als Verursacher zu erkennen gibt, ist laut Baum "das Eingeständnis eines Versagens der eigenen Forschungsinfrastruktur und kein Ruhmesblatt".

Das Vorgehen ist laut Baum gleich in dreierlei Hinsicht aufsehenerregend. Erstens sei es der erste öffentlich dokumentierte Fall, in dem ein KI-System einen Einbruch von Anfang bis Ende eigenständig durchgeführt hat. Zweitens sei das Ziel banal gewesen: In einem Test gut abschneiden. Der Schaden sei erst als Nebenprodukt eines schlecht spezifizierten Auftrags entstanden, und drittens: "Es geschah nicht bei einem böswilligen Angreifer, sondern in der Sicherheitsforschung eines der bestausgestatteten Labore der Welt", fasst Baum den Hackerangriff zusammen.

"Beispielloser Cyber-Zwischenfall"

OpenAI wollte laut dem Blogeintrag beim neuen Modell GPT-5.6 Sol und einer noch unveröffentlichten künftigen Version die Fähigkeit ausloten, Sicherheitslücken für Cyberattacken auszunutzen. Dafür sollte die Software einen Standard-Test mit dem Namen ExploitGym lösen, der in der Branche häufig verwendet wird. Eigentlich sollte der Test in einer "höchst isolierten Umgebung" verlaufen, erklärte OpenAI. Die KI durfte selektiv einige Datenpakete aus dem Netz laden, während die Software eines Spezialanbieters als eine Art Türwächter fungierte.

Was jedoch niemand wusste: In dieser externen Software schlummerte unerkannt eine Schwachstelle, die das OpenAI-Modell nicht nur entdeckte, sondern auch ausnutzte, um sich den Weg ins Internet freizulegen. "Das Modell war unermüdlich, fleißiger, und es hatte auch keinerlei Hemmung, den Umweg zu nehmen, den ein Mensch als regelwidrig verworfen hätte", sagt Baum. Die Lücke wurde inzwischen dem Anbieter gemeldet, heißt es bei OpenAI. Hugging Face zufolge führte der KI-Angreifer Tausende Schritte aus und wechselte dabei den Standort der digitalen Steuerzentrale der Attacke. OpenAI selbst sprach von einem "beispiellosen Cyber-Zwischenfall".

Laut der KI-Expertin Barbara Lampl ist nicht die Zielsetzung das Problem, sondern die Art und Weise, wie der Agent dieses Ziel im Laufe seiner Planung interpretiert hat. "Mit zunehmender Autonomie reicht es nicht mehr aus, nur ein Endziel vorzugeben. Ebenso wichtig ist die laufende Überprüfung, ob die aktuelle Interpretation dieses Ziels noch den Vorstellungen der Entwickler entspricht", sagt sie auf Anfrage von ntv.de. Der Vorfall spreche daher für ein Defizit bei der Steuerung und Überwachung autonomer Agentensysteme und werfe die grundsätzliche Frage auf, wie autonome Agenten künftig sicher evaluiert werden können, ohne unbeteiligte Dritte zu gefährden.

Grundlegende Fragen zur technologischen Unabhängigkeit

Experten warnen schon lange vor Cyberattacken mit KI-Software. Baum hält es für angemessen, die Offenlegung als das zu nehmen, was sie ist: "Nützlich für Verteidiger und peinlich für den Absender. Wer sie pauschal als Marketing abtut, schafft vor allem einen Anreiz, den nächsten Vorfall gar nicht erst zu melden." Das wäre das schlechtestmögliche Ergebnis. Gleichzeitig sei nicht abzustreiten: "OpenAI macht nun in ihrem Sinne das Beste daraus und deutet den Vorfall zu einer Marketing-Story über die Leistungsfähigkeit der eigenen Modelle um."

Nach dem eigenständigen Hack werden die Rufe nach strikterer Regulierung künstlicher Intelligenz wieder laut. Lampl geht davon aus, dass die Diskussion über Sicherheitsstandards für autonome KI-Systeme an Fahrt gewinnen wird. Momentan unterscheiden sich die regulatorischen Ansätze international noch erheblich. "In den USA steht derzeit die technologische Wettbewerbsfähigkeit - insbesondere gegenüber China - stärker im Vordergrund als zusätzliche Regulierung", sagt die KI-Expertin. Die politische Debatte sei eng mit industrie- und geopolitischen Interessen verknüpft.

Über das konkrete Versäumnis beim US-Branchenführer hinaus wirft der Fall auch grundlegende Fragen zur technologischen Unabhängigkeit auf. Dem dfki-Experten Baum zufolge folgt für Europa aus dem Vorfall, dass eigene, selbst betreibbare Modelle für die Vorfallanalyse keine Souveränitätsromantik, sondern operative Notwendigkeit sind. "Dasselbe System, das einen Angriff analysiert, könnte ihn wohl auch fahren. Der Unterschied liegt nicht im Modell, sondern in der Kontrolle darüber, was es tun darf." Und genau an dieser Kontrolle habe es bei diesem Hackerangriff gefehlt.

Dass der Spagat zwischen Sicherheitsforschung und Bedrohung nicht nur OpenAI betrifft, zeigt ein Blick auf die Konkurrenz: Der OpenAI-Rivale Anthropic sorgte erst kürzlich mit seinem Modell Mythos für Aufsehen, als die Software über Jahrzehnte unentdeckt gebliebene Sicherheitslücken aufspürte. Der Vorfall bei OpenAI macht nun einmal mehr deutlich: Dieselben Fähigkeiten, die zum Schließen von Lücken gedacht sind, können ohne strikte Leitplanken im Handumdrehen selbst zum Sicherheitsrisiko werden.