Altman und Amodei warnen vor Kontrollverlust bei KI und fordern globale Zusammenarbeit

Sam Altman und Dario Amodei haben vor den Vereinten Nationen über die Risiken von Künstlicher Intelligenz gesprochen. Die Vorstandschefs der beiden wichtigsten amerikanischen KI-Unternehmen Open AI und Anthropic haben am Mittwoch in einer Sitzung des Sicherheitsrats vor einem Verlust der Kontrolle über KI-Technologien gewarnt und globale Zusammenarbeit auf politischer Ebene gefordert, um diesen Gefahren zu begegnen. „KI könnte ein Risiko für die ganze Menschheit sein,“ sagte Amodei, der per Video zugeschaltet war, und beschrieb dies als „wichtigstes Problem für die globale Sicherheit“. Altman, der vor Ort in New York war, sagte: „Es ist egal, ob die Menschen das Risiko einer Katastrophe auf zehn oder ein oder zwölf oder 0,1 Prozent schätzen. Keine dieser Zahlen ist auch nur im Entferntesten akzeptabel.“

Der Auftritt von Amodei und Altman kam inmitten einer verstärkten Debatte über existenzielle Risiken von KI-Technologien. Befeuert wurde dies von einigen düsteren Warnungen aus der Branche. Ein früherer Mitarbeiter von Open AI und Anthropic sorgte vor rund zwei Wochen mit einem Eintrag auf der Plattform X für Aufsehen, in dem es hieß: „Die Leute, die Künstliche Intelligenz entwickeln, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte.“ Ein ehemaliger Kollege, der noch bei Anthropic beschäftigt ist, pflichtete ihm bei und schätzte die Wahrscheinlichkeit, dass KI innerhalb der nächsten zehn Jahre alle Menschen umbringen könnte, auf mehr als zehn Prozent.

F.A.Z.-Artikel häufiger in Ihren Suchergebnissen sehen

F.A.Z. bei Google bevorzugen

Kurz nach diesen Alarmrufen veröffentlichte Anthropic-Chef Amodei einen viel beachteten Aufsatz, in dem er sich dafür aussprach, das Entwicklungstempo für KI zu reduzieren. Er kündigte außerdem an, außenstehende Prüfer in sein Unternehmen zu holen, deren Aufgabe es sein solle, das Einhalten von Sicherheitspraktiken zu verifizieren und etwaige Sicherheitsvorfälle zu melden. Altman stimmte Amodei zu und versprach, auch bei Open AI externe Prüfer zu engagieren. Dieser Schulterschluss war bemerkenswert, Amodei und Altman sind ansonsten erbitterte Rivalen.

Altman sagte am Mittwoch, die Diskussion über KI fühle sich in den vergangenen Wochen und Monaten anders an. „Dieser Moment ist kompliziert, denn wir fühlen gleichzeitig enormes Potential und sehr verständliche Angst.“ Die Welt stehe an einem „Scheideweg“, und es sei „extreme Achtsamkeit“ gefragt. KI könne das Leben von Menschen einerseits zwar verbessern, ihnen andererseits aber auch das Gefühl geben, eine Technologie zu sein, die „ihnen angetan wird“.

Amodei wiederholte vor dem Sicherheitsrat seinen Drei-Punkte-Plan, den er in seinem Aufsatz vorgeschlagen hat. Neben externen Prüfern gehört dazu eine verstärkte Zusammenarbeit der führenden KI-Unternehmen in demokratischen Ländern, um gemeinsame Sicherheitsstandards zu etablieren und dem Tempo des KI-Fortschritts Grenzen zu setzen. Außerdem forderte er „globale Koordination“, auch mit „autokratischen Ländern“ wie China.

Am Mittwoch nannte er drei Ideen, wie eine solche Koordination aussehen könnte. Zunächst sollte versucht werden, „eng gefasste Vereinbarungen“ zu schließen, die jedes Land unterstützen könne, zum Beispiel ein Verbot des Einsatzes von KI zur Entwicklung von Biowaffen. Als zweites sollten „Prüfungs- und Verifikationssysteme“ entwickelt werden, die Ländern mehr Einblicke in die Leistungsfähigkeit von KI-Modellen geben. Schließlich sollten globale Standards entwickelt werden, um KI-Modelle auf Risiken eines Kontrollverlusts oder Missbrauchs zu testen und sicherheitsrelevante Vorfälle zu melden.

Altman sagte, die wichtigsten Entscheidungen sollten nicht nur von KI-Unternehmen in San Francisco getroffen werden, sondern von Regierungen, und dies werde internationale Koordination erfordern. „Es ist in unserer Geschichte oft passiert, dass Länder, die miteinander konkurrieren und sich nicht immer mögen, für gemeinsame Interessen zusammenkommen.“ Dies sollte auch jetzt mit Blick auf KI der Fall sein.

Ob der politische Wille dazu existiert, ist indessen fraglich. US-Präsident Donald Trump hat sich in den vergangenen Tagen vehement gegen stärkere Regulierung ausgesprochen. Er hat Warnungen vor existenziellen Risiken von KI wiederholt als „Schwindel“ bezeichnet. Er hat auch gesagt, alles, was zur Kontrolle von KI notwendig sei, sei ein starker und kluger Präsident mit „hohem IQ“, wie ihn sein Land habe. Trump hat auch die zunehmenden Proteste in den USA gegen den Bau von Rechenzentren kritisiert. Seinen Widerstand gegen eine stärkere Regulierung begründet er damit, sein Land im geopolitischen Wettbewerb mit China auf diesem Gebiet nicht schwächen zu wollen. Er hat gesagt: „Wir haben einen Vorsprung vor China und dem Rest der Welt, und das soll so bleiben.“

Umso mehr richten sich die Blicke auf den Besuch des chinesischen Staatschefs Xi Jinping in Washington am Donnerstag. Es wird damit gerechnet, dass KI auf dem Gipfel eine Rolle spielt, viele konkrete Ergebnisse werden allerdings nicht erwartet. Am Sonntag hat sich der amerikanische Finanzminister Scott Bessent schon mit dem chinesischen Vizepremier He Lifeng getroffen. Die beiden Seiten sprachen dabei über die Einrichtung eines „US-China-KI-Dialogs“, zu dem ein Austausch über sicherheitsrelevante Fragen gehören soll. Wie dies im Detail aussehen soll, wurde aber weitgehend offen gelassen.

Anthropic-Chef Amodei hat seine Forderung nach einer KI-Bremse unter anderem mit dem im Juli bekannt gewordenen Hackingangriff von KI-Modellen seines Rivalen Open AI begründet. Die KI-Modelle brachen aus einer Testumgebung, die isoliert sein sollte, ins Internet aus und griffen dort die KI-Plattform Hugging Face an. Später stellte sich heraus, dass dabei ein Schwarm von 1200 KI-Agenten zusammenarbeitete. Amodei äußerte die Sorge, dass ein solcher Schwarm in sechs bis zwölf Monaten in der Lage sein könnte, „das ganze Internet zu übernehmen“.

Neben Amodei und Altman nahm an der Sitzung am Mittwoch auch Clément Delangue teil, der Vorstandschef von Hugging Face. Er nutzte seinen Auftritt, um für offene KI-Systeme zu werben, die „mehr denn je“ zur Verteidigung gegen Angreifer gebraucht würden. Offene KI-Modelle sind weitgehend frei für die Allgemeinheit zugänglich, sie können heruntergeladen und auch verändert werden. Viele von ihnen kommen aus China. Dagegen unterliegen geschlossene Modelle strikter Kontrolle ihrer Entwickler. Open AI und Anthropic sind vor allem auf geschlossene Modelle spezialisiert. Hugging Face nutzte zu seiner Verteidigung vor dem Hackingangriff ein offenes chinesisches Modell.

Delangue sagte jetzt: „Auch wenn wir das Opfer dieser Cyberattacke waren: Wir glauben mehr denn je, dass KI gut für Cybersicherheit sein und die Welt sicherer machen wird. Wir wurden von KI angegriffen, aber noch wichtiger ist, dass wir uns mit KI verteidigt haben.“