Die doppelte Blockade: Warum die Politik bei existentieller KI-Gefahr versagt

Es gibt wenige Sätze, die einen Raum so zuverlässig zum Verstummen bringen wie dieser: „Das Risiko, dass KI die Menschheit auslöscht, liegt bei über zehn Prozent innerhalb des nächsten Jahrzehnts.“

Der Satz stammt nicht von einem Aktivisten oder einem Science-Fiction-Autor, sondern von Evan Hubinger, dem Leiter der Alignment-Forschung bei Anthropic. Das ist jenes Unternehmen, das sich selbst as das sicherheitsbewussteste Labor der KI-Branche versteht. Anfang September 2026 verließ Hubinger die Firma und machte seine Einschätzung öffentlich. Samuel Marks, Anthropics Leiter für skalierbare Aufsicht, bestätigte: „Je höher die Position eines Mitarbeiters, desto größer die Sorge.“ Jacob Coxon, der bei Open AI und Anthropic gearbeitet hatte, wurde noch deutlicher: Beide Unternehmen „rasen geradewegs auf selbstverbessernde Superintelligenz zu und spielen mit unseren Leben.“

Das waren keine isolierten Stimmen. Wenige Tage später veröffentlichte Anthropic-Chef Dario Amodei einen Essay mit dem Titel „We Must Pace the Frontier“. Darin bezeichnete er zwei Entwicklungen als unmittelbar bevorstehend: rekursive Selbstverbesserung, das bedeutet, dass KI-Systeme ihre eigenen, höher entwickelten Nachfolger entwerfen. Und autonome Cyberangriffe ohne menschliches Zutun. Sam Altman, Chef von Open AI, schloss sich an und versprach unabhängige Prüfer mit „mitarbeiterähnlichem Zugang“ zu seinen Laboren. Elon Musk schrieb auf X: „Dario hat recht.“ Die „Financial Times“, ein Blatt, das selten zu Alarmismus neigt, forderte in einem Leitartikel eine Pause in der Entwicklung von Frontier-Modellen und strafrechtliche Haftung für die Chefs der KI-Konzerne. Mehr als 1300 Mitarbeiter aus KI-Unternehmen unterzeichneten einen offenen Brief.

Gleichzeitig zeigen Umfragen der University of Maryland, dass in den USA 82 Prozent der Demokraten und 78 Prozent der Republikaner staatliche Sicherheitstests für KI befürworten. 85 beziehungsweise 79 Prozent wollen eine neue Bundesbehörde für KI-Regulierung. Das ist also nicht ein Thema, bei dem die Öffentlichkeit gespalten wäre.

Und doch gibt es weder ein Gesetz noch einen verbindlichen internationalen Vertrag oder eine Behörde mit Durchgriffsrecht. Die einzige Maßnahme der US-Regierung – Präsident Trumps Executive Order vom Juni 2026 – sieht eine freiwillige, 30-tägige Vorabprüfung neuer Modelle vor und enthält eine ausdrückliche Klausel, die jede verpflichtende Lizenzierung verbietet. Präsident Bidens umfassendere Executive Order von 2023 hatte Trump an seinem ersten Tag im Amt widerrufen.

Wie ist das möglich? Wie kann eine Bedrohung, die von den klügsten Köpfen der Branche als existenziell eingestuft und von der Bevölkerung als dringlich empfunden wird, eine derart schwache Antwort hervorrufen?

Die Erklärung liegt nicht in einem einzelnen Versagen, sondern im Zusammenspiel zweier Strukturprobleme: eines spieltheoretischen und eines machtpolitischen. Beide verstärken einander – und gemeinsam machen sie jede schnelle, wirksame Regulierung nahezu unmöglich.

I. Das Gefangenendilemma: Warum Vernunft nicht reicht

Um zu verstehen, warum selbst eindeutige Warnungen keine Wirkung zeigen, hilft ein Konzept aus der Spieltheorie: das Gefangenendilemma. In seiner Grundform beschreibt es zwei Verdächtige, die getrennt voneinander verhört werden. Jeder kann schweigen oder den anderen belasten. Schweigen beide, kommen sie mit einer milden Strafe davon. Belastet einer den anderen, während jener schweigt, geht der Verräter frei – der Schweigende erhält die Höchststrafe. Da keiner weiß, was der andere tut, ist es für jeden rational, den anderen zu belasten. Das Ergebnis: Beide belasten sich gegenseitig und erhalten eine hohe Strafe – obwohl beidseitiges Schweigen für beide besser gewesen wäre. Individuelle Rationalität führt zum kollektiv schlechtesten Ergebnis.

Der Oxforder Informatiker Michael Wooldridge hat dem KI-Rennen im Mai 2026 genau diesen spieltheoretischen Namen gegeben – allerdings mit mehr als zwei Spielern. Jedes Unternehmen – und jeder Staat – wäre besser dran, wenn alle die Entwicklung verlangsamen würden. Aber kein einzelner Akteur kann es sich leisten, einseitig langsamer zu werden, weil er davon ausgehen muss, dass die anderen weitermachen. „Wir haben eine kleine Zahl sehr, sehr reicher Unternehmen, die KI vorantreiben und gleichzeitig sagen, sie hätten Angst, dass etwas furchtbar schiefgehen könnte“, sagte Wooldridge. „Warum treiben sie es dann voran? Weil sie glauben: Wenn wir aufhören, macht es jemand anderes.“

Im klassischen Gefangenendilemma ist beiderseitiges Weiterentwickeln – beiderseitige „Defektion“ – das Nash-Gleichgewicht: die dominante Strategie für jeden Spieler, unabhängig davon, was die anderen tun, obwohl gemeinsame Zurückhaltung ein besseres Ergebnis für alle brächte. Das formalisiert eine auffällige empirische Beobachtung: Prominente Moratoriumsforderungen – von den Turing-Preisträgern Bengio und Hinton, von der wachsenden Pause-AI-Bewegung, von der Effective-Altruism-Gemeinschaft und nun von Anthropic selbst – hatten bisher keinen beobachtbaren Einfluss auf die Entwicklungsgeschwindigkeit. Sicherheitsforschung macht weniger als drei Prozent aller KI-Publikationen aus. Und selbst Amodei, der öffentlich die Ausgaben seiner Konkurrenten kritisierte, sagte Amazon vier Monate später 100 Milliarden Dollar an Investitionen zu.

Die Parallele zur Rüstungskontrolle liegt auf der Hand – und sie ist entmutigend. Während des Kalten Krieges gelang es den Supermächten, die Zahl der Atomsprengköpfe durch Verträge wie SALT und START zu begrenzen. Das funktionierte, weil Atomwaffen eine physische Eigenschaft haben, die Verifikation ermöglicht: Man kann Raketensilos zählen, Testexplosionen mit Seismographen nachweisen, Abschussrampen mit Satelliten überwachen. Künstliche Intelligenz hat diese Eigenschaft nicht.

„Trainingsläufe sind weit leichter zu verbergen als Raketensilos“, schrieb Jack Clark, Mitgründer von Anthropic, als sein Unternehmen im Juni 2026 als erstes großes KI-Labor eine weltweite Entwicklungspause forderte – unter der Bedingung, dass sie gleichzeitig und überprüfbar von allen führenden Laboren eingehalten werde. Die Bedingung selbst illustriert die Falle: Selbst das Unternehmen mit den stärksten Sicherheitsreferenzen erkennt an, dass einseitige Zurückhaltung innerhalb der bestehenden Wettbewerbsstruktur irrational ist.

Amodei schlug in seinem September-Essay einen Ausweg vor, der auf dem Beispiel der SALT-Verhandlungen aufbaut: ein vierstufiges Koordinationssystem von unilateralen Verpflichtungen einzelner Labore über bilaterale Vereinbarungen zwischen den USA und China bis hin zu einem globalen Rahmenwerk. Sein Kerninstrument ist ein „Checkpoint-System“: Ab einer bestimmten Fähigkeitsstufe müsste ein KI-Modell entsprechende Sicherheitszertifikate vorweisen, ähnlich wie neue Medikamente vor dem Verkauf eine Zulassung benötigen.

Martin Wolf, Wirtschaftskommentator der „Financial Times“, pflichtete bei – und gab zugleich zu bedenken, dass der Versuch „mit aller Wahrscheinlichkeit scheitern wird“. Niall Ferguson, Historiker an der Hoover Institution, hatte zuvor argumentiert, dass ein bilateraler KI-Abrüstungsvertrag zwischen den USA und China die notwendige Voraussetzung sei, um das Wettrennen zwischen Unternehmen einzudämmen. Doch auch Ferguson sieht die Verifikation als das entscheidende Hindernis.

Die Ironie ist brutal: Anthropic forderte die Pause – und hatte gleichzeitig Ingenieure in der NSA stationiert, die mit dem Hochleistungsmodell Mythos offensive Cyberoperationen durchführten. Die Begründung: „Wenn Mythos nicht zum Aufbau von Angriffsagenten genutzt wird, finden Gegner einen Weg, es selbst zu tun.“ Der Satz ist die perfekte Kurzfassung des Gefangenendilemmas: Dasselbe Unternehmen plädiert für gemeinsame Zurückhaltung und desertiert gleichzeitig auf der offensiven Dimension.

II. Der Kampf der Fraktionen: Warum Trump nicht handelt

Selbst wenn die spieltheoretischen Hindernisse überwindbar wären, stünde dem eine zweite Blockade im Weg: die innere Zerrissenheit der Trump-Regierung. Hinter der Fassade einer einheitlichen Deregulierungsagenda ringen mindestens fünf unterscheidbare Fraktionen um Einfluss – mit wechselnden Allianzen und sich widersprechenden Zielen.

Die Wachstumsfraktion ist die mächtigste. Ihr Architekt war David Sacks, der als „KI- und Krypto-Zar“ den AI Action Plan der Regierung entwarf, bevor er im März 2026 formal abtrat und PCAST-Ko-Vorsitzender wurde. Hinter Sacks stehen Risikokapitalgeber wie Marc Andreessen und die Lobby der KI-Industrie, die inzwischen 25 Prozent aller 13.000 Bundeslobbyisten in Washington beschäftigt – ein Viertel des gesamten Lobbyapparats des Landes. Sacks’ Grundsatz ist radikal deregulatorisch: Im September 2026 rief er Unternehmen von Trumps Golfplatz in Doonbeg aus zu, sie sollten „aufhören, so zu tun, als bräuchten sie die Erlaubnis von irgendjemandem“. Sicherheitswarnungen der Branche deutete er als „Erpressung der Öffentlichkeit und des politischen Systems“ – der Versuch, sich ein Regulierungssystem zu erkaufen, das Konkurrenten fernhält. Diese Fraktion blockierte im Mai 2026 die Unterzeichnung der ursprünglichen Executive Order, erzwang die Verwässerung auf eine freiwillige Dreißig-Tage-Frist und setzte die Antilizenzierungsklausel durch.

Die Sicherheitspragmatiker um Finanzminister Scott Bessent, Stabschefin Susie Wiles und Kriegsminister Pete Hegseth handeln nicht aus technologiepolitischer Überzeugung, sondern aus politischem Risikomanagement: Wenn ein spektakulärer KI-gestützter Cyberangriff unter einer Politik des Laissez-faire stattfände, „wird es so aussehen, als hätte die Regierung ihn ermöglicht“. Diese Fraktion wurde durch den Mythos-Schock im Juni 2026 aktiviert – als Anrufe von Microsoft-CEO und JPMorgan-Chef Jamie Dimon das Weiße Haus erreichten. Wiles war die entscheidende institutionelle Akteurin, die die Executive Order nach der ersten Absage am Leben hielt.

Die Regulierungsfraktion – vertreten durch Kevin Hassett, den Direktor des National Economic Council – ging am weitesten: Hassett schlug eine verpflichtende Vorabgenehmigung nach dem Vorbild der Arzneimittelbehörde FDA vor. Kein hochrangiger US-Beamter war je so nah an den Forderungen akademischer Sicherheitsforscher wie Yoshua Bengio. Doch Hassett verlor als Erster: Sein Vorschlag wurde durch die Neunzig-Tage-Frist ersetzt, kam dann völlig vom Tisch und wurde schließlich durch eine Dreißig-Tage-Version mit Antilizenzierungsklausel ersetzt – eine massive Verwässerung.

Die Koalition für verpflichtende Kontrolle hat sich seit dem Sommer 2026 dramatisch erweitert. Ihr Kern war die „Humans First“-Koalition: Steve Bannon, MAGA-Führungsfiguren, konservative Organisationen und 38 evangelikale Pastoren, verbunden mit dem Future of Life Institute als Brücke zwischen der Effective-Altruism-Bewegung und der populistischen Rechten. Ihr offener Brief forderte „verpflichtende Tests, Evaluierung, Überprüfung und staatliche Zulassung“ – schärfer noch als der ursprüngliche Neunzig-Tage-Entwurf.

Im September 2026 wuchs diese Koalition zur „Pro-Human Assembly“, organisiert vom Future of Life Institute in Washington: Bernie Sanders und Steve Bannon sprachen auf derselben Veranstaltung (wenn auch nicht auf derselben Bühne), zusammen mit dem Republikaner Chip Roy, dem Demokraten Greg Casar, Hollywoodschauspielern, Gewerkschaftsführern und Geistlichen. Sanders brachte einen Gesetzentwurf ein, der die Entwicklung „Künstlicher Superintelligenz“ verbieten soll. Dass der demokratische Sozialist und der rechte Populist in einer Koalition stehen, ist eine bemerkenswerte parteiübergreifende Allianz, nahezu beispiellos in der jüngeren amerikanischen Politik. Sie sind geeint durch die Opposition gegen konzentrierte technologische Macht, bei grundverschiedenen ideologischen Fundamenten.

Die staatsfunktionalistische Fraktion um Alex Karp und Palantir sieht KI als Nachfolgerin der nuklearen Abschreckung – als strategisches Instrument, das in staatlicher Hand bleiben und unter militärischer Kontrolle stehen muss. Karp unterzeichnete gleichzeitig den offenen Brief gegen Beschränkungen von Open-Source-Modellen, was die widersprüchlichen Loyalitäten innerhalb der Administration verdeutlicht.

Die vielleicht überraschendste neue Stimme kommt von Vizepräsident J. D. Vance. Er nannte die Regulierungsforderungen der Industrie „eine Art Trojanisches Pferd“. Die Unternehmen benutzten die Sicherheitsrhetorik, um ihre Marktstellung zu zementieren. Das ist keine klassische Antiregulierungsposition, sondern ein populistisches Misstrauen gegenüber den Regulierern selbst, das den politischen Raum weiter fragmentiert.

Die Fragmentierung erklärt, warum aus dem Weißen Haus keine kohärente Antwort kommt. Trump selbst reagiert situativ: In Doonbeg wischte er Sicherheitsbedenken vom Tisch – „Dinge, die nicht passieren werden“ – und betonte den Wettbewerb mit China: „Wer KI gewinnt, gewinnt alles.“ Aber drei Monate zuvor hatte er fast eine Executive Order mit Vorab-Kontrolle unterschrieben, bevor Sacks ihn in letzter Minute davon abbbrachte. Und drei Tage nach der Unterzeichnung der verwässerten Fassung verkündete er, die Regierung werde Eigenkapitalanteile an KI-Unternehmen erwerben – ein Vorschlag, den Sacks als „Sozialkreditsystem nach Art der KPCh“ verurteilte, aber nicht verhindern konnte. Ein „Economist“-Bericht nannte das Ergebnis „undurchsichtig und unhaltbar“: Das Amt des Nationalen Cyberdirektors verliere leitende Mitarbeiter, das Handelsministerium habe begrenzte eigene technische Expertise, und die staatliche KI-Kompetenz sei in den letzten 18 Monaten weiter geschrumpft.

III. Die doppelte Blockade

Beide Strukturprobleme verstärken einander. Das Gefangenendilemma auf internationaler Ebene gibt der Wachstumsfraktion ihr stärkstes Argument: Jede Verlangsamung in den USA sei ein Geschenk an China. „Wer KI gewinnt, gewinnt“, sagte Trump – und Mike Johnson warnte, ein Moratorium würde China „uns überholen“ lassen. Das Gefangenendilemma ist also nicht nur ein abstraktes spieltheoretisches Konstrukt, sondern eine politische Waffe in den Händen derer, die jede Regulierung ablehnen. Umgekehrt verhindert die innenpolitische Fragmentierung genau jene institutionelle Kapazität, die notwendig wäre, um das Gefangenendilemma auf internationaler Ebene zu durchbrechen: verbindliche Abkommen, überprüfbare Standards und handlungsfähige Behörden.

Auffällig ist, wer in dieser Debatte fehlt: Europa als eigenständiger Akteur. Das liegt daran, dass der Kontinent bei der Entwicklung von Frontier-Modellen keine Rolle spielt. Zudem lahmt er auch im Hinblick auf die Sicherheitsstrukturen: Es gibt kein europäisches Äquivalent zum britischen AI Safety Institute und keine Bewertungskapazität für Frontier-Modelle. Der EU AI Act, oft als Meilenstein gefeiert, reguliert den Einsatz von KI-Systemen – nicht deren Entwicklung. Ob ein neues Modell trainiert werden darf, entscheiden Labore in den USA und perspektivisch China.