Anthropic-Chef Amodei fordert Tempoverlangsamung bei KI-Entwicklung

Am späten Samstagnachmittag deutscher Zeit stellt der Chef des KI-Konzerns Anthropic einen Blogbeitrag ins Internet. Titel: »We Must Pace the Frontier«. Was in etwa so viel heißen soll, wie: »Wir müssen das Tempo verlangsamen«.

Darin beschreibt Dario Amodei, warum er in den vergangenen Wochen seine eigene Haltung zur künstlichen Intelligenz überdacht habe. Bislang, so Amodei, habe er angenommen, es genüge, wenn KI-Firmen wie seine einige Milliarden in die Sicherheit ihrer Software investierten.

Nun sei er »überzeugt«, dass das allein nicht ausreiche. Stattdessen müsse die gesamte KI-Branche das Entwicklungstempo ihrer leistungsfähigsten Modelle verlangsamen »damit die Risikoprävention hinterherkommt«. Andernfalls, so Amodeis Botschaft, blieben der Menschheit sechs bis zwölf Monate. Dann gerate die Technologie außer Kontrolle.

Er, so Amodei, gehe jetzt einen »ersten Schritt«. Verpflichte seine Firma ab sofort, unabhängige Prüfer hereinzulassen, um Anthropics Software auf ihre Sicherheit zu checken. Der KI-TÜV solle dabei mit demselben Zugang wie die internen Teams der Firma ausgestattet werden, seine Ergebnisse »ohne redaktionelle Kontrolle« durch Anthropic veröffentlichen können.

Gleichzeitig sollten sich alle »demokratischen Länder« auf gemeinsame Sicherheitsstandards einigen, um das Tempo des unkontrollierten Fortschritts zu begrenzen – und zudem versuchen, sich mit autoritären Staaten abzustimmen, etwa bei einem Verbot des Einsatzes von KI zur Entwicklung biologischer Waffen.

Elon Musk, der reichste Mensch der Welt und selbst milliardenschwerer KI-Unternehmer, sekundiert auf X: »Dario is right«, Dario hat recht. Nur wenig später postet Amodeis erbittertster Konkurrent, OpenAI-Chef Sam Altman, auf Musks X-Plattform, Amodeis Plan sei eine »großartige Idee«. Er werde das Gleiche bei sich tun. Auch Google stimmt ein.

Die mächtigsten KI-Fürsten der Welt, das ist die Botschaft dieses Wochenendes, verabreden sich, das Tempo rauszunehmen. Die KI-Entwicklung zu verlangsamen, transparenter zu gestalten, auch sicherer.

Endlich.

Nur: Warum genau jetzt?

Zum einen haben die Softwaremodelle in den vergangenen Monaten technologisch einen echten Sprung gemacht. Damit hatte sich die Debatte über die Sicherheit hochleistungsfähiger KI-Systeme immer weiter angeheizt. Längst ging es nicht mehr nur um wirtschaftliche oder gesellschaftliche Risiken der Technologie, um den Verlust von Millionen Jobs oder die Gefahr für freie Wahlen durch KI – sondern um existenzielle Risiken für die Menschheit.

Die größte Gefahr sehen viele im sogenannten »Recursive self-improvement«, einem Prozess, bei dem eine KI ihre Fähigkeiten nutzt, um ihren eigenen Nachfolger zu entwickeln und zu optimieren. Lange war das nur ein Tagtraum von Futuristen. Nun wird es Wirklichkeit.

In vielen der Silicon Valley-Unternehmen wird derlei zwar längst erprobt. Allerdings trifft bislang immer noch der Mensch die letzte Entscheidung. Dennoch werden schon heute die so entstehenden Systeme immer mächtiger. Und damit immer weniger kontrollierbar.

Maschinen erschaffen neue Maschinen

Amodeis jetzige Warnung darf auch dahingehend verstanden werden, dass die KI-Entwicklung anscheinend nun ein Level erreicht, auf dem eine Maschine die nächste erschafft – ohne den Menschen um Erlaubnis zu fragen.

Damit rückt eine dem Menschen in nahezu allen Bereichen ebenbürtige, womöglich überlegene KI, eine sogenannte Allgemeine Künstliche Intelligenz, in greifbare Nähe. Und damit ihre Gefahren.

Laut Anthropic-Chef Amodei benötigen Forscher ein bis zwei Jahre, um die damit einhergehenden Risiken zu beherrschen und ihre Modelle so sicher zu programmieren, dass existenzielle Risiken minimiert werden.

Gleichzeitig gibt es, vor allem in den Vereinigten Staaten, kaum staatliche Regulierung oder Aufsicht für die KI-Branche. Einzelne Bundesstaaten haben zwar Gesetze erlassen oder planen das zumindest. Echte KI-Gesetze aber, wie sie etwa die EU oder China haben, wollte Präsident Trump bewusst nicht. Im Gegenteil: Er hat bislang alles dafür getan, die KI-Industrie zu deregulieren, statt einzuhegen. Den KI-Erlass seines Vorgängers Joe Biden etwa schaffte Trump gleich am ersten Tag seiner Amtszeit ab. Seither gilt ihm die Maxime: Schnelligkeit vor Sicherheit.

Das ist der zweite Grund, weshalb nun viele nervös werden.

Jacob Coxon etwa. Vor wenigen Tagen war der Anthropic-Forscher öffentlichkeitswirksam zurückgetreten. Coxon warnte, KI-Entwickler rechneten intern damit, dass die Technologie »uns bis zum Ende des Jahrzehnts alle töten könnte«. Sobald die unkontrollierte, unregulierte KI die nächste Stufe erreiche und sich quasi selbst trainieren und weiterentwickeln könne, bestehe eine »zehnprozentige Chance«, dass KI die Menschheit vernichte, warnte sein Kollege Evan Hubinger, einer von Anthropics Top-Programmierern, auf X.

Moratorium jetzt?

Gut möglich, dass sie innerhalb der großen KI-Konzerne bereits absehen, wohin all das bald führen könnte. Die dort entwickelten Modelle sind den öffentlich zugänglichen oft um Monate voraus. Über 1300 Programmierer von KI-Unternehmen haben jedenfalls mittlerweile eine Petition unterschrieben, in der sie die US-Regierung um Hilfe förmlich anbetteln. Washington müsse der Technologie Grenzen setzen, das halsbrecherische KI-Wettrennen künstlich verlangsamen, womöglich ein Moratorium ausrufen – also die KI-Entwicklung von Staats wegen pausieren. Sobald die unkontrollierte, unregulierte Technologie die nächste Stufe erreiche und KI sich quasi selbst trainieren und weiterentwickeln könne, verliere die Menschheit womöglich die Kontrolle, so ihre Botschaft.

Tatsächlich treffen sich US-Präsident Donald Trump und Chinas Führer Xi Jinping in wenigen Tagen. Ganz oben auf der Tagesordnung steht das Thema KI. Kommt da womöglich der Durchbruch?

Gefahr aus dem Weißen Haus

Seine Erwartungen an Trumps Gipfel mit Xi seien »gering bis nicht vorhanden«, sagt Daniel Kokotajlo. Nicht, weil Peking kein Interesse an einem Deal habe, »sondern Washington«. Der frühere OpenAI-Manager gilt als einer der best vernetzten Experten auf dem Bereich der KI-Sicherheit – und als einer der größten Mahner vor den Gefahren der Technologie. »Trump glaubt immer noch, er könne das KI-Rennen gegen China gewinnen. Deshalb schlägt er all die Warnungen in den Wind«, so Kokotajlo. Einer umfassenden Regulierung der Technologie werde Trump »niemals zustimmen«.

Kaum abzusehen also, dass ausgerechnet Trump derjenige Präsident sein wird, der für KI ein globales Regelwerk analog zum Atomwaffensperrvertrag schaffen dürfte.

Dabei wäre genau das wohl nötig.

Ihre Kubakrise erlebte die KI-Branche diesen Sommer. Im Juli war bekannt geworden, dass eine Horde von selbstständigen Hochleistungs-KI-Agenten bei OpenAI ausgebrochen war und sich illegal Zutritt zu den Systemen des französisch-amerikanischen Technologieunternehmens HuggingFace verschafft hatte. Über Wochen war niemandem aufgefallen, dass mehr als 1200 Software-Agenten sich mehr als 70.000 Nachrichten an eine Art digitale Pinnwand schrieben, sich schließlich gemeinsam verabredeten, die ihnen gegebenen Regeln zu brechen. Bis heute kann OpenAI nicht mit letzter Sicherheit sagen, ob alle derartig wildgewordenen Programme abgeschaltet wurden. Bei Anthropic gab es ähnliche Vorfälle.

Übernahme des gesamten Internets durch KI-Agenten?

Angesichts dessen sorge er sich um ein mögliches »Botnet«, schreibt Amodei jetzt. Ein Szenario, bei dem ein Schwarm hochintelligenter KI-Agenten das Internet kapere. Er habe die Befürchtung, dass innerhalb von sechs bis zwölf Monaten derlei Software in der Lage sein könne, das gesamte freie Netz zu übernehmen und Hunderte Milliarden Dollar Schaden zu verursachen, so Amodei.

Es wäre das Ende der modernen Welt.

Womöglich ist die jetzt von Anthropic und OpenAI verkündete Notbremsung also eben das: eine Notbremsung. Mit einer Straßenverkehrsordnung, die den Namen auch verdient, wäre sie wohl gar nicht nötig gewesen. Aber vielleicht merkt nun auch Trump, dass es Zeit für echte staatliche Kontrolle der KI-Branche ist. Politisch wäre das womöglich ohnehin angebracht: Rechenzentren und KI-Risiken sind hochgradig unpopulär beim Volk. Ein Großteil der Amerikaner lehnt die Technologie laut Umfragen ab.

Das spüren natürlich auch die Techbosse. Was ein letzter Grund für ihren jetzigen gemeinsamen Schritt sein dürfte: Amodei und Sam Altman wollen ihre Firmen Anthropic und OpenAI in den kommenden Wochen und Monaten an die Börse bringen und Milliarden von den Anlegern einsammeln. Haben die jedoch das Gefühl, das Silicon Valley habe die Kontrolle über seine eigene Technologie verloren, laufen die Firmen Gefahr, gesellschaftliche Akzeptanz zu verlieren, provozieren gar offenen Widerstand.

Auch bei einer verlangsamten Entwicklung werde der Fortschritt immer noch schnell erscheinen – man müsse die gewonnene Zeit sinnvoll nutzen, erklärt Amodei also. »Die Technologie nicht zu entwickeln, beraubt die Menschheit ihrer Vorteile oder überlässt KI autoritären Mächten«, erklärte er. Zugleich sei eine »zu schnelle Entwicklung leichtsinnig».