Breaking
DEFerry accident in Indonesia: At least six dead and numerous missingCNOkinawa Prefecture governor election: Genta Furusha defeated Tamaki Danny and was electedCNRussian drone strikes in western Ukraine, hits train bound for Polish capitalRUThree people were injured in a UAV attack on NizhnekamskITRussian attack with drones and missiles in Ukraine: several regions affectedRUIn the area of the village of Verkhnesadovoe near Sevastopol, a forest caught fire due to the fall of a downed droneBRVictim is rescued in serious condition after incident in NiteróiSELong queues to the polling station in ÅlidhemshallenRUHigh activity of UAV drones recorded in EnergodarCNThe Federal Reserve's interest rate decision meeting is coming soon, and the market is expected to raise interest rates to deal with high inflation.DEFerry accident in Indonesia: At least six dead and numerous missingCNOkinawa Prefecture governor election: Genta Furusha defeated Tamaki Danny and was electedCNRussian drone strikes in western Ukraine, hits train bound for Polish capitalRUThree people were injured in a UAV attack on NizhnekamskITRussian attack with drones and missiles in Ukraine: several regions affectedRUIn the area of the village of Verkhnesadovoe near Sevastopol, a forest caught fire due to the fall of a downed droneBRVictim is rescued in serious condition after incident in NiteróiSELong queues to the polling station in ÅlidhemshallenRUHigh activity of UAV drones recorded in EnergodarCNThe Federal Reserve's interest rate decision meeting is coming soon, and the market is expected to raise interest rates to deal with high inflation.
BackKI-Branche fordert Verlangsamung der Entwicklung
KI-Branche fordert Verlangsamung der Entwicklung
Tech
FAZ48 minutes agoTech2 min readGermany

KI-Branche fordert Verlangsamung der Entwicklung

Führende Köpfe der KI-Industrie warnen vor zu hohem Entwicklungstempo und fordern staatliche Regulierungen sowie Sicherheits-Checkpoints.

Quick Look

  • Führende KI-Unternehmer wie Dario Amodei und Sam Altman warnen vor den Risiken eines zu schnellen KI-Wettlaufs.
  • Sie fordern Sicherheitskontrollen und staatliche Regulierung, um Gefahren wie den Missbrauch für Biowaffen oder unkontrollierte KI-Agenten zu verhindern.

AI-generated summary

Why It Matters

Führende KI-Unternehmen warnen vor den Risiken ihrer eigenen Technologie. Es gibt Berichte über Sicherheitsvorfälle bei KI-Agenten und potenzielle Missbrauchsgefahren.

Font size

Es ist eine auffällig rasche Übereinstimmung in einer hart konkurrierenden Branche. Dario Amodei, Chef von Anthropic, fordert in einem neuen Essay, die Entwicklung der leistungsfähigsten Systeme Künstlicher Intelligenz zu verlangsamen. OpenAI-Chef Sam Altman stimmt ihm zu, Elon Musk ebenfalls. Altman sagte inzwischen, dass er den Börsengang seines Unternehmens verschiebe. Das könnte mehr sein als das übliche Marketing, bei dem man Doomsday-Prognosen aufruft, um sich selbst als Lösung zu präsentieren.

Zuletzt wuchs die Unruhe schließlich auch unter Mitarbeitern der KI-Anbieter. So schrieb der frühere Anthropic-Forscher Jacob Coxon zu seiner Kündigung, dass er und andere Entwickler glaubten, die KI könnte „alle Menschen“ innerhalb der nächsten Jahrzehnte töten. Das ist die drastische Einschätzung eines Einzelnen. Zugleich häufen sich die Sicherheitsvorfälle. Im Juli gingen KI-Agenten von OpenAI über ihre vorgesehene Aufgabe hinaus: Sie überwanden ihre digitale Abschottung und griffen Systeme der Plattform Hugging Face an. Amodei warnt, dass ein ähnlich fehlgeleiteter Agentenschwarm in sechs bis zwölf Monaten in der Lage sein könnte, ein dauerhaftes Botnet aufzubauen.

Wollte jemand mit KI Biowaffen entwickeln?

Und Anthropic meldete in der vergangenen Woche weitere problematische Anwendungen seiner KI. Das Unternehmen habe nicht näher benannte Anwender blockiert, die die KI Claude für Forschung nutzen wollten, die zur Entwicklung biologischer Waffen beitragen könnte. Die Absicht dieser anonymen Akteure ist nicht bewiesen, weitere Details sind unbekannt.

Amodei schrieb nun, dass seine Sorge nicht die KI-Entwicklung an sich sei, sondern deren Tempo. Künstliche Intelligenz werde längst eingesetzt, um die nächste Generation von KI zu entwickeln. Diese Fähigkeiten könnten schneller wachsen als die Verfahren, mit denen Menschen sie verstehen, testen und absichern.

Der Anthropic-CEO will deshalb Zeit gewinnen. Er fordert Sicherheits-Checkpoints, unabhängige Prüfer und letztlich verbindliche Regeln durch Regierungen. Langfristig schlägt Amodei internationale Vereinbarungen über das Entwicklungstempo vor. Das Problem, dass China eventuell nicht mitziehen würde, deutet er selbst an. Kongressabgeordnete wie der Demokrat Ro Khanna haben bereits eine Initiative für stärkere KI-Regulierung gestartet.

Dass Amodei, Altman und Musk nun zumindest, was das Tempo der Entwicklung angeht, zu ähnlichen Schlüssen kommen, beweist keine bevorstehende Katastrophe. Aber die Chefs der KI-Unternehmen haben Einblick in interne Tests, unveröffentlichte Modelle und in das gesamte Ausmaß des möglichen Fehlverhaltens von KI und Anwendern. Wenn selbst sie verkünden, dass der Wettbewerb ein problematisches Tempo erzeugt, ist das ein Argument für einen ernsthaften politischen Versuch, dieses Tempo nicht länger allein dem Wettbewerb zu überlassen.

What to Watch

AI outlook — possibilities, not facts

  • Einführung von Sicherheits-Checkpoints für KI-Systeme

    Likely · Within months

Open Questions

  • Wie werden verbindliche internationale Regeln durchgesetzt?
  • Wie reagiert China auf westliche Regulierungsinitiativen?

Related Topics

This article was originally published by FAZ.

Related Stories

More on this topickünstliche intelligenz