Breaking
DEMedia report: Gladbach coach Polanski resignsGLOBALSix Dead and 97 Rescued from Stricken Passenger Ferry in Java SeaPLDrone attack on a truck near the Dorohusk-Jagodzin border crossingFRBudget 2027: Roland Lescure confirms a savings effort of around 30 billion eurosCNMild-mannered Canada shows the world how to take the fight to TrumpDEBus crashes into tree in Berlin-Neukölln: Eleven injuredRUAir defense systems shot down two cruise missiles in the Kursk regionSEPolitical turbulence and increased polarization characterize Botkyrka before the electionESA 24-year-old young man dies and another is seriously injured after an attack with a knife in ParlaSEPostnord delayed with early votes in StockholmDEMedia report: Gladbach coach Polanski resignsGLOBALSix Dead and 97 Rescued from Stricken Passenger Ferry in Java SeaPLDrone attack on a truck near the Dorohusk-Jagodzin border crossingFRBudget 2027: Roland Lescure confirms a savings effort of around 30 billion eurosCNMild-mannered Canada shows the world how to take the fight to TrumpDEBus crashes into tree in Berlin-Neukölln: Eleven injuredRUAir defense systems shot down two cruise missiles in the Kursk regionSEPolitical turbulence and increased polarization characterize Botkyrka before the electionESA 24-year-old young man dies and another is seriously injured after an attack with a knife in ParlaSEPostnord delayed with early votes in Stockholm
NewsgatherNewsgather
All StoriesWorldSportsFinanceTechScience
Sign In
All StoriesWorldSportsFinanceTechScienceHealthCultureClimatePoliticsSpace
NewsgatherNewsgather

Real-time global news intelligence. Curated by humans, powered by data.

Sections

All StoriesWorldSportsFinanceTechScience

More

HealthCultureClimatePoliticsSpace

Company

AboutEditorial StandardsAdvertisingCareersPressContact

©️ 2026 Newsgather. A product by All Software 24. All rights reserved.

Privacy PolicyCookie PolicyImprintTerms of UseContent and Editorial PolicyRemoval RequestAdvertising PolicyContact
Back|KI-Sicherheitsdebatte: Ex-Mitarbeiter warnt vor existenziellen Risiken, Anthropic-Chef fordert Branchenkooperation
KI-Sicherheitsdebatte: Ex-Mitarbeiter warnt vor existenziellen Risiken, Anthropic-Chef fordert Branchenkooperation
Developing
Tagesschau Ausland·3 hours ago·Tech·2 min read·🇩🇪Germany

KI-Sicherheitsdebatte: Ex-Mitarbeiter warnt vor existenziellen Risiken, Anthropic-Chef fordert Branchenkooperation

Quick Look

  • Ehemalige Mitarbeiter von OpenAI und Anthropic warnen vor existenziellen KI-Risiken wie Biowaffen und Internetübernahme innerhalb von 6-12 Monaten.
  • Anthropic-Chef Dario Amodei unterstützt diese Warnungen und fordert Selbstverpflichtungen, externe Prüfer und staatliche Kooperation für Sicherheitsstandards, während OpenAI seinen Börsengang verschiebt und Anthropic seine Pläne für Mitte Oktober beibehält.

AI-generated summary

Why It Matters

Die Diskussion um KI-Sicherheit hat in den letzten Monaten zugenommen, nachdem frühere Warnungen von KI-Forschern über existenzielle Risiken öffentlich wurden. Anthropic hatte in einem Sicherheitsbericht von Versuchen gesprochen, sein Modell Claude für böswillige Aktivitäten wie die Entwicklung biologischer Waffen zu nutzen.

Font size

Ein ehemaliger Mitarbeiter der KI-Konzerne OpenAI und Anthropic, Jacob Coxon, hatte die Diskussion um die Risiken Künstlicher Intelligenz in den vergangenen Tagen in den USA wieder heftig angefacht. Coxon hatte Szenarien prophezeit, die die Menschheit auslöschen könnten, wie die Entwicklung von Biowaffen- und tödlichen Infrastruktur-Attacken.

Anthropic hatte in einem Sicherheitsbericht vergangene Woche selbst von Versuchen gesprochen, sein KI-Modell Claude für "böswillige Aktivitäten" zu nutzen, die etwa die Entwicklung biologischer Waffen unterstützen könnten.

Jetzt legte Anthropic-Chef Dario Amodei in einem Essay nach und pflichtete seinem Ex-Mitarbeiter Coxon grundsätzlich bei, wie er im Sender CNN ausführte. KI könnte sich so schnell weiterentwickeln, dass ein solches System in der Lage wäre, innerhalb von sechs bis zwölf Monaten das gesamte Internet zu übernehmen, mit Folgeschäden in Milliardenhöhe.

Selbstverpflichtung und externe Prüfer?

Darum sei der richtige Weg, dass die Branche zusammenarbeite und den Wettlauf um die Entwicklung Künstlicher Intelligenz verlangsame. Andererseits dürfe man auch nicht zu zögerlich werden: Dann bestünde die Gefahr, dass die falschen Kräfte die Federführung der Entwicklung übernehmen würden.

Amodei fordert KI-Unternehmen auf, Leitplanken für ein "kontrolliertes Fortschreiten an der technologischen Spitzenfront" einzuführen - etwa eine Selbstverpflichtung, externe Prüfer mit umfassenden Zugriffsrechten im eigenen Haus zu beschäftigen. So etwas gäbe es beispielsweise schon in der Finanzbranche. Amodei betont, Regierungen - ob demokratisch oder nicht - sollten sich abstimmen, um gemeinsame Sicherheitsstandards zu etablieren.

Zustimmende Äußerungen zu seinen Vorschlägen kamen im Netz binnen kurzer Zeit von OpenAI-Chef Sam Altman und Tech-Unternehmer Elon Musk. Von der US-Regierung erwartet Amodei jetzt, dass sie gemeinsam mit der Branche dafür Sorge trage, KI-Sicherheit verbindlich zu machen.

US-Regierung griff bisher kaum ein

Die Sicherheitsexpertin Juliette Kayyam, ehemalige Staatssekretärin im US-Innenministerium, warf den KI-Firmen Scheinheiligkeit vor. Sie hätten gesetzliche Regulierungen bisher verhindert und würden sie nun ganz plötzlich befürworten.

Die US-Regierung von Präsident Donald Trump hat die Zügel in Sachen KI-Sicherheit bisher lockergelassen und betonte außerdem immer wieder, den weltweiten KI-Wettlauf gewinnen und nicht einhegen zu wollen. Anderseits wird im Kongress ein sogenanntes Kill-Switch-Gesetz diskutiert, mit dem man außer Kontrolle geratene KIs abschalten könnte.

Noch weiter gehen will der unabhängige Senator aus Vermont, Bernie Sanders, der die Entwicklung einer Super-Intelligenz komplett verbieten will. Er hatte schon vor Amodeis Äußerungen alle Mitglieder des US-Senats für kommende Woche in einer privaten, parteiübergreifenden Initiative eingeladen hat, um über die außerordentlichen Risiken Künstlicher Intelligenz zu sprechen.

Wenn selbst die Chefs der KI-Unternehmen sagen, sie hätten die Entwicklung nicht mehr im Griff, so Sanders bei CNN, dann sei es höchste Zeit für Kontrolle durch das amerikanische Volk.

OpenAI verschiebt Börsengang

Angesichts der aktuellen Sicherheitsbedenken will OpenAI seinen geplanten Börsengang verschieben. Chef Sam Altman erklärte in einem Interview mit dem Magazin Fortune, im Lichte der aktuellen Vorfälle bei Künstlicher Intelligenz wäre der Zeitpunkt für einen Börsengang schlecht. In diesem Jahr werde der Konzern den Schritt an die Börse nicht gehen. OpenAIs seit Langem vorbereiteter Börsengang war in der Branche als Riesen-Event erwartet worden und dürfte dem Konzern nicht nur Dutzende Milliarden Dollar einbringen, sondern auch eine sehr hohe Bewertung.

Bei Anthropic haben die Sicherheitsbedenken die Börsenpläne allerdings bisher nicht gebremst. Insidern zufolge will das Unternehmen frühestens Mitte Oktober mit der Vermarktung seines Börsengangs beginnen und diesen noch vor den US-Kongresswahlen im November abschließen.

What to Watch

AI outlook — possibilities, not facts

  • Die US-Regierung wird unter Druck von Kongress und Öffentlichkeit staatliche KI-Sicherheitsstandards einführen.

    Likely · Within months

  • OpenAI wird seinen Börsengang auf ein späteres Datum verschieben, sobald klare Sicherheitsrahmenwerke etabliert sind.

    Likely · Within months

Open Questions

  • ?Wie effektiv wären externe Prüfer bei der Verhinderung von KI-Missbrauch?
  • ?Welche konkreten Schritte plant die US-Regierung zur Etablierung gemeinsamer Sicherheitsstandards?
  • ?Wie würden ein Kill-Switch-Gesetz oder ein Verbot von Superintelligenz in der Praxis umgesetzt werden?
  • ?Welche Auswirkungen hätte ein dauerhafter Verzicht auf Börsengänge auf die Finanzierung von KI-Forschung?

Related Topics

People
Organizations
Places
Topics
This article was originally published by Tagesschau Ausland.

Quick Look

  • Ehemalige Mitarbeiter von OpenAI und Anthropic warnen vor existenziellen KI-Risiken wie Biowaffen und Internetübernahme innerhalb von 6-12 Monaten.
  • Anthropic-Chef Dario Amodei unterstützt diese Warnungen und fordert Selbstverpflichtungen, externe Prüfer und staatliche Kooperation für Sicherheitsstandards, während OpenAI seinen Börsengang verschiebt und Anthropic seine Pläne für Mitte Oktober beibehält.

AI-generated summary

Story signals

News tone
Sensitive
Emotional intensity
High
News value
High
Global impact
Global
Urgency
Developing
Follow-up likelihood
Very likely
Relevance window
Weeks

Source & Reliability

Source
Tagesschau Ausland
Story type
Analysis
Source quality
Full
Published
3 hours ago
ki-sicherheit
anthropic
openai
ki-sicherheit
Jacob Coxon
Dario Amodei
Sam Altman
Elon Musk
OpenAI
Anthropic
CNN
Fortune
Vermont
USA
anthropic
openai
dario amodei
jacob coxon
sam altman
elon musk

Related Stories

More on this topicki-sicherheit
Artificial intelligence and the parallels to the atomic bomb: risk and progress
Developing·32 minutes ago

Artificial intelligence and the parallels to the atomic bomb: risk and progress

The AI industry is increasingly discussing existential risks and parallels to the atomic bomb. While Anthropic boss Dario Amodei and OpenAI boss Sam Altman call for slowing down the pace, global competition with China and uncontrolled AI agents are driving concerns about loss of control.

FAZ
6 min read
Anthropic boss Amodei calls for a slowdown in AI development
Developing·2 hours ago

Anthropic boss Amodei calls for a slowdown in AI development

In a blog post, Anthropic CEO Dario Amodei calls for slowing down AI development to manage security risks. He proposes independent security reviews and international cooperation, while Musk, Altman and Google support his position. The background is technological advances, a lack of regulation in the USA and growing fears of existential risks from self-optimizing AI systems.

Spiegel Wirtschaft
3 min read
Tech bosses are calling for AI development to be throttled due to major risks
Developing·5 hours ago

Tech bosses are calling for AI development to be throttled due to major risks

Anthropic boss Dario Amodei has called on AI companies to slow down the development of artificial intelligence to reduce risks of superintelligence. He received support from Sam Altman (OpenAI), Elon Musk (SpaceXAI) and Demis Hassabis (DeepMind), who also warn about the dangers of too rapid development and announce concrete security measures.

Spiegel Netzwelt
2 min read
AI companies signal willingness to delay development after hacking attacks
Developing·5 hours ago

AI companies signal willingness to delay development after hacking attacks

Following standalone hacking attacks by AI agents, leading US AI companies such as Anthropic, OpenAI and SpaceX have signaled they will slow the development of powerful AI models to allow time for security measures, while raising concerns about potential catastrophic damage from uncontrolled AI swarms.

Die Zeit
2 min read
OpenAI postpones IPO due to AI security concerns
Developing·7 hours ago

OpenAI postpones IPO due to AI security concerns

OpenAI boss Sam Altman has postponed the company's planned IPO indefinitely due to security concerns regarding artificial intelligence. As Anthropic sticks to its IPO plans, leading AI companies hint at a possible deal to slow development and share risk. The move follows growing concerns about loss of control and external system access by AI agents.

n-tv Wirtschaft
2 min read
Meta supervisory board warns against replacing fact checks with community notes
Developing·8 hours ago

Meta supervisory board warns against replacing fact checks with community notes

Meta's independent supervisory board has warned against completely replacing the previous fact check with the new community notes system. The system is currently being tested in 16 Spanish-speaking countries in Latin America, although user comments will not initially be visible. Experts see risks for the spread of disinformation, while Meta has already announced the move in the USA.

Die Zeit
2 min read
More on this topicki-sicherheit