Anthropic CEO: Governments Should Be Able to Halt Dangerous AI
Quick Look
- Anthropic CEO Dario Amodei advocates for government oversight to halt dangerous AI development, proposing risk assessments for areas like cybersecurity and bioweapons.
- He suggests a regulatory body similar to aviation authorities or government-contracted private auditors.
- This comes as Anthropic's new AI model, Mythos, can find long-undiscovered software vulnerabilities, raising concerns about its potential misuse in cyberattacks.
AI-generated summary
Why It Matters
Anthropic CEO Dario Amodei has called for governments to have the ability to halt dangerous AI development. He proposed that powerful AI models undergo risk assessments for issues like cybersecurity and bioweapons, suggesting regulatory bodies similar to aviation authorities or government-commissioned private auditors.
Der Chef der KI-Firma Anthropic hat sich dafür ausgesprochen, dass Regierungen gefährliche Künstliche Intelligenz stoppen können sollten. Leistungsstarke KI-Modelle müssten auf Risiken geprüft werden, forderte Dario Amodei in einem Blogbeitrag. Dabei solle es um Bereiche wie Cybersicherheit, Biowaffen und einen möglichen Verlust der Kontrolle über die Systeme gehen. Das umfasse auch eine automatisierte Weiterentwicklung der Software, die diese Risiken verstärken könnte.
Solche Untersuchungen könnten von einer Regierungsorganisation vorgenommen werden, die etwa einer Flugaufsicht ähnlich wäre, schrieb Amodei. Alternativ könnten es von der Regierung beauftragte private Prüfer sein. Anthropic spricht sich schon länger für eine stärkere Regulierung der KI-Industrie aus und wurde dafür bereits aus Teilen der KI-Branche und dem Weißen Haus kritisiert.
Anthropic ist mit seiner KI-Software Claude der schärfste Konkurrent des ChatGPT-Entwicklers OpenAI. Die Firma sorgte jüngst für Aufsehen mit dem KI-Modell Mythos, das zum Teil über Jahrzehnte unentdeckt gebliebene Schwachstellen in viel genutzter Software aufspüren kann. Das verstärkte die Sorge, dass Künstliche Intelligenz für verheerende Cyberangriffe verwendet werden könnte.
What to Watch
AI outlook — possibilities, not facts
Governments will explore or implement new regulatory frameworks for AI development.
Likely · Within months
Open Questions
- What specific criteria would define 'dangerous' AI?
- How would such a regulatory body be structured and funded?
- What are the potential economic impacts of such government oversight on the AI industry?
- How would international cooperation be managed for global AI regulation?
