Anthropic-CEO Dario Amodei fordert mehr Risikomanagement in der KI-Branche
Quick Look
Der Geschäftsführer von Anthropic, Dario Amodei, fordert in einem Essay mehr Risikomanagement bei der KI-Entwicklung, schlägt drei Schritte zur Verlangsamung vor und verweist auf einen Bedrohungsbericht über Missbrauch der Claude-Modelle sowie den Rücktritt eines Forschers, der vor einem existentiellen KI-Risiko warnte.
AI-generated summary
Why It Matters
Anthropic ist ein KI-Unternehmen, das die Claude-Modelle entwickelt. Dario Amodei ist dessen Geschäftsführer. Das Unternehmen hat kürzlich einen Bedrohungsbericht über den Missbrauch seiner KI-Modelle für illegale Aktivitäten veröffentlicht, darunter Überwachung, Betrug, Cyberoperationen und Biowaffenentwicklung. Gleichzeitig trat Forscher Jacob Coxon zurück und warnte vor einem existentiellen Risiko durch KI.
Der Geschäftsführer des KI-Konzerns Anthropic, Dario Amodei, hat seine Branche zu mehr Risikomanagement aufgefordert – auch wenn neue Modelle dann nicht ganz so schnell veröffentlicht würden. In einem auf seiner Homepage veröffentlichten Essay schlägt er drei Schritte vor, wie KI-Konzerne die Entwicklung verlangsamen und neue Modelle besser prüfen können. »Der Fortschritt wird immer noch schnell erscheinen«, schreibt Amodei. »Wir müssen die gewonnene Zeit sinnvoll nutzen.«
Seine Firma Anthropic hatte am Donnerstag einen Bedrohungsbericht veröffentlicht, in dem detailliert beschrieben wird, wie verschiedene Akteure die Claude-KI-Modelle des Unternehmens für illegale Aktivitäten genutzt haben – von Überwachung und Betrug bis hin zu Cyberoperationen und der Entwicklung von Biowaffen. Zugleich trat der Anthropic-Forscher Jacob Coxon zurück und teilte mit, dass die »KI-Entwickler ernsthaft glauben, dass die KI uns alle bis zum Ende des Jahrzehnts töten könnte«.
Anthropic will externe Gutachter einsetzen
Amodei ruft nach eigenen Angaben nicht dazu auf, das Modelltraining oder den technischen Fortschritt zu stoppen. Unternehmen müssten sich jedoch ausreichend Zeit nehmen, um ihre Modelle gegen Risiken abzusichern. Sein eigenes Unternehmen werde externe Prüfer anstellen und ihnen Zugang zu internen Risikobewertungsprozessen geben, schreibt Amodei. KI-Unternehmen sollten freiwillig zusammenarbeiten, um Standards festzulegen, da immer mehr US-Gesetzgeber neue Vorschriften zur Regulierung von KI-Systemen fordern.
What to Watch
AI outlook — possibilities, not facts
Anthropic wird externe Prüfer für seine Risikobewertungsprozesse einsetzen.
Very likely · Within weeks
US-Gesetzgeber werden in den kommenden Monaten neue KI-Regulierungsvorschläge vorlegen.
Likely · Within months
Open Questions
- Welche konkreten Schritte plant Anthropic zur Risikominimierung?
- Wie werden externe Prüfer in die Risikobewertung eingebunden?
- Welche konkreten Standards sollen KI-Unternehmen freiwillig einführen?
- Wie reagieren andere KI-Unternehmen auf Amodeis Forderung?
