Breaking
KRAntropic reveals AI abuse cases... Blocking attempts at biological weapons researchKRCizizic expands broadcasting of LCK Finals and Overwatch World Cup and fan participation eventsRUExplosions were heard in Volgograd, air defense systems are workingKRJeonnam Gwangju Special City Agricultural Museum holds a national youth rice cooking contestKRBTS to Stream Buenos Aires and Sao Paulo Concerts Live in Cinemas WorldwideRUGovernor Busargin reported damage to civilian infrastructure in Saratov after a UAV attackKRQuarantine authorities issue epidemic warning due to rapid increase in influenza casesCNE-commerce platform was fined for selling e-cigarettes. The court held that management responsibility was due to the advertising effect.CNJudgment on Changhua mother and son’s electricity bill fraud case, mother in October 1 year, son in May 1 yearAUTriple-murderer Darryl Valroy Young appeals conviction and sentenceKRAntropic reveals AI abuse cases... Blocking attempts at biological weapons researchKRCizizic expands broadcasting of LCK Finals and Overwatch World Cup and fan participation eventsRUExplosions were heard in Volgograd, air defense systems are workingKRJeonnam Gwangju Special City Agricultural Museum holds a national youth rice cooking contestKRBTS to Stream Buenos Aires and Sao Paulo Concerts Live in Cinemas WorldwideRUGovernor Busargin reported damage to civilian infrastructure in Saratov after a UAV attackKRQuarantine authorities issue epidemic warning due to rapid increase in influenza casesCNE-commerce platform was fined for selling e-cigarettes. The court held that management responsibility was due to the advertising effect.CNJudgment on Changhua mother and son’s electricity bill fraud case, mother in October 1 year, son in May 1 yearAUTriple-murderer Darryl Valroy Young appeals conviction and sentence
BackDie Debatte um die existenzielle Gefahr durch Künstliche Intelligenz
Die Debatte um die existenzielle Gefahr durch Künstliche Intelligenz
Developing
FAZ10 hours agoTech3 min readGermanyView translation

Die Debatte um die existenzielle Gefahr durch Künstliche Intelligenz

Ehemalige Mitarbeiter von Anthropic und OpenAI warnen vor Superintelligenz, während Experten über die Realität der Untergangsszenarien streiten.

Quick Look

  • Der ehemalige Anthropic-Mitarbeiter Jacob Coxon warnt vor einer unkontrollierbaren Superintelligenz.
  • Während KI-Unternehmen intern hohe Risiken für die Menschheit diskutieren, bleibt unter Experten umstritten, ob diese Untergangsszenarien realistisch sind.

AI-generated summary

Why It Matters

KI-Unternehmen wie Anthropic und OpenAI stehen unter Druck, ihre Systeme schnell zu entwickeln, während intern über existenzielle Risiken diskutiert wird.

Font size

Eine Lehre, die wir aus Katastrophenfilmen ziehen sollten, lautet: Wenn die Wissenschaftler aus dem Labor stürmen, um vor einer verheerenden Entwicklung zu warnen, sollten wir das nicht schulterzuckend ignorieren. So auch bei den Warnungen vor existenziellen Gefahren der Künstlichen Intelligenz, die sich in letzter Zeit häufen. Jüngstes Beispiel: Jacob Coxon, seit Mittwoch ehemaliger Mitarbeiter der KI-Schmiede Anthropic. Seine Kündigung dort hat er in einem viel beachteten Post auf der Plattform X kommentiert.

„Sie rasen geradewegs auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unserem Leben“, schreibt er über seinen ehemaligen Arbeitgeber und dessen Konkurrenten Open AI, wo er zuvor beschäftigt war. „Die Menschen, die KI entwickeln, sind fest davon überzeugt, dass sie uns alle bis zum Ende dieses Jahrzehnts auslöschen könnte.“ Das seien Ängste, die die Führungsriege der Unternehmen hinter verschlossenen Türen äußere, während sie nach außen hin versuchten, vernünftig zu klingen.

Die Chefs beider Unternehmen warnten bereits 2023 vor einer Auslöschung der Menschheit durch KI. Als Reaktion auf Coxons Beitrag schrieb der bei Anthropic für „Alignment“ – also die Ausrichtung des Verhaltens von KI auf menschliche Ziele und Werte – zuständige Wissenschaftler Evan Hubinger: „Jacob hat recht – wir glauben ernsthaft, dass KI alle Menschen töten könnte!“ Die Wahrscheinlichkeit dafür betrage zehn Prozent.

Wenn das also die vernünftig klingende Außendarstellung ist, fragt man sich schon, was wohl hinter verschlossenen Türen besprochen wird. Und wie besorgt man sein sollte. Die Antwort ist schwer zu finden. Unter KI-Entwicklern und -Experten herrscht keine Einigkeit. Wer Auslöschungsszenarien verbreitet, wird mitunter als „doomer“ beschimpft – ein fehlgeleiteter Prophet des Untergangs. Die Gegenseite wird dann als „AI denier“ abgestempelt: „KI-Leugner“, die die Fähigkeiten und Gefahren der Technologie ignorieren oder herunterspielen.

Es geht aber beides. Man kann Gefahren der Technologie anerkennen und die Auslöschungsszenarien ablehnen. Letztere lauten in etwa so: Getrieben von ökonomischem und geopolitischem Druck oder geleitet von der Hybris, sie allein könnten KI kontrollieren, beschleunigen KI-Unternehmen die Entwicklung. Durch dieses Rennen entsteht eine Superintelligenz, die sich gegen die Menschen richtet. Wir werden dann nicht mehr in der Lage sein, sie zu kontrollieren oder zu bekämpfen.

Jedem dieser Schritte ist zu widersprechen. Von hinten angefangen: Aus übermenschlicher Intelligenz folgt nicht automatisch Unbesiegbarkeit. KI braucht Strom, Rechenzentren, Netzwerke. Diese Ressourcen müsste sie kontrollieren, zudem weitere Mittel für einen hypothetischen Angriff. Intelligenz verhilft ihr zu einer besseren Planung, aber schon Mike Tyson wusste: „Jeder hat einen Plan, bis er einen Schlag ins Gesicht bekommt.“ Gegenwehr ist möglich, Superintelligenz ist nicht Allmacht.

Eine Konzentration von Macht ist aber durchaus zu beobachten: bei den KI-Firmen. Sie sind Billionen Dollar schwer und üben enormen politischen Einfluss aus. Das alles basiert auf der ökonomischen Wette, ihre Produkte könnten bald jegliche menschliche Arbeit übernehmen. Sicher ist das nicht, schon gar nicht mit der heutigen Technologie. Doch mit der Erzählung befeuern die Firmen selbst das Rennen hin zu immer leistungsfähigerer KI und erschaffen damit den Ausgangspunkt des Untergangsszenarios.

Dass dabei etwas herauskommt, das man als „Superintelligenz“ bezeichnen könnte, ist denkbar. Aber warum sollte es sich gegen Menschen richten? Einen Präzedenzfall gibt es nicht. Selbst der aufsehenerregende Angriff von Open-AI-Agenten auf die Plattform Huggingface, den Coxon als „Warnschuss“ bezeichnet, zeigt, dass die KI nur Programme täuschen wollte, die sie automatisch bewerten, nicht den Menschen. Tatsächlich passierte alles unter den Augen der Entwickler, die es nicht bemerkten.

Ohnehin entspann sich der Angriff daraus, dass die KI eine unmöglich zu bewältigende Programmieraufgabe bekommen hatte. Dennoch versuchte sie alles, um die Aufgabe zu lösen. Sie war nicht zu intelligent, sondern zu blöd, um die Situation richtig einzuschätzen. Das ist die Gefahr. Beim nächsten Mal könnte der Angriff nämlich einer Bank oder einem Krankenhaus gelten. KI besitzt Fähigkeiten, um Schaden anzurichten, aber nicht genug Intelligenz, um sinnvoll zu handeln. Dieses Kernproblem des Alignment besteht schon lange und wird mit wachsenden Fähigkeiten der KI größer. Eine Lösung scheint nicht in Sicht. Die Warnung sollte also nicht lauten, dass KI zu schnell entwickelt wird, sondern dass die Entwicklung in die falsche Richtung läuft.

Open Questions

  • Wie lässt sich das Alignment-Problem technisch lösen?
  • Welche konkreten Sicherheitsmaßnahmen implementieren die Firmen?

Related Topics

This article was originally published by FAZ.

Related Stories

Anthropic blocked attempts at bioweapons research using AI models
Developing·

Anthropic blocked attempts at bioweapons research using AI models

Anthropic has blocked several attempts by researchers to use its Claude AI models for the possible development of bioweapons, including gain-of-function research on viruses and planning studies on transmissible bird flu. The researchers sought organizational support such as writing proposals or reports, not direct academic help. The company emphasizes the difficulty of distinguishing between medical and military use, particularly in dual-use research.

Die Zeit
1 min read
More on this topickünstliche intelligenz