AI-generated summary
Artikeln beskriver varningar från AI-chefer inför FN:s säkerhetsråd om att AI-teknologin nu kan förbättra sig själv, vilket kan utmana människans kontroll över systemen. Detta sker samtidigt som stora AI-företag förbereder börsnoteringar.
– Det har förekommit situationer där länder som konkurrerar och inte alltid uppskattar varandra ändå har kunnat förenas i gemensamma intressen och för det gemensamt bästa i mötet med en ny kraftfull teknologi. Vi anser att detta är en sådan situation, sade Altman till säkerhetsrådet sent på onsdagskvällen.
Börsnoteringar förbereds
Liknande tongångar hördes från Amodei, som nyligen varnade för att AI-teknologin nu besitter förmågan att förbättra sig själv, vilket kan leda till människans förmåga att förstå och kontrollera systemen blir ifrånsprungen.
Varningen, som fick bifall från Altman och andra, kommer samtidigt som både Anthropic och Open AI förbereder börsnoteringar med värderingar som kan landa på uppemot 1 000 miljarder kronor.
Även Clément Delangue, chef för plattformen Hugging face, talade inför säkerhetsrådet. Hugging face uppmärksammades i somras, då Open AI:s AI-agenter attackerade plattformen.
"Attackerades av AI"
Delangue använde dock delar av sin talartid till att varna för att överreagera på den sortens händelser.
– Vi har en tydlig uppfattning om att narrativ grundade i rädsla inte är vägen framåt vad gäller att ta de rätta besluten om framtiden för en sådan central och möjlighetsskapande teknologi.
– Vi attackerades av AI, men vad viktigare är, att vi försvarade oss med hjälp av AI.
AI outlook — possibilities, not facts
Börsnoteringarna för Open AI och Anthropic kommer att genomföras inom de närmaste 6 månaderna.
Likely · Within months
Diskussioner om reglering av självförbättrande AI kommer att öka i internationella organ som FN.
Possible · Within months

Donald Trump proposes to replace the term artificial intelligence with superintelligence in all US documents, arguing that the technology is amazing and the word artificial sounds fake.

When Chinese President Xi Jinping meets the US leadership during his US trip, AI development is one of the hottest topics. Despite mistrust and a fierce race between the superpowers, there is a common interest in discussing security risks.

Peter, an AI researcher from a European country who works at Google in New York, describes how the tech giants' executives warn that AI could wipe out humanity while they themselves continue to develop the technology. He expresses concern about both existential risks and rapid labor market change, and notes that AI is being used in military contexts by the US, China and in the war in Ukraine.

Following warnings from defected AI researchers such as Jacob Coxon that AI could pose an existential threat, the EU's AI law has received new support. While US President Donald Trump dismisses the risks and relies on his own intelligence, the EU has responded with omnibus packages to ease the regulatory burden and now plans to invite AI labs to discussions on slowing development.

The article criticizes AI companies for exaggerating the risk of superintelligence and human extinction as a way to distract from real dangers such as AI-generated disinformation, cyberattacks and threats to democracy and creativity, while themselves pursuing power and control.

Several prominent AI companies and researchers, including Dario Amodei of Anthropic, Sam Altman of Open AI, and Elon Musk, have recently called for a slow development of artificial intelligence due to concerns about cyberattacks by AI agents and the approach of artificial general intelligence (AGI). At the same time, Swedish experts express skepticism about the risk of self-improving superintelligence and believe that the focus should be on AI's access to reality rather than theoretical dangers.