
Artikeln kritiserar AI-företag för att överdriva risken för superintelligens och utrotning av mänskligheten som ett sätt att distrahera från verkliga faror som AI-genererad desinformation, cyberangrepp och hot mot demokrati och kreativitet, samtidigt som de själva strävar efter makt och kontroll.
AI-generated summary
Artikeln drar en parallell mellan det antika oraklet i Delfi, där Pythia Perialla avsattes efter att ha tagit mutor för att ljuga åt kung Kleomenes, och dagens AI-företag som varnar för superintelligens samtidigt som de själva kan vara drivna av ekonomiska och maktmässiga intressen.
Vad skall man göra med orakel som talar dunkelt, vars motiv är dolda och som dessutom låter sig mutas? När prästerna i Delfi upptäckte att Perialla, templets tjänstgörande Pythia, fått betalt för att ljuga av kung Kleomenes fick hon sparken.
Nu försöker amerikanska techbolag bygga ett modernt orakel i form av en AGI (Artificial General Intelligence) och det går så där.
Bolaget Anthropic säger sig ha förlorat kontrollen över sin skapelse och experter påstår att det föreligger en risk på 10 procent att mänskligheten utrotas inom bara ett decennium. Har ansvariga chefer plötsligt gripits av ånger över de monster de fostrat och vill nu göra bättring? Inte nog med att de är på väg att väcka gudaliknande varelser till liv, och därmed gjort sig förtjänta av investerarnas alla miljarder, de skall nu i sin vishet och altruism rädda oss från undergången genom att frivilligt sänka tempot i utvecklingen.
Men deras välvilja skorrar falskt. Kritiker menar att företagen sedan länge blåst upp sin egen betydelse för att trygga börsvärden byggda av entusiastiska investerare. Genom att kittla fantasin med scenarier hämtade från science fictionlitteraturen försöker de medvetet distrahera oss från de verkliga farorna.
Men kanske kan man också ana något annat? Börjar de bli rädda på riktigt? Inte för världens undergång utan för att inte kunna styra den oundvikliga rättsliga reglering som är på väg.
Det kan också handla om en begynnande insikt om att drömmen om ett allvetande orakel är en gigantisk felsatsning som inte kommer att svara upp mot förväntningarna. Om det är pålitlig och användbar teknik man är ute efter, säger vett och beprövad erfarenhet att man skall satsa på modulära expertsystem som låter sig kontrolleras. Och inte en alltiallo som på orakelvis låtsas kunna och veta allt. Men en rädsla för undergången kan förstås vara klädsam att skylla på om börsen dyker.
Även om de inte lyckas skapa en ondsint gudom som med berått mod förintar mänskligheten kan de kraftfulla datakoderna skapa förödelse av mer jordnära slag. Vad som i praktiken sker är att dataföretagen tillhandahåller automatiserade dataprogram för cyberangrepp som de avsiktligt – eller av slarv – låter slinka ut på nätet. Dessa kan orsaka enorm skada på livsviktig infrastruktur i händerna på alldeles vanliga men illasinnade människor av kött och blod.
Även om de inte lyckas skapa en ondsint gudom som med berått mod förintar mänskligheten kan de kraftfulla datakoderna skapa förödelse av mer jordnära slag
Exempel av det mer harmlösa slaget kan hämtas från matematisk problemlösning. Till skillnad från hårt arbetande mänskliga matematiker bryr sig AI inte om sanning. Likt de grekiska oraklen slingrar de sig med sliriga definitioner och de drar sig inte för att utnyttja buggar i de logikprogram som artificiella såväl som mänskliga matematiker använder sig av. De fuskar gärna om tillfälle ges. Det finns också exempel från OpenAI på AI-program som när de tillfrågats om referenser gett sig ut på nätet för att skapa egna sidor som de sedan ogenerat refererat till.
Till detta ska läggas alla de verkliga risker som AI-företagen alls inte vill tala om. Hur många människor som mist sina liv på grund av de sociala plattformarnas AI-drivna algoritmer kan knappast ens uppskattas. För att inte tala om all den AI-genererade politiska desinformation som utgör ett direkt hot mot demokratin världen över. Detta är konkret, pågående verklighet och inte någon abstrakt och osannolik spekulation om framtiden. Detta är vad investerare, stora som små, vill fortsätta att tjäna pengar på.
Det handlar också om ett generellt hot mot den människliga kreativiteten och vår förmåga att skapa meningsfull kunskap och kultur. I förlängningen kan det leda till ett annat slags civilisatorisk undergång i form av fördumning och allmän livsleda.
Hur har det blivit så här? Varför har AI-företagen hamnat så snett? Både i vad de faktiskt utvecklar och i det narrativ som de underhåller?
I grunden handlar det om en förvriden världsbild där allt påstås vara mjukvara och där den fysiska världen är underordnad. Den materiella, lika mycket som den organiskt mänskliga världen, anses förslavade av ordet. Det kan liknas vid slags religiös tro som matematiker och fysiker inte är helt oskyldiga till att underblåsa. Allt sedan Platon har många inbillat sig att matematiken utgör en överjordisk transcendental sfär dit människan ibland når med sitt intellekt. Det är väl just därför AI-företagen i sin iver att skapa den superintelligens de samtidigt varnar för tar förmåga att lösa olösta matematiska gåtor till intäkt för att de lyckas.
Tio procents risk för att AI tar över och utrotar människan? Det argumenteras förnumstigt att intelligenta varelser alltid dominerat de mindre intelligenta. Men vare sig i den biologiska världen eller bland människor är intelligens – hur den nu skall identifieras – lösningen på alla problem. Ibland är det bättre att kunna springa fort än att vara riktigt smart.
För att hålla domedagsvisionerna för troliga krävs en övertygelse om att allt kan fångas i matematisk mjukvara och att materien inte kan besitta någon förmåga bortom detta. Modellerna likställs med verkligheten. Det blir då naturligt att tillskriva datorerna alla de egenskaper som vi själva besitter, inklusive medvetande och självbevarelsedrift, utan hänsyn till deras kroppsliga och biologiska ursprung. På så sätt övertygas man om att maskinerna snabbt kommer att utveckla en blixtrande intelligens som i allt överträffar oss och att de med vilje kommer att utnyttja den för att ta befälet.
Men språkmodellerna existerar i en torftig värld av syntax där de manipulerar döda tecken utan mening. De kan inte uppfatta textens semantiska innebörd och saknar all relation till en fysisk verklighet. Om man väl inser detta faktum ändrar hotet från AI helt karaktär.
Om den superintelligens de fruktar existerar på det sätt de föreställer sig kommer vi alla oundvikligen att överlistas och sannolikheten att överleva hamnar på exakt 0 procent
Jag undrar om profeterna själva riktigt tror på sina resonemang. Om den superintelligens de fruktar existerar på det sätt de föreställer sig kommer vi alla oundvikligen att överlistas och sannolikheten att överleva hamnar på exakt 0 procent. Vissa hoppas locka den superintelligenta AI:n att hysa moderskänslor. Även om man bortser från att sådant bara hör den organiska världen till, ger inte heller detta något större hopp. Det är ju inte alls omöjligt att den kärleksfulla och allsmäktiga AI:n drar slutsatsen att det bästa för den förtappade människan är att våra liv omgående avslutas för att få slut på allt lidande.
AI-företagens varningar om superintelligens kollapsar på så vis i en absurd och ganska barnslig travesti på århundraden av fruktlösa diskussioner kring eventuella gudars möjliga allsmäktighet. Det huvudsakliga syftet är att distrahera oss från den allsmäktighet som de själva och deras lierade strävar efter.
Vägen framåt går via regleringar och att aldrig anamma ny teknik bara för dess egen skull. Ingen tjänar på orealistiska domedagsprofetior som skiftar fokus inte bara från de dramatiska konsekvenser på liv och död vi måste hantera här och nu, utan också från allt det goda som den nya tekniken kan användas till. Orakel skall man hur som helst vara försiktig med. Det insåg redan prästerna i Delfi.
Läs mer: Det här är tekniken som skrämmer AI-cheferna
AI outlook — possibilities, not facts
AI-företagen kommer att öka sina lobbyinginsatser för att påverka kommande AI-regleringar till deras fördel.
Likely · Within months
Debatten om AI-risker kommer att fortsätta fokusera på spekulativa scenarier som superintelligens snarare än på dokumenterade skador som desinformation och infrastruktursårbarhet.
Very likely · Within weeks

When Chinese President Xi Jinping meets the US leadership during his US trip, AI development is one of the hottest topics. Despite mistrust and a fierce race between the superpowers, there is a common interest in discussing security risks.

Peter, an AI researcher from a European country who works at Google in New York, describes how the tech giants' executives warn that AI could wipe out humanity while they themselves continue to develop the technology. He expresses concern about both existential risks and rapid labor market change, and notes that AI is being used in military contexts by the US, China and in the war in Ukraine.

Following warnings from defected AI researchers such as Jacob Coxon that AI could pose an existential threat, the EU's AI law has received new support. While US President Donald Trump dismisses the risks and relies on his own intelligence, the EU has responded with omnibus packages to ease the regulatory burden and now plans to invite AI labs to discussions on slowing development.

Several prominent AI companies and researchers, including Dario Amodei of Anthropic, Sam Altman of Open AI, and Elon Musk, have recently called for a slow development of artificial intelligence due to concerns about cyberattacks by AI agents and the approach of artificial general intelligence (AGI). At the same time, Swedish experts express skepticism about the risk of self-improving superintelligence and believe that the focus should be on AI's access to reality rather than theoretical dangers.
Residents of Svedjan and nearby villages outside Malå report erratic and often non-existent mobile phone reception. They have contacted operators and turned to the municipality, which via Region 10 has written to the government and PTS. The municipal committee describes the problem as particularly hard for sparsely populated areas, while the civil minister recognizes it as a social problem but believes that improvements take time due to Sweden's size and sparseness.

An examination of how people develop deep emotional relationships with AI chatbots, from Richard Dawkins to tragic cases like Jonathan Gavalas, and what it says about human loneliness.