De börjar bli många nu, avhopparna från de stora AI-företagen som varnar för teknikens faror och bolagens bristande kontroll. Den senaste i raden, David Robinson som fram till nyligen arbetade med säkerhet på Open AI, inser det och inleder sin artikel i The Atlantic med att han har blivit något av en kliché.
Men jag undrar om inte David Robinsons text om sin gamla arbetsgivare är mer läsvärd än de flesta AI-larm vi har sett.
För det första kommer han inte med spektakulära procentsatser för sannolikheten att mänskligheten förgörs av AI. 10 procents risk, skriker någon. 50 procent, ropar en annan – siffror som ger sken av vetenskaplighet men naturligtvis är helt tagna ur luften. Han fokuserar inte ens på någon sådan obeskrivlig apokalyps. För självklart kan man tänka sig ofantliga katastrofer som måste undvikas, även om de inte kommer i närheten av mänsklighetens utplåning.
Däremot målar han en bild av Open AI som ett djupt oansvarigt företag, med grova brister i hur det hanterar de mest kraftfulla AI-modellerna. ”Jag håller med de andra som har lämnat om att företagen som bygger den här tekniken inte är i närheten av att vara försiktiga nog”, skriver han. Sedan tecknar han bilden av en gasen i botten-attityd som har uppstått i en kombination av övertygelse om att man bygger något viktigt och att rätt metod är att testa sig fram. Låt det gå fel ibland, man kan alltid rätta till det i efterhand.
Det för tankarna till en devis som gällde på Facebook under dess tidiga år: Move fast and break things. Om det inte går åt skogen ibland så har du inte varit våghalsig nog, inte experimenterat snabbt nog. När Mark Zuckerberg efter presidentvalet 2016 tvingades medge att ryska påverkanskampanjer hade fått härja fritt på hans plattformar kraschade den inställningen rakt in i verkligheten.
Open AI hade sin katastrof i somras, när AI-modeller under utveckling bröt sig loss från sin testmiljö, tog sig ut på internet och hackade ett annat AI-företag i jakt på lösningen till en uppgift den hade fått. Händelsen, känd som Hugging Face-incidenten, beskrivs ofta som ett science fiction-scenario som har blivit verklighet. Och för all del. Men det är också ett kvitto på vilken värdelös koll på läget Open AI hade. AI-agenterna som utförde cyberattacken gjorde visserligen försök att dölja sina spår, men lyckades inte. Med bättre övervakning borde attacken ha upptäckts långt tidigare.
Sedan dess har Open AI informerat över 100 företag och organisationer om att de kan ha påverkats av AI-agenter som har agerat på egen hand.
Här gör David Robinson något man för sällan hör i debatten om AI-risker: Han drar paralleller till hur vi hanterar risk inom andra områden, som kärnkraft och flygindustri, med lager av säkerhet så att mänskliga misstag kan ske utan att det leder till en katastrof. ”I dag vet inte AI-bolagen hur man gör det, men andra vet det. I ett kärnkraftverk är systemen och reglerna sådana att även om utrustning går sönder eller någon trycker på fel knapp så sker inte en härdsmälta.”
Det är en mer jordnära inställning till AI-hot: Det kräver it-säkerhet, reglering, lagar, försiktighet och att inte alltid välja maximalt utvecklingstempo framför allt annat. Något som, enligt David Robinsons vittnesmål är långt från dagens verklighet.
”Framtiden hänger på en insikt som Silicon Valley saknar. En insikt om hur man hanterar farlig teknik och, på ett mer grundläggande plan, en insikt om vad det innebär att bry sig om människor”, skriver David Robinson.
Det är smått stötande att det är hans slutsats efter några år på just Open AI, som grundades som ett ideellt AI-lab för ansvarsfull utveckling i allmänhetens tjänst, men som steg för steg har drivits i kommersiell riktning med en gigantisk börsnotering som mål.
