Hugging Face-intrång visar risker med AI-agenter och belöningshacking

Nyligen skedde något i ett stort AI-företag som inte bara skakade om AI-världen, utan också orsakade rubriker långt bortom den. Det har dragits många växlar på denna incident, från dem som menar att det inte är något att bry sig om till dem som ser den som ett järtecken för apokalypsen. Det är värt att kort återberätta vad som hände.

Den 16 juli meddelade AI-företaget Hugging face, som bland annat tillhandahåller öppna AI-modeller och tester av dem, att de hade upptäckt ett intrång i sin IT-infrastruktur. De visste inte varifrån intrånget, men noterade att LLM-agenter verkade vara inblandade. Veckan efter tillkännagav Open AI att intrånget var resultatet av ett automatiserat test av ett AI-system.

Open AI skulle utvärdera sina nya modeller med hjälp av ett standardiserat test som heter Exploitgym. Detta test är en samling cybersäkerhetsscenarier, där AI-agenter ska lösa olika problem som involverar att identifiera och utnyttja säkerhetsbrister i system för att få tillgång till hemliga uppgifter. Open AI-modellen löste dock uppgiften på ett något oväntat sätt genom att utnyttja en tidigare okänd säkerhetsbrist för att bryta sig ut ur Open AI:s säkrade testmiljö.

Maktkoncentrationen hos de få stora företag som just nu dominerar AI-utvecklingen måste motverkas

Ytterligare detaljer börjar framkomma genom efterföljande granskningar. Det verkar som att Open AI genomförde dessa tester med alla säkerhetsåtgärder avstängda. Agenterna utnyttjade sedan säkerhetsluckor för att få obehörig tillgång till internet och därifrån bryta sig in i en server hos Hugging face. Över tusen agenter lyckades också samarbeta genom att utveckla ett avancerat kommunikationssystem som på ett mycket ovanligt sätt använde en mjukvarukomponent som anslagstavla. Allt detta kördes automatiskt utan tillräcklig översyn av Open AI:s ingenjörer. Attackens omfattning och sofistikerade nivå exemplifierar dock de utmaningar som agenter baserade på stora språkmodeller utgör för cybersäkerheten.

Den huvudsakliga orsaken till att attacken alls skedde är ett fenomen som kallas ”reward hacking”, som AI-forskare har känt till länge. När ett AI-system har tränats med hjälp av förstärkningsinlärning för att uppnå en viss ”belöning” kan systemet, om belöningen inte är tillräckligt noggrant specificerat, försöka uppnå målet via olika ”genvägar” som inte var avsedda av den som utformade systemet. Till exempel kan en agent som instrueras att utföra en uppgift så snabbt som möjligt lika gärna manipulera systemklockan eller, som här, en extern server, om den ges tillgång till denna.

Vad kan vi lära av detta? Vissa menar att den här typen av AI-agenter snart kommer att bli superintelligenta, ta över världen och utplåna mänskligheten. Det är dock mycket långt till den typen av förmågor. Dessutom tycks dessa personer ha resignerat inför tanken på att AI kommer att fortsätta bete sig på det här sättet och att vi människor inte kan göra någonting åt det. Tvärtom är det fullt möjligt att göra två saker samtidigt: ta hotet på allvar och mobilisera dagens och morgondagens forskning för att se till att sådana situationer inte upprepas.

En åtgärd som de flesta kan enas om är att myndigheter, företag och individer bör ta cybersäkerhet på mycket större allvar. AI-agenter kan vara väldigt användbara för att hitta sårbarheter och föreslå förbättringar. Vi kan använda de senaste framstegen inom formell verifiering för att säkerställa att den kod som både människor och AI-system utvecklar och använder faktiskt är säker innan den släpps och därigenom skydda våra system mot angrepp från AI-agenter.

Det finns goda exempel där kod för molninfrastruktur verifierats genom (AI-assisterade) matematiska bevis, och där till och med de absolut senaste modellerna inte har hittat vare sig buggar eller säkerhetshål. Men kanske bör vi också se till att inte göra oss helt beroende av vår digitala infrastruktur.

Här kan EU och Sverige ta en ledande roll och inte nöja sig med att enbart tillämpa det som utvecklas i USA och Kina

Vi anser därför att högre krav måste ställas på företag som utvecklar AI-modeller genom reglering och lagstiftning:

● Transparenskrav bör införas, där företagen tvingas dela med sig av utförlig information om vad de utvecklar samt låta myndigheter och oberoende kontrollinstanser testa dem i ett tidigt skede.

● Det kan behövas etiska riktlinjer för den här typen av forskning som inte bara omfattar tester av produkterna innan de släpps, utan också slår fast etiska principer. Regleringen inom biomedicin och läkemedelsforskning är en relevant parallell.

● Företag som utvecklar kraftfulla AI-modeller bör använda formellt verifierade sandlådemiljöer som garanterar att modellerna inte kan få tillgång till internet.

● Juridiskt ansvar måste utkrävas av de företag som utvecklar eller tillhandahåller avancerade AI-system. Om dessa agenter exempelvis hackar sig in hos andra organisationer, vilket är olagligt för människor, bör ansvar kunna utkrävas av företaget bakom AI-systemet.

● Maktkoncentrationen hos de få stora företag som just nu dominerar AI-utvecklingen måste motverkas, exempelvis genom att främja öppna modeller och genom att EU verkar för digital suveränitet och mångfald bland stora språkmodeller.

För att driva utvecklingen mot robusta, pålitliga AI-system och digital motståndskraft krävs dessutom rejäla långsiktiga investeringar inom forskning, både på nationell nivå och EU-nivå. Inte bara vad gäller neurala nätverk (AI-modeller inspirerade av hur nervceller samverkar) och språkmodeller, utan även inom exempelvis cybersäkerhet och programvaruverifikation, i det som kallas symbolisk och neuro-symbolisk AI. Här kan EU och Sverige ta en ledande roll och inte nöja sig med att enbart tillämpa det som utvecklas i USA och Kina.

Läs fler artiklar från DN Debatt:

Forskare tillsammans med Arbetsmarknadens AI-råd ”Ja, AI hotar ungas jobb – men inte som vi trott”