499 forskare varnar för våg av AI-attacker: "Allt kan bli måltavlor"

Det behövs ett internationellt organ som verkar för att öka säkerheten inom utvecklingen av ny, kraftfull artificiell intelligens. Det menar de 499 forskare som skrivit under ett upprop som började på universitetet i Toronto. Bland underskrifterna finns Geoffrey Hinton, Nobelpristagaren i fysik som brukar kallas AI:s gudfader.

Uppropet har kommit till efter en rad uppmärksammade hackerattacker utförda av förrymda AI-agenter från bolag som Anthropic, Open AI och Google. Attacker som forskarna menar hade gått att undvika.

– Det är viktigt att vi använder praxis och forskning inom cybersäkerhet för att kontrollera AI-agenter, säger Andrei Sabelfeld som är professor i cybersäkerhet vid Chalmers och uppropets kontaktperson i Sverige, där tio forskare hittills har undertecknat det.

Den incident som på allvar startade debatten om AI-säkerhet tidigare i år var cyberangreppet mot AI-bolaget Hugging Face. Där lyckades AI-agenter som drillades i cybersäkerhet hos Open AI bryta sig ut på nätet under tester.

– Om man testar en AI-agent med en kraftfull cybersäkerhetsförmåga måste man först isolera den totalt. Det uppmanar vi alla bolag att göra, säger Andrei Sabelfeld.

Forskarna menar att det är viktigt att dra lärdom av Hugging Face-attacken och de andra incidenterna och se till att framtida tester sker i miljöer som har ett så kallat ”air gap”. Det vill säga it-miljöer som är fysiskt frånkopplade från internet.

Forskarna lyfter också vikten av att arbeta mer det som kallas för ”AI alignment”. Det handlar om att få AI-system att faktiskt göra det de är avsedda att göra, så att deras beteende blir förutsägbart

Det är arbete som forskarna menar bör ledas av ett nytt internationellt organ som tar fram en standard för hur AI-bolag ska arbeta med säkerhetsfrågor och hur man ska upptäcka och rapportera incidenter som sker.

Vad oroar du dig för skulle kunna ske om bolag och beslutsfattare inte lyssnar på era varningar?

– Om man ignorerar de här incidenterna kan nästa händelse bli mycket allvarligare och agenterna kan göra massor av skada. Vi måste förändra hela mentaliteten i branschen annars riskerar vi att få en våg av attacker som drabbar företag, myndigheter, sjukvården eller kärnkraftverk. Allt kan bli måltavlor.

Läs mer:

Nvidias vd om AI-varningarna: ”Jag är ansvarsfull optimist"

Hemliga signaler ska avslöja AI-text