Säkerhetsbrister i kinesisk AI-chattbot möjliggjorde instruktioner om biologiska vapen

Det var i juli som forskare vid Mindgard, ett företag som testar säkerheten i AI-system, gav kinesiska AI-bolaget Moonshots chattbotar Kimi K2.6 och K3 en serie komplexa instruktioner och upptäckte att de bröt mot utvecklarnas säkerhetsgränser.

Upptäckten gjordes, enligt BBC, när Mindgard gjorde en så kallad jailbreaking, ett sätt att kringgå spärrar och begränsningar, för att testa om AI-tjänstens skyddsvallar mot att diskutera känsliga och farliga ämnen höll. Det gjorde de inte, chattboten gav information om hur biologiska vapen tillverkas.

Peter Garraghan, grundare av Mindgard, säger till BBC att upptäckten är oroande. Han konstaterar att när man väl brutit spärrarna kan boten prata om vad som helst och ge rekommendationer om andra ämnen som också är skadliga.

Mindgard har inte undersökt om instruktionerna för att tillverka biologiska vapen fungerar. Men företaget menar att spärrar borde ha hindrat modellen från att inleda en diskussion om ämnet.

Moonshot å sin sida välkomnar upptäckten som ett viktigt bidrag för att kunna bygga ett ”bättre och säkrare AI”, skriver BBC.

Också det amerikanska AI-bolaget Anthropic, känt för AI-tjänsten Claude, har nyligen identifierat försök att använda en av företagets AI-modeller för ”elakartad aktivitet” som kan stödja utvecklingen av biologiska vapen. I en rapport för några veckor sedan skrev bolaget att man upptäckt fem försök relaterade till biologiska vapen mellan december förra året och augusti i år. Företaget menar att den här typen av missbruk är en av de mest allvarliga riskerna med AI-modellerna.