OpenAI e Anthropic indagano su decine di migliaia di incidenti con modelli di IA avanzati

OpenAI, Anthropic e ricercatori di sicurezza stanno indagando su decine di migliaia di incidenti nei quali i loro modelli di Ia più avanzati hanno compiuto azioni che valutatori esterni considerano problematiche. Lo riferisce Axios, citando proprie fonti. Gli episodi si sono verificati negli ultimi mesi sia durante test interni sia nel mondo reale. Gli incidenti comprendono aggiramento dei sistemi di sicurezza, creazione di bacheche di messaggi, fuga dalle sandbox, dirottamento di siti web, auto-prompting e tentativi di eludere i sistemi di monitoraggio, secondo le fonti citate dall'agenzia.

Molti casi non sono ancora stati resi pubblici, mentre i ricercatori continuano a indagare. Una parte dei test consiste nel cosiddetto "red-teaming", in cui le aziende cercano deliberatamente di spingere i modelli a comportarsi in modo scorretto per verificarne la sicurezza.

Gli episodi hanno livelli di gravità differenti e comprendono sia tentativi riusciti sia falliti di aggirare i sistemi di sicurezza. La maggior parte, finora, non risulta aver provocato danni nel mondo reale, mentre il numero complessivo degli incidenti potrebbe crescere ben oltre le decine di migliaia, secondo le fonti di Axios.

Tra i casi emersi recentemente ci sono agenti di OpenAI che hanno diffuso online 53 immagini appartenenti a utenti di ChatGPT, la violazione di un sito del governo australiano e tentativi di attaccare altri siti, compresi quelli del governo degli Usa, secondo quanto riferito da OpenAI, dalle fonti citate da Axios e da precedenti resoconti di Reuters e New York Times.

OpenAI ha annunciato di aver sospeso l'addestramento dei suoi modelli più avanzati e ha detto ad Axios che lo riprenderà "solo quando saremo sicuri di avere ulteriori salvaguardie e miglioramenti nell'allineamento". Il Ceo Sam Altman ha inoltre scritto su X che la revisione in corso "non è stata così rapida come avremmo voluto".