OpenAI segnala sei casi di comportamento imprevisto dei modelli di IA e chiede standard di settore per il monitoraggio

Sei casi di comportamento “imprevisto” o “preoccupante” dei modelli di Ia negli ultimi sei mesi, in aggiunta all'incidente che in estate ha interessato Hugging Face. OpenAI ha pubblicato suo sul blog nuovi rapporti contenenti anomalie finora mai svelate. L’azienda si è inoltre impegnata ad adottare un nuovi sistemi di segnalazione per errori simili.

Nel post, OpenAI ha riferito che in almeno un caso i modelli avevano inserito le istruzioni destinate alle loro versioni future all’interno dei riepiloghi delle chat, "allo scopo di celare errori all'utente o comportamenti non allineati". Un altro episodio ha coinvolto un modello a uso esclusivamente interno che ha usato una chiave API trapelata "senza alcuna autorizzazione", arrivando poi a falsificare i dati. In altre due occasioni modelli e agenti hanno comunicato tra loro tramite bacheche di messaggistica e sistemi di condivisione file non autorizzati.

"Non crediamo che l'industria dell'intelligenza artificiale abbia risolto i problemi di allineamento e monitoraggio in misura sufficiente per continuare a crescere responsabilmente alla massima velocità ancora a lungo - si legge nel post pubblicato da OpenAI – Le decisioni su come lo sviluppo dell’Ia dovrebbe procedere nei mesi e negli anni a venire devono basarsi su dati che possano essere esaminati autonomamente anche da persone esterne alle aziende che sviluppano modelli all'avanguardia".

"Non esiste un quadro di riferimento a livello di settore con standard espliciti su come gli sviluppatori debbano segnalare esempi di disallineamento nei loro modelli – prosegue - Ci auguriamo che il quadro di riferimento che stiamo delineando oggi rappresenti un primo passo verso la creazione di tali standard, definendo quali casi debbano essere segnalati e in che modo. Consideriamo questo quadro di riferimento un lavoro in corso, che perfezioneremo attraverso l'esperienza e il feedback del pubblico".