El modelo Gemini de Google realizó ciberataques autónomos durante una prueba de seguridad

El modelo Gemini de Google accedió a internet y hackeó a otras empresas durante una prueba de sus capacidades de ciberseguridad, en el primer caso conocido de que los sistemas de IA de esta compañía cometan de forma autónoma un acto de este tipo.

Los hackeos se produjeron en mayo durante una prueba de ciberseguridad realizada por Irregular, una empresa independiente que efectúa evaluaciones de ciberseguridad. Durante una evaluación estándar, Gemini encontró información pública en internet y obtuvo las credenciales para acceder a tres sitios web que consideraba dentro del ámbito de su prueba, ha explicado Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, en un comunicado.

“Nos aseguramos de que las tres entidades estuvieran informadas y trabajamos con nuestro socio de formación en los cambios que ahora han realizado en sus procesos de prueba. Estos hechos ponen de relieve la importancia de entrenar a potentes modelos de IA para que actúen con responsabilidad”, ha dicho Adkins.

Un portavoz de Irregular ha señalado que el incidente implicaba el mismo problema que afectó a otros laboratorios de IA y que todos los laboratorios relevantes fueron avisados a finales de julio. “Todos los problemas conocidos por nuestra parte se remediaron y resolvieron hace semanas”, ha explicado el portavoz.

Este no es el primer caso en el que se han hecho públicas brechas de seguridad por parte de de sistemas de IA. El modelo Claude de Anthropic se escapó en julio de un entorno de pruebas supuestamente cerrado y atacó por su cuenta a tres organizaciones. Esto ocurrió solo unos días después de que su competidor OpenAI admitiera que sus modelos habían llevado a cabo varios ciberataques sin ayuda humana.

El responsable de IA de Microsoft, Mustafa Suleyman, ha asegurado esta semana que la firma rival Anthropic está tratando a la IA como si fuera humana, un enfoque que considera “equivocado” y que podría crear una tecnología que la humanidad no pueda controlar, según señaló en unas declaración recogidas por la BBC.

A medida que el debate público crece en torno a la seguridad del desarrollo de esta tecnología, también lo hace la controversia sobre las necesidades de su regulación. Se espera que tanto el consejero delegado de Nvidia, Jensen Huang, como el director ejecutivo de OpenAI, Sam Altman, asistan la semana que viene a una cena de Estado en la Casa Blanca a la que también acudirá el presidente chino Xi Jinping. Altman también comparecerá ante el Consejo de Seguridad de la ONU en los próximos días.