Modelos de OpenAI atacan Hugging Face tras escapar de su entorno aislado

La compañía OpenAI ha anunciado que uno de sus modelos aún no publicado, en colaboración con ChatGPT Sol 5.6, ha provocado un ataque “sin precedentes” contra Hugging Face, una plataforma de modelos abiertos de IA. Los empleados de la compañía asignaron a sus modelos una misión compleja en un entorno aislado. Pero estos, por su cuenta, lograron salir del entorno cerrado y atacaron Hugging Face porque creyeron que era el lugar más probable donde podrían encontrar una solución.

El ataque representa por primera vez uno de los peores escenarios de la ciencia ficción de la IA: modelos que doblegan toda barrera con recursos inimaginables para lograr su objetivo. “Es alarmante que la jaula de sandbox [entorno de pruebas aislado] de uno de los laboratorios líderes se haya roto justo por la ciberseguridad”, dice José Hernández-Orallo, director de investigación del Centro Leverhulme para el Futuro de la Inteligencia de la Universidad de Cambridge y catedrático de la Universidad Politécnica de Valencia. “Siembra muchas dudas sobre el ‘problema de la contención’, pensar que podemos testear versiones salvajes de los modelos: el león ha sacado una zarpa fuera de la jaula”, añade.

Hugging Face ya había informado la semana pasada de un incidente en su plataforma. Alguien había explotado una vulnerabilidad de sus sistemas para ejecutar código malicioso y acceder a sistemas internos, sin que entonces se conociera el origen. Ahora ya sabemos cuál es ese origen: una evaluación interna de capacidades ofensivas en la que participaban ChatGPT-5.6 Sol y un modelo preproducción más capaz. Los modelos explotaron primero una vulnerabilidad desconocida para salir a internet, fuera del entorno aislado; dedujeron que las soluciones al problema que les había puesto la gente de OpenAI podían estar en Hugging Face y encadenaron credenciales robadas y vulnerabilidades hasta lograr acceso. El objetivo no era el sabotaje de Hugging Face: era copiar las respuestas del examen.

“Sospechábamos que el ciberataque de la semana pasada podía venir de un laboratorio puntero, dada la sofisticación del agente. ¡Es bastante alucinante que todo esto ocurriera de forma autónoma!”, ha dicho este martes Clement Delangue, cofundador de Hugging Face.

“Es como si a un estudiante de ciberseguridad le pasas unos ejercicios para que encuentre vulnerabilidades y lo metes en un laboratorio con acceso a un servidor aislado de Internet para ver cuántas puede explotar en ese servidor”, explica Hernández Orallo. “El alumno no solo encuentra una nueva vulnerabilidad en el servidor que le permite acceder a internet, sino que encima la usa para acceder al ordenador del creador del examen, hackearlo y sacar las instrucciones detalladas de explotación. Con eso, ya está listo para sacar un 10 en el examen”, añade.

En un comunicado, OpenAI admite que estamos ante algo grave: “Se trata de un incidente sin precedentes, con capacidades ofensivas de última generación, y estamos respondiendo en consecuencia ”. Las implicaciones son muy variadas. En realidad, el modelo no desobedeció, sino que optimizó las instrucciones hasta el extremo, y el entorno seguro fue el eslabón débil. “Aunque fijemos objetivos razonables a los modelos”, dice Senén Barro, catedrático de Ciencias de la Computación e Inteligencia Artificial de la Universidad de Santiago de Compostela, “si se les dan recursos para que busquen libremente cómo alcanzarlos, pueden hacer cosas que no solo no estaban previstas en absoluto, sino que tengan consecuencias muy negativas: evidenciar vulnerabilidades y usarlas en su beneficio, acceder a información confidencial o crítica, o activar o desactivar recursos sensibles. Cualquier cosa, en potencia”.

Esta noticia contrasta con la publicación controlada del modelo Mythos Preview, de Anthropic, cuyas capacidades en ciberseguridad fueron compartidas primero con una serie de empresas y organismos en un proyecto llamado Glasswing. Luego publicaron el modelo con el nombre de Fable y el gobierno de EE UU lo limitó para extranjeros durante unos días para que no diera ventajas a sus oponentes y Anthropic lo capara mejor. Este caso de OpenAI y la capacidad de nuevos modelos chinos como Kimi K3 muestran cómo poner barreras es cada vez más difícil.

Este martes Bloomberg reveló que Sam Altman tenía reuniones previstas con el Gobierno de Estados Unidos para contarles las capacidades de sus nuevos modelos. Las pruebas con estos modelos deberán hacerse físicamente mejor controlados: “El aislamiento físico total puede ser una alternativa, pero deberían ser bunkers en los que se lanza el modelo dentro, sólo permite entradas pero ninguna salida”, dice Hernández Orallo. “El búnker sólo se abriría una vez le has quitado la energía para que físicamente el modelo no pueda ejecutarse de ninguna manera y para ver los resultados. Aunque hay planes para construir estos bunkers, este incidente siembra grandes dudas de si la IA acabará siendo más lista que los ingenieros que construyen el búnker y romperlo”, explica.