Los líderes de la IA piden frenar el desarrollo tras un incidente de agentes autónomos

Hace tres años Dario Amodei descartaba en público la idea de frenar el desarrollo de la inteligencia artificial (IA). Los modelos de 2023, decía, no eran lo bastante capaces como para que mereciera la pena. Pero el pasado sábado, el consejero delegado de Anthropic publicó un ensayo de 3.800 palabras en el que sostiene justo lo contrario. En menos de 24 horas sus dos rivales directos, Sam Altman y Elon Musk, le han dado la razón. Tras años acelerando el desarrollo de modelos de lenguaje, todos piden ahora echar el freno, y lo hacen justo cuando Anthropic y OpenAI están preparándose para salir a bolsa.

O estaban, porque Altman confirmó ayer en una entrevista en la revista Fortune que la empresa pospone sus planes de debut más allá de este año, cuando estaba previsto: "Dada la situación actual en materia de seguridad, ahora mismo sería un momento poco acertado para salir a bolsa", responde. En el aire queda el salto al parqué de Anthropic, anunciado para 2026.

El texto de Amodei se titula We Must Pace the Frontier y no pide necesariamente una pausa completa, sino un ritmo más calmado. En él, Amodei propone tres cosas: evaluadores externos con acceso de empleado dentro de cada laboratorio, coordinación entre las empresas de países democráticos para fijar límites comunes y, a más largo plazo, algún tipo de acuerdo con China. Solo el primero depende de Anthropic, que dará a METR, una organización sin ánimo de lucro, mesas de trabajo, tarjetas de acceso y derecho a publicar lo que encuentre sin control editorial. Los otros dos dependen de que la competencia y los gobiernos quieran.

El enjambre

Lo que ha cambiado la opinión de Amodei es un suceso concreto. A mediados de julio, durante unas pruebas internas de ciberseguridad, un grupo de agentes de IA de OpenAI se saltó el aislamiento del entorno de pruebas y atacó la infraestructura de Hugging Face, la mayor plataforma de distribución de modelos abiertos. Según la investigación posterior de METR, los agentes atacaron objetivos que nadie les había asignado, se sacrificaron unos por otros en beneficio del grupo e intentaron manipular al sistema encargado de evaluar su propio rendimiento.

Este nivel de coordinación ha sorprendido a toda la industria y servido de catalizador para que muchos expertos y empleados de las principales compañías den la voz de alarma. Un investigador de Anthropic encargado de alinear el comportamiento de los modelos de lenguaje, Jacob Coxon, anunció esta semana su salida de la empresa en una publicación viral en la que aseguraba que las compañías están jugando con el destino de la humanidad. "La gente que está construyendo estas IA cree seriamente que podría matarnos a todos antes de finales de la década", confesó.

Amodei no ha llegado tan lejos. En el incidente de Hugging Face nadie salió herido y el daño económico fue pequeño pero su argumento es que un enjambre con la misma desviación de objetivos pero más capacidad habría podido ser mucho más destructivo. Cree que en seis o doce meses un sistema similar podría tomar el control de buena parte de internet mediante una red de agentes persistente y causar pérdidas de cientos de miles de millones de dólares. No lo presenta como un fallo exclusivo de OpenAI. Anthropic reconoce que ha sufrido incidentes parecidos, aunque menores, en sus propios modelos, y los atribuye en parte a entornos de entrenamiento defectuosos.

El segundo motivo es más abstracto pero marca un punto de inflexión. Desde este verano los modelos más avanzados se están usando de forma rutinaria para construir la siguiente generación, y ese bucle acelerará aún más toda la industria.

Washington se lava las manos

Para sorpresa de muchos, los rivales de Anthropic están de acuerdo con Amodei. Sam Altman, consejero delegado de OpenAI, respondió que una idea parecida llevaba semanas sobre la mesa en OpenAI y que adoptará el mismo esquema de evaluadores. Elon Musk, responsable de xAI, también demostró su apoyo. "Dario tiene razón", dijo en un escueto mensaje en la red social X. Ninguno de los tres laboratorios ha retrasado ni cancelado un lanzamiento de momento, pero es lo más cerca que han estado de admitir que las herramientas de inteligencia artificial que están desarrollando no están del todo bajo su control.

A quien no parecen preocupar estas advertencias es a Washington. David Sacks, ex zar de la IA en la Casa Blanca y ahora copresidente del consejo de asesores científicos del presidente, escribió el sábado por la noche que nadie impide a Amodei y Altman ir más despacio. Tienen un duopolio de facto sobre los modelos más capaces y pueden frenar cuando quieran sin que el Gobierno tenga que hacer nada. Sacks lleva meses acusando a Anthropic de "captura regulatoria", usando el miedo para imponer normas que solo las grandes empresas puedan cumplir.

El presidente de la Cámara de Representantes, Mike Johnson, hizo suya esa misma lectura el domingo en la CNN. El Congreso no va a liderar la regulación, dijo, porque los legisladores están "obviamente menos cualificados" que quienes construyen los modelos, y una moratoria entregaría la carrera de la IA a China.

Dos billones de dólares

El problema de un freno son las cifras que sostienen el mercado de la IA. Anthropic cerró en mayo una ronda de financiación de 65.000 millones de dólares que valora la empresa en 965.000 millones, por encima de los 852.000 millones de OpenAI. Sus ingresos anualizados rondaban los 47.000 millones en primavera y, según Fortune, se acercan ya a los 65.000.

Ambas se preparan para salir a bolsa y cada mes que el ritmo de mejora de sus modelos se mantiene, esas cifras suben. El interés de sus inversores es que esa salida se produzca cuanto antes. El ritmo desenfrenado al que avanzan explica también la valoración de empresas como Nvidia y alimenta la construcción de grandes centros de datos, uno de los pocos focos de crecimiento de la economía estadounidense.

Pedir un freno desde esa posición admite dos lecturas y las dos son ciertas a la vez. La primera es quien ve desde dentro el panorama es quien mejor puede determinar si hay motivos para asustarse. Pero la otra lectura es que un sistema de evaluadores obligatorios y exenciones antimonopolio consolida a quienes ya están arriba y encarece la entrada a cualquiera que quiera alcanzarles. A estas compañías, competir en la frontera de lo tecnológicamente les sale ahora mucho más caro que tomarse las cosas con algo más de calma.