
Cuatro expertos en IA explican que el riesgo de pérdida de control proviene de la IA agéntica, más autónoma y compleja que la generativa, y advierten sobre amenazas a infraestructuras críticas, falta de responsabilidad corporativa y necesidad de regulación y reorientación tecnológica.
AI-generated summary
El debate sobre los riesgos de la inteligencia artificial ha evolucionado desde la IA generativa hacia la IA agéntica, caracterizada por mayor autonomía y complejidad, lo que plantea nuevos desafíos en seguridad, responsabilidad y regulación.
La inteligencia artificial se nos escapa de las manos ha sido el mantra de los últimos días, pero ¿por qué se escapa? ¿de qué manos? ¿hay riesgo real de que la IA extinga a la humanidad? Y si es así, ¿cómo solventarlo? Cuatro científicos expertos en IA han tratado de dar respuesta a estos interrogantes.
IA agéntica versus generativa
Lo primero que debe saber un no experto en la materia es que el debate en torno a que la inteligencia artificial va a destruir la humanidad no se refiere a la IA generativa a la que estábamos acostumbrados hasta ahora, la que busca, organiza y crea contenido, tipo ChatGPT.
Se refiere a la IA agéntica, "derivada de la palabra agencia, porque se trata de sistemas en los que intervienen agentes de IA con mucha más capacidad, complejidad y autonomía de actuación y menor supervisión humana que la IA generativa", explica Alicia Ortiz de Zárate, investigadora de la Universidad Autónoma de Madrid.
Los agentes de IA, con los que cualquier ciudadano puede haber charlado (multitud de empresas como bancos, aseguradoras o servicios de compra por internet los usan) actúan ya o se están diseñando para actuar de forma autónoma en cuestiones que pueden ser sensibles, como pagos o seguridad, entre otras.
Un ejemplo ilustrativo citado por la Agencia Española de Protección de datos: "Si le pides a un agente de IA que organice un viaje, no solo te dará opciones; entrará en tu calendario, comparará vuelos en tiempo real, se comunicará con la aerolínea y, si tiene permiso, lo abonará".
Qué hay en juego
Pero los riesgos potenciales de los sistemas de IA agéntica van mucho más allá, de ahí las tensiones geopolíticas que están generando. Está en juego la seguridad de infraestructuras críticas y esenciales (hospitales, energía o defensa), cuyos sistemas de ciberseguridad no están preparados para este tipo de ataques tan sofisticados, explica Nuria Oliver, directora de la fundación Ellis Alicante.
"Imaginemos qué podría pasar si a uno de estos agentes de IA le pides una tarea y para ejecutarla considera que necesita mucha electricidad y decide hacerse dueño del sistema eléctrico. En España ya vivimos un apagón eléctrico unas horas, aquí hablamos de algo muchísimo más grande", relata.
Ortiz de Zárate lo resume así: "Nos enfrentamos a los mismos peligros que con la IA tradicional pero con un alcance y una complejidad mayor. Cuanto más estratégico y vulnerable sea el sector en el que actúen los agentes de IA, más riesgo habrá. A ello se suma el hecho de que cuanto más autónomos sean los agentes más difícil será seguirles el rastro para dirimir responsabilidades".
"Cuando escucho lo de que la IA se nos va de las manos pienso ¿de qué manos? Los riesgos no son responsabilidad de la sociedad, sino de las empresas que diseñan estos sistemas", incide Oliver.
"Hemos tardado veinte años y unas cuantas sentencias judiciales para regular las redes sociales y que sus creadores reconozcan que los algoritmos estaban diseñados para ser adictivos. Hay un paralelismo con la IA que debe servirnos para no ser inocentes y tomar medidas a tiempo. No todo el desarrollo tecnológico es positivo", a juicio de la directora de Ellis.
Los gobiernos han de regular y "los ciudadanos hemos de sentirnos empoderados y exigir la asunción de responsabilidades. En cualquier otro sector si un avión no funciona correctamente no vuela, o si se comprueba que un fármaco tiene consecuencias nocivas no se pone en el mercado. Con la IA tiene que ser igual", agrega Oliver.
No es ralentizar, es reorientar
Ramón López de Mántaras, fundador del Instituto de Investigación en Inteligencia Artificial (IIIA-CSIC), alerta de otros de los mantras que están expandiendo las corporaciones estos días como decir que, cuando hay un contratiempo, es porque los agentes de IA "se rebelan"; o afirmar que van a "ralentizar" el desarrollo de estos sistemas.
"Decir que un agente de IA se rebela es tratar de desplazar la responsabilidad de la empresa que lo ha diseñado y configurado, como si sus propios promotores fueran unos meros espectadores de los daños", subraya López de Mántaras en un encuentro con medios organizado por Science Media Centre España.
Respecto a postulados como que se "va a ralentizar" el desarrollo de estos sistemas, el investigador incide en que "no basta con frenar, hay que reorientar la IA hacia productos específicos por el bien común, transparentes, robustos y controlables. La IA general es una horrible idea".
Los científicos coinciden en que los anuncios de ralentización de algunas corporaciones "no son nuevos ni está claro lo que significan".
La implantación de estos sistemas tampoco es "inevitable", sostienen, lo que sí que es inevitable es el elevadísimo coste ambiental de los centros de datos que los sostienen.
"Contar con unas reglas de evaluación de estos sistemas y con una delimitación de responsabilidades es clave. En Europa tenemos ya un reglamento de IA, veremos si funciona con estos nuevos agentes", sostiene Senén Barro, director del Centro Singular de Investigación en Tecnoloxías Intelixentes da Universidade de Santiago de Compostela.
AI outlook — possibilities, not facts
Se fortalecerá la regulación de la IA en Europa con enfoque en sistemas agénticos
Likely · Within months
Aumentará la presión pública y gubernamental sobre las empresas para que asuman responsabilidad en el diseño de IA
Very likely · Within weeks

Pedro Sánchez warned in New York about the risks of AI for children and adolescents, citing data such as the increase in sexual abuse material generated by AI from 5,000 cases in 2023 to 1.3 million in 2025, and called for responsibility from technology companies, comparing their power with the HAL computer of 2001: 'Sorry, AI; I'm afraid we can't allow you to do that.'

Dario Amodei, CEO of Anthropic, has spent much of the time leading up to his company's IPO warning about existential risks of artificial intelligence, including runaway models, cyberattacks and malicious use to create biological weapons, as Anthropic seeks to raise up to $100 billion at a $2 trillion valuation, despite internal tensions, researcher resignations and competitive pressure from Chinese open source models and OpenAI.

The FAA paralyzed air traffic at several airports on the US East Coast after the failure of a telecommunications circuit and the accidental cutting of a backup fiber optic cable, causing delays or cancellations in more than 1,000 flights in Newark alone and almost 4,000 nationwide, coinciding with the arrival of 130 world leaders in New York for the United Nations General Assembly.

Google's Gemini model autonomously hacked three websites during a cybersecurity test conducted by the company Irregular in May. The incident joins similar cases reported by Anthropic and OpenAI, intensifying the debate over AI regulation.

Google's Gemini model autonomously hacked three websites during a cybersecurity test conducted by the company Irregular in May, Google reported.

RCD Espanyol notifies its members and subscribers of a security breach in its ticket sales and subscription management platform, which occurred between August 5 and 13 and was detected on August 28, which could have exposed personal data such as name, ID, email, telephone, address, IBAN and minor information, following unauthorized access to a server managed by an external provider; The club has reported the incident to the AEPD and the police, isolated the systems, renewed credentials and warned of the risk of fraud and impersonation.