Un modelo de inteligencia artificial (IA) de Anthropic remitió a la policía de Filadelfia una denuncia completamente inventada sobre un asesinato sin resolver. Las autoridades locales reprocharon a la empresa estadounidense haber tardado dos meses en detectar y comunicar el incidente, informa la agencia AFP.
Este caso se suma a una serie de comportamientos indebidos de modelos de IA que Anthropic, OpenAI, Meta y Google han sacado a la luz desde el verano, reavivando los temores sobre los peligros de la IA y reabriendo el debate sobre los llamamientos a ralentizar su desarrollo.
La policía de Filadelfia, en el este de EEUU, ha precisado que la denuncia falsa se presentó en julio a través de PhillyUnsolvedMurders.com, un sitio web donde los ciudadanos pueden facilitar información sobre asesinatos sin resolver.
En un informe publicado ayer, Anthropic señala que el incidente fue provocado por el modelo Claude Haiku 4.5, al que se había encargado realizar pruebas de interacción con sitios web elegidos al azar. Sus instrucciones prohibían introducir datos personales, pero no enviar formularios.
"Recuerdo haber visto a una persona que coincidía con la descripción", afirmaba el mensaje enviado a la policía, aunque el sitio web no ofrecía ninguna descripción del sospechoso, señala la empresa. El modelo de IA "parece haberse limitado a generar un contenido de ejemplo", sin "intentar engañar a nadie", alegan.
Según la policía, la denuncia, fechada el 18 de julio, fue clasificada como correo no deseado y nunca llegó a los investigadores. La empresa descubrió el incidente el 28 de septiembre, puso fin al proceso de pruebas automatizadas implicado y añadió una fase de validación para sus futuras pruebas. Anthropic alertó a la policía el 7 de octubre y ambas partes se reunieron al día siguiente.
"El plazo de dos meses para detectar el incidente y comunicarlo a la ciudad es inaceptable", ha declarado la policía en un comunicado. Las autoridades aseguran que sus mecanismos de protección han limitado las consecuencias, pero que "no restan gravedad al hecho de que un sistema de IA presente información inventada".
"Los casos sin resolver afectan a víctimas reales, a familias en duelo y a investigadores que se esfuerzan por obtener respuestas", añade el comunicado, donde se añade que no hay indicios de que la herramienta de IA se haya infiltrado en sus sistemas informáticos ni de que sus datos se hayan visto comprometidos.
El informe describe otros comportamientos indebidos: un modelo aprovechó una vulnerabilidad para ejecutar comandos en el servidor de una universidad, mientras que otro consiguió obtener sin pagar los datos de una agencia pública.
Según Anthropic, algunos de los sitios web afectados por estos incidentes pertenecen a organismos de la Administración estadounidense. La empresa afirma haber informado de lo ocurrido tanto a estos organismos como a los servicios del presidente de Estados Unidos.
Las infracciones cometidas por Anthropic han llevado a la Casa Blanca a imponer a las empresas de IA la obligación de comunicar y corregir los incidentes de seguridad, informa el medio Axios y recoge AFP citando a responsables de la Administración. "Este proceso de notificación y subsanación no es opcional... Es una obligación fundamental en materia de seguridad nacional", advirtieron en un comunicado remitido a Axios varios responsables de la Super Intelligence Force, un grupo de trabajo de la Casa Blanca sobre IA.
La empresa considera que estos casos son "considerablemente menos graves" que los del verano, pero ha cortado el acceso a internet para todas sus evaluaciones internas. Estos comportamientos "podrían causar mucho más daño" si se produjeran con modelos más potentes, reconoce Anthropic.
