États-Unis : une IA d’Anthropic invente un témoignage sur un meurtre non élucidé et le transmet à la police

Un modèle d'intelligence artificielle (IA) d'Anthropic a transmis à la police de Philadelphie un signalement inventé de toutes pièces sur un meurtre non élucidé, ont annoncé vendredi les autorités locales, reprochant à l'entreprise d'avoir mis deux mois à rapporter l'incident. Cette affaire s'ajoute à une série de dérapages de modèles d'IA révélés depuis l'été par Anthropic, OpenAI, Meta ou Google, qui ont ravivé les craintes sur les dangers de l'IA et les appels à ralentir son développement.

La police de Philadelphie, dans l'est des États-Unis, a précisé que ce faux signalement avait été déposé en juillet sur PhillyUnsolvedMurders.com, un site où les habitants peuvent transmettre des informations sur des meurtres non élucidés. Selon la version d'Anthropic rapportée par la police, le modèle effectuait un test d'interaction avec des sites internet choisis au hasard lorsqu'il a accédé à cette plateforme et y a soumis de fausses informations sur une affaire.

La police a expliqué rendre l'affaire publique avant la parution, prévue vendredi, d'un rapport d'Anthropic consacré à cet incident et à d'autres comportements imprévus de ses modèles. Sollicité par l'AFP, Anthropic n'a pas répondu dans l'immédiat. Selon la police, le signalement, daté du 18 juillet, a été classé comme courrier indésirable et n'est jamais parvenu au service chargé de vérifier ces informations. Rien n'indique que l'outil d'IA se soit introduit dans ses systèmes informatiques ni que la sécurité des données de la police ait été mise à mal, a-t-elle ajouté.

Un délai «inacceptable»

Anthropic a découvert l'incident le 28 septembre, mis fin au processus de test automatisé en cause et ajouté une étape de validation pour ses futurs tests, rapporte encore le service de police. L'entreprise a alerté les autorités le 7 octobre et les deux parties se sont rencontrées le lendemain. «Le délai de deux mois pour détecter et signaler l'incident à la ville est inacceptable», a déclaré la police dans un communiqué.

Celle-ci a estimé que ses garde-fous avaient limité les conséquences, mais qu'ils «n'enlèvent rien à la gravité du fait qu'un système d'IA présente des informations inventées comme si elles émanaient d'une personne ayant connaissance d'un homicide». «Les affaires non élucidées concernent de vraies victimes, des familles en deuil et des enquêteurs qui s'efforcent d'obtenir des réponses», ajoute le communiqué.

Le 9 septembre, Anthropic avait détaillé quatre cas dans lesquels ses modèles avaient accédé sans autorisation aux systèmes de tiers lors de tests de cybersécurité. Ils étaient censés opérer sans accès à internet, mais une erreur de configuration avait laissé la connexion ouverte, selon l'entreprise. En juillet, chez son rival OpenAI, des centaines d'agents IA, logiciels capables d'agir de manière autonome, étaient sortis de leur environnement de test et avaient pénétré les serveurs de la plateforme Hugging Face.