IA et trisomie 21 : des vidéos trompeuses exploitent l'empathie pour vendre des produits

Des vidéos qui semblent mettre en scène des personnes porteuses de trisomie 21 pour inciter les internautes à acheter des sacs à main ou des bols en argile font des millions de vues sur les réseaux sociaux mais beaucoup sont générées par l'intelligence artificielle (IA).

Ces vidéos s'inscrivent dans un schéma commercial qui cherche à exploiter l'empathie des consommateurs pour les personnes en situation de handicap ou perçues comme défavorisées comme les personnes âgées.

Selon certains experts, ces pratiques contribuent à perpétuer des stéréotypes tout en nuisant à la qualité de vie des personnes mises en scène, souvent déjà marginalisées.

Dans ces publications sur TikTok, YouTube et Instagram, les personnages générés par l'intelligence artificielle et porteurs de trisomie (aussi connue sous l'appellation syndrome de Down) affirment être harcelés parce qu'ils vendent des objets artisanaux, messages d'insultes à l'appui.

Selon Nathan Rowe, directeur de programme chez Down Syndrome International, ces vidéos alimentent l'idée que les personnes touchées par cette anomalie génétique, causée par un chromosome surnuméraire, devraient être prises en pitié.

Ces publications, qui renvoient vers des boutiques en ligne suspectes, «s'attaquent aux personnes qui ont une vision peut-être un peu bienveillante, voire légèrement paternaliste, de la trisomie», a-t-il souligné.

Une tendance

L'AFP a découvert que certains de ces articles de poterie, par exemple, étaient d'abord apparus dans de vraies publications, avant d'être détournés.

Ces vidéos «évincent» ainsi les publications des véritables entrepreneurs atteints de trisomie, a déploré Nathan Rowe, ajoutant qu'il y a «beaucoup de personnes porteuses de l'anomalie qui ont un véritable talent et qui créent des oeuvres, mais cela ne fait que renforcer l'idée que ces personnes en sont incapables et que cela doit forcément être le fruit de l'IA».

Cette tendance sur les réseaux sociaux n'est pas la première à exploiter l'image de personnes vulnérables afin d'en tirer des gains financiers.

L'organisation Down Syndrome International a notamment déposé une plainte auprès de Meta concernant des deepfakes à caractère sexuel mettant en scène des personnes atteintes de trisomie, ce qui a conduit au retrait de plusieurs de ces publications.

Nathan Rowe maintient toutefois que les plateformes devraient en faire davantage afin d'éviter la dissémination de tels contenus.

Selon les règles en vigueur sur TikTok, il est en théorie déjà interdit de se livrer à des activités de nature trompeuse, manipulatrice ou discriminatoire. YouTube applique des règles similaires.

Contacté par l'AFP, Meta n'a pas répondu sur ce sujet.

Si bon nombre de vidéos examinées par l'AFP ne sont plus en ligne, d'autres comptes continuent de partager ces clips générés par l'IA, qui redirigent les utilisateurs vers des produits à vendre.

«Les personnes qui agissent en coulisses sont probablement motivées par le profit et se soucient peu des dégâts qu'elles causent», a ajouté Nathan Rowe.

Facile à générer, difficile à surveiller

Selon Jeremy Carrasco, cofondateur du cabinet de recherche en IA Riddance, il s'agit d'un vrai système qui vise à générer des gains financiers.

«De nombreuses défaillances systémiques s'ajoutent les unes aux autres et aggravent la situation», a-t-il déclaré, soulignant que ces vidéos sont extrêmement faciles à créer et difficiles à surveiller.

«C'est la raison pour laquelle elles ont connu une telle explosion.»

L'AFP avait déjà enquêté sur une tendance multilingue à usurper l'identité de personnes âgées pour inciter les utilisateurs à acheter par compassion des pantoufles ou des colliers pour chiens.

«On a l'impression d'avoir atteint les limites de ce qui est acceptable, et s'ils continuent à aller plus loin, je pense qu'il va se passer quelque chose», a déclaré Jeremy Carrasco.