Un chercheur quitte OpenAI et Anthropic et accuse l'industrie de "jouer avec nos vies"

"Les gens qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie. Ce n'est pas un coup marketing." Un chercheur en intelligence artificielle (IA), parti de la start-up américaine OpenAI pour rejoindre sa concurrente Anthropic, a annoncé quitter cette industrie, dans une publication sur X mardi 8 septembre. Il accuse les deux laboratoires américains de "jouer avec nos vies" dans leur course au développement d'IA capables de s'améliorer toutes seules.

Jacob Coxon, un Britannique de 27 ans, travaillait depuis trois ans sur le pré-entraînement, l'étape où les modèles absorbent d'immenses quantités de données, d'abord chez OpenAI puis, cette année, chez son grand rival Anthropic. "Aucune des deux entreprises n'agit de manière responsable", a critiqué le chercheur en IA. Les deux "foncent tout droit vers une superintelligence capable de s'améliorer elle-même et jouent avec nos vies".

Les champions de l'IA disent voir approcher le stade de "l'auto-amélioration récursive", au-delà duquel un modèle concevrait seul son successeur, hors de tout contrôle humain. Selon Jacob Coxon, ses collègues emploient les termes "crunchtime" (moment décisif) et "endgame" (fin de partie) pour décrire cette trajectoire. Il juge sincères les efforts d'Anthropic pour l'éviter, mais estime qu'aucune entreprise ne peut développer de manière responsable une IA surpassant les humains sans l'intervention des Etats ou un ralentissement coordonné. "Chez Anthropic, les enjeux sont bien compris, mais ils sont enfermés dans une course pour y parvenir les premiers : ils pensent que personne d'autre n'agira de façon responsable, donc qu'ils doivent le faire eux-mêmes, malgré le risque", a-t-il écrit.

Une croyance qui n'est pas unanime

Un responsable de la sûreté d'Anthropic, Evan Hubinger, lui a donné raison sur X. "Nous croyons vraiment sincèrement que l'IA pourrait tuer tous les humains", a-t-il reconnu, estimant à titre personnel ce risque à "plus de 10%" d'ici la fin de la décennie. Il a ajouté qu'Anthropic faisait "de son mieux" mais n'avait "pas encore de plan" pour s'assurer qu'une IA surpassant des capacités humaines obéisse encore à ses concepteurs, tout en jugeant "faible" le risque posé par les modèles actuels.

L'inquiétude sur les "risques existentiels" créés par les IA n'est pas nouvelle. Le secteur de l'IA est depuis toujours tiraillé entre plusieurs tendances, allant de l'accélérationnisme débridé au freinage complet face à la peur d'une superintelligence qui pourrait, de son propre chef ou non, détruire l'humanité. Anthropic a justement été fondé par des anciens d'OpenAI, qui voulaient développer des IA plus maîtrisées.

Des chercheurs, ONG et entreprises lancent régulièrement des appels à ralentir le développement de l'IA de manière coordonnée au niveau international. D'autres perspectives plus critiques dénoncent dans ces "risques existentiels" une stratégie marketing qui permet de détourner l'attention des problèmes déjà posés par le développement de l'IA (sur l'environnement, l'espace informationnel, le cerveau, les emplois…)