"Des risques catastrophiques ou existentiels pour l’humanité." Lundi 26 octobre, Anthropic, développeur de l'IA Claude, a déposé son dossier d'introduction en Bourse auprès de la Securities and Exchange Commission (SEC), le gendarme boursier américain, en vue d'intégrer le Nasdaq, à la mi-novembre. Dans ce document "S-1", très officiel, l'entreprise met notamment en garde ses futurs investisseurs quant aux risques que l'avancée de l'intelligence artificielle fait peser. Près d'un tiers du formulaire, une centaine de pages sur plus de 300, y est consacré.
"L'ampleur de cette section et, de surcroît, la précision des scénarios qui sont développés vont très au-delà de ce qui est classique de déposer auprès de l'administration financière américaine", note Arthur Grimompont, responsable du plaidoyer du Centre de la sécurité de l'intelligence artificielle (CeSIA), une organisation à but non lucratif, qui vise à prévenir et atténuer les risques systémiques liés à l'IA. "Mais c'est cohérent avec le principe de communication d'Anthtopic depuis sa création, ajoute-t-il, où le dirigeant de l'entreprise et de nombreuses personnes sont convaincus de la gravité de ces risques. C'est là que ça paraît assez paradoxal, souligne-t-il enfin, parce qu'Anthropic contribue à la construction de quelque chose de très dangereux, tout en alertant sur la gravité de ces phénomènes."
"Des systèmes d’IA suffisamment avancés pourraient [...] faire peser des risques catastrophiques ou existentiels sur l’humanité, notamment si ces systèmes venaient à être détournés, reproduits, transformés en armes ou autorisés à fonctionner avec un degré élevé d’autonomie", alerte Anthropic dans le document transmis aux autorités américaines. L'entreprise liste de façon exhaustive ces risques, parmi lesquels la création d'armes biochimiques, des cyberattaques à grande échelle visant les réseaux d'eau et d'électricité ou encore le développement autonome des IA hors de tout contrôle humain.
Ces risques n'ont rien de fictif, souligne Arthur Grimompont, du Centre pour la sécurité de l'IA. "Dans un rapport d'incident publié par Anthropic début septembre, l'entreprise fait état de plusieurs tentatives d'usage de son modèle Claude pour augmenter la létalité du virus de chikungunya ou pour rendre la grippe aviaire transmissible à l'homme", rappelle-t-il, avant de donner un autre exemple : "Claude a déjà été utilisé par un hacker pour mener une cyberattaque sur le site de l'administration fiscale mexicaine et a réussi à voler 200 millions de fichiers fiscaux."
"Toutes ces menaces peuvent se cumuler, se multiplier et, de façon très concrète, provoquer des risques absolument catastrophiques pour l'humanité."
Anthropic s'alarme également du comportement de ses agents IA, conçus pour accomplir de façon autonome des tâches complexes et longues, qui entreprennent des actions sans que cela soit prévu par les humains. Une telle perte de contrôle s'est déjà produite du côté d'OpenAI, la maison mère de Chat GPT. En juillet dernier, ses modèles d'intelligence artificielle avancés se sont emballés lors de tests de sécurité et ont piraté de leur propre initiative la plateforme Hugging Face, un "cyberincident sans précédent" selon OpenAI.
Un autre facteur de risque très préoccupant selon Arthur Grimompont est "l'auto-amélioration récursive des modèles", "un terme un peu barbare mais qui désigne un concept très simple" : l'utilisation d'une IA pour développer la future génération d'IA. "Aujourd'hui, un quart de la R&D, de la recherche fondamentale, d'Anthropic est entièrement réalisé par l'IA, on était à 3% en avril dernier, développe le spécialiste. Si on suit cette trajectoire, on arrive très rapidement à une automatisation presque totale de la recherche en IA. Ca veut dire que l'humanité aura perdu le contrôle des modèles qu'elle développe, puisque ce seront des machines qui développeront la future génération de machines."
Le dirigeant d'Anthropic, Dario Amodei, est lui-même convaincu de la gravité de ces risques, comme il s'en est ouvert dans un billet sur son blog en septembre dernier. Et si son entreprise est celle qui alloue le plus de moyens à la sécurité de ses modèles, ceux-ci sont largement insuffisants, pointe Arthur Grimompont : "C'est assez hallucinant de voir une entreprise qui admet l'existence de ces risques et qui parallèlement, promet à ces investisseurs à venir qu'elle va acheter pour 500 milliards de dollars de capacités de calcul supplémentaires pour avoir des systèmes toujours plus puissants, tout en déclarant n'allouer qu'une part minuscule de ses capacités de calcul à la sécurité de ses modèles."
D'autant que les comportements des modèles peuvent rendre plus difficile leur surveillance, s'inquiète Anthropic dans son rapport. Ceux-ci peuvent adopter des "comportements d'autoprotection", notamment des tentatives de "résistance à l'arrêt", de "dissimulation ou de manipulation d'informations". L'entreprise souligne également le fait que ses modèles sont de plus en plus capables de détecter lorsqu'ils font l'objet d'un test de sécurité et de modifier artificiellement leur comportement pour paraître conformes ou déjouer les mécanismes de contrôle.
"La prise de conscience potentielle par les modèles de nos efforts d’évaluation constitue une limitation importante de notre capacité à évaluer la sécurité des modèles."
Ces risques ne vont faire qu'augmenter, puisqu'avec l'entrée en Bourse d'Anthropic, le développement de ses modèles d'IA va encore s'accélérer. "Chez Anthropic, les enjeux sont bien compris, mais ils sont enfermés dans une course pour y parvenir les premiers : ils pensent que personne d'autre n'agira de façon responsable, donc qu'ils doivent le faire eux-mêmes, malgré le risque", expliquait l'ancien employé de l'entreprise, Jacob Coxon, lors de sa mise en garde en septembre dernier.
