Un haut responsable de la sécurité d'OpenAI démissionne en critiquant la culture du risque

Un nouveau départ qui fait écho à celui du chercheur Jacob Coxon. David Robinson, un employé de l'entreprise américaine OpenAI qui travaillait sur la sécurité de ses modèles d'intelligence artificielle (IA), a annoncé sa démission samedi 3 octobre, mettant en cause l'insuffisante culture du risque au sein de la start-up et la nécessité de s'inspirer du nucléaire ou de l'aviation.

David Robinson, qui a annoncé son départ sur le site du magazine américain The Atlantic, explique avoir dirigé l'écriture de tous les rapports de sécurité publiés par OpenAI lors de "chaque lancement majeur" d'un nouveau modèle d'IA. Selon l'ex-employé, qui a suivi une formation en droit et en philosophie, les différents incidents de cybersécurité révélés par OpenAI depuis le début de l'été (comme l'intrusion de plusieurs "agents" d'OpenAI dans les serveurs de la startup Hugging Face ou sur un site du gouvernement australien) témoignent d'une culture de l'approximation. Selon lui, cette culture "repose avant tout sur un optimisme sans réserve quant à la capacité à résoudre les problèmes au fur et à mesure qu'ils se présentent" ; mais "le temps du tâtonnement est révolu", estime David Robinson.

"Un environnement dans lequel des choses comme ça peuvent se produire n'est pas un endroit où développer des intelligences artificielles susceptibles de devenir plus intelligentes que nous et qui pourraient ne pas faire ce que nous attendons d'elles."

David Robinson, ex-employé d'OpenAI dans "The Atlantic"

Les erreurs et les insuffisances qui ont permis ces incidents sont liées, selon David Robinson, "à la vitesse et à la flexibilité avec laquelle opèrent" les opérateurs de cette technologie. L'ex-employé d'OpenAI propose d'adopter la même culture du risque que dans le nucléaire civil ou l'aviation, avec plusieurs niveaux de contrôle et une planification rigoureuse. De cette manière, "une erreur humaine occasionnelle et inévitable n'ouvre pas la porte à un désastre", écrit-il. David Robinson insiste aussi sur la notion d'alignement, c'est-à-dire l'adhésion des modèles aux valeurs humaines et aux instructions de leurs concepteurs.