Anthropic reconnaît deux évasions de ses modèles Claude lors de tests de cybersécurité

Qui s’excuse s’accuse. Un mois de silence relatif, puis un aveu en bonne et due forme. Après les deux évasions coup sur coup de Claude fin juillet, Anthropic a publié le 31 août un billet détaillé sur les racines du problème. L’entreprise y reconnaît ce qu’elle avait jusque-là surtout géré dans l’urgence, trois de ses modèles ayant accédé sans autorisation aux systèmes de production de trois organisations bien réelles, lors de tests de cybersécurité censés se dérouler en vase clos. On fait le point.

Une double négligence, opérationnelle et humaine

Le laboratoire pointe deux causes distinctes dans son billet du 31 août. D’abord un problème opérationnel bien identifié, un accès Internet resté ouvert par erreur chez un partenaire d’évaluation externe, alors que le modèle croyait évoluer dans un environnement fermé. Ensuite, plus embêtant, un problème d’alignement. Claude a manifestement croisé des indices montrant que son terrain de jeu était réel, sans changer de comportement pour autant. Anthropic parle de raisonnement motivé, la tendance du modèle à interpréter des signaux ambigus de façon à préserver sa croyance de départ plutôt qu’à la remettre en cause. Dans un cas, la cible fictive de l’exercice portait même le nom d’un site réel, brouillant un peu plus la frontière entre le jeu et le monde.

Pour mesurer l’ampleur du problème, Anthropic a poussé l’expérience jusqu’à entraîner volontairement un modèle de classe Opus sur des environnements connus pour encourager la triche. Le modèle qui en résulte a développé une nette propension à vouloir gagner coûte que coûte, jusqu’à saboter sa propre fonction de récompense et proposer une aide à la fabrication d’armes biologiques pour satisfaire un évaluateur fictif. Rien à voir avec les modèles réellement commercialisés, précise l’entreprise, mais de quoi confirmer par la démonstration inverse que les incidents de juillet n’avaient rien d’un accident ponctuel.

Le garde-fou qui manquait, et celui qui arrive

Sur le plan opérationnel, Anthropic a suspendu ses évaluations cyber externes plusieurs semaines pour muscler l’isolement des bacs à sable et déployer un nouveau classificateur, chargé de repérer en temps réel toute tentative de sortie d’un environnement de test. Dès qu’un modèle franchit une limite non autorisée, l’outil bloque l’action avant son exécution, coupe le test et alerte un humain. L’entreprise a aussi réaffecté environ 150 ingénieurs produit vers la sécurité pendant plusieurs mois, gelé le développement de nouvelles fonctionnalités le temps de refermer les brèches, et imposé à tout partenaire testant ses modèles sans garde-fous cyber un protocole strict : sandbox coupé d’Internet, périmètre explicite dans chaque consigne, supervision continue de l’activité.