Anthropic a rendu public jeudi un rapport détaillant des cas d’utilisation abusive de ses modèles d’intelligence artificielle, dont Claude, pour des travaux pouvant relever de la conception d’armes biologiques. L’entreprise indique avoir interrompu ces usages et banni les comptes impliqués. Le document couvre également d’autres détournements, comme la surveillance, la création d’exploits logiciels, la propagande ou des systèmes d’armement.
Des cas documentés et des signaux détectés
Le rapport d’Anthropic présente cinq études de cas dans lesquelles ses modèles ont été employés pour des recherches à finalité biologique potentiellement dangereuse. L’entreprise précise que la détection de ces usages est complexe, car un projet de vaccin peut ressembler à la mise au point d’un agent biologique. Face à cette ambiguïté, elle affirme avoir choisi la prudence, compte tenu des conséquences possibles.
Un cas daté de mai concerne une requête adressée à Claude pour rédiger une demande de subvention portant sur des recherches dites de gain de fonction sur le virus chikungunya. Ce virus ne dispose d’aucun traitement homologué et peut provoquer des symptômes incapacitants pendant des semaines ou des mois. La recherche proposée visait à accroître sa transmissibilité et sa capacité à échapper à la réponse immunitaire. Anthropic signale que l’affiliation du projet à un institut de recherche militaire a renforcé le caractère suspect de la demande.
D’autres cas impliquent des recherches similaires sur la grippe aviaire, ainsi qu’un chercheur utilisant Claude pour élaborer un atlas de peptides toxiques issus de venins et une chaîne de génération optimisant les caractéristiques des toxines. Dans chaque situation, c’est un classificateur de sécurité biologique qui a déclenché l’alerte.
Un équilibre délicat entre recherche légitime et détournement
Jacob Klein, responsable du renseignement sur les menaces chez Anthropic, souligne que les cas ne ressemblent pas à une intention caricaturale de nuire. La difficulté tient à la proximité entre des travaux scientifiques légitimes et des usages préoccupants. Les modèles récents, comme Fable 5, sont de plus en plus performants pour assister la recherche scientifique, ce qui accroît selon l’entreprise le risque de détournement.
Anthropic indique que les personnes et institutions mises en cause ne sont pas nommées. L’entreprise précise qu’il s’agit de scientifiques en activité, qu’elle ne leur attribue pas d’intention de nuire et qu’une identification pourrait leur porter préjudice. Les mesures prises se limitent au bannissement des comptes concernés et à l’exploitation des enseignements tirés de ces enquêtes pour améliorer les protections des modèles.
Conséquences pour les utilisateurs et les développeurs
Pour les utilisateurs de Claude, ces révélations signifient que les garde-fous peuvent ralentir ou bloquer des requêtes légitimes dans des domaines sensibles, notamment la biologie, la santé ou la sécurité. Les chercheurs travaillant sur des agents pathogènes, des toxines ou des modifications génétiques doivent s’attendre à des vérifications supplémentaires. Les développeurs d’applications fondées sur ces modèles devront aussi intégrer ces restrictions dans leurs propres usages.
Pour Anthropic, l’enjeu est de maintenir un accès utile à la recherche tout en empêchant des détournements graves. L’entreprise indique que les conclusions de ces enquêtes servent à renforcer les mécanismes de sécurité, sans détailler les modifications apportées. Elle ne précise pas non plus combien de comptes ont été bannis ni la nature exacte des sanctions au-delà de la suspension.
Ce qui est confirmé : cinq cas de recherche biologique problématique, des alertes déclenchées par un classificateur dédié, des comptes bannis et un renforcement des protections. Ce qui reste inconnu : l’identité des personnes et institutions concernées, le nombre total de comptes visés, les éventuelles suites judiciaires ou institutionnelles, ainsi que les changements techniques précis apportés aux modèles.