Pourquoi un « dispositif d’arrêt d’urgence » pour l’IA n’est pas une solution miracle

Article

Les récents incidents de cybersécurité impliquant des agents d’IA, tels que celui opposant Hugging Face à OpenAI, ont incité les décideurs politiques à se demander si un « kill switch » (dispositif d’arrêt d’urgence) dédié à l’IA était nécessaire pour empêcher des systèmes de plus en plus performants de causer des dommages importants et imminents. Or, cette expression suggère une simplicité qui n’existe pas. Un « dispositif d’arrêt d’urgence » pourrait désigner aussi bien la révocation des autorisations d’un agent que la suspension d’un modèle ou la mise hors service de l’infrastructure prenant en charge un service. Avant d’imposer de tels mécanismes, les décideurs politiques devraient se poser une question plus fondamentale : quels risques une obligation d’arrêt permettrait-elle réellement de contrer, et quels nouveaux risques pourrait-elle engendrer ?

Par exemple :

  • Les mesures de sécurité d’urgence pourraient prendre la forme de différents mécanismes dont la portée et les effets varient. Ces mesures pourraient consister à bloquer l’accès d’un utilisateur donné, à révoquer les autorisations d’un agent, à suspendre un modèle, un service ou un déploiement particulier, ou encore à désactiver l’infrastructure qui héberge un modèle ou par l’intermédiaire de laquelle un service est fourni. La mise en œuvre de ces contrôles combinerait des mécanismes techniques, opérationnels et administratifs. La question de savoir qui contrôle l’activation relève d’une réflexion distincte, car un fournisseur peut agir de manière indépendante ou en réponse à un ordre gouvernemental, ou encore une autre partie peut activer le mécanisme. La manière dont la mesure de sécurité est conçue et l’entité habilitée à la déclencher ont des implications très différentes en matière de sécurité et de continuité du service.
  • Les mesures de sécurité d’urgence ne permettent pas nécessairement de mettre fin à toutes les activités. Par exemple, la suspension d’un modèle donné ne signifie pas automatiquement que les tâches déléguées déjà lancées seront interrompues. Elle peut ne pas désactiver les copies du modèle qui ont été téléchargées et qui s’exécutent de manière indépendante.
  • La mise en œuvre efficace d’une mesure de sauvegarde d’urgence dépend du moment choisi. Une intervention d’urgence nécessite que le problème soit détecté ou anticipé, et que des mesures soient prises suffisamment rapidement pour limiter les dommages. Dans de nombreux cas, même l’activation rapide d’une mesure de sauvegarde pourrait entraîner des dommages si aucune autre mesure de gestion des risques n’est en place.
  • La mise en place de mécanismes de sauvegarde d’urgence peut engendrer de nouveaux risques. Une suspension généralisée pourrait interrompre les services pour des utilisateurs n’ayant aucun lien avec l’activité à l’origine de cette mesure. Les entreprises qui dépendent d’un service concerné pourraient subir des perturbations dans l’ensemble de leurs propres activités. De plus, l’intégration de la capacité technique permettant de désactiver à distance un produit ou un service pourrait ouvrir de nouvelles voies à des ingérences malveillantes, ou compromettre d’une autre manière la sécurité et la résilience. Les interventions politiques qui imposent des mises en œuvre techniques spécifiques risquent de devenir moins adaptées à mesure que les modèles et les déploiements évoluent, ce qui introduirait des vulnérabilités et empêcherait les produits et services d’évoluer.
  • La question de savoir si des exigences en matière d’arrêt d’urgence permettraient de combler les lacunes des contrôles de cybersécurité existants. Compte tenu des risques opérationnels et commerciaux qu’un mécanisme d’arrêt pourrait entraîner, les décideurs politiques qui envisagent de nouvelles exigences devraient d’abord déterminer les préjudices spécifiques qu’ils cherchent à prévenir ou à atténuer, ainsi que les lacunes des exigences et pratiques existantes. Les propositions de nouvelles exigences devraient évaluer les coûts et l’introduction potentielle d’un risque disproportionné. Les décideurs politiques doivent également comprendre que les obligations contradictoires entre États ou au niveau international exacerbent ces défis. Lorsque les exigences auraient une portée extraterritoriale, les clients pourraient s’inquiéter de la continuité du service, et les produits et services américains pourraient perdre en crédibilité et en compétitivité.
  • Les mesures de sécurité d’urgence doivent être considérées comme un élément d’une approche globale de la gestion des risques liés à l’IA. Les développeurs, intégrateurs et déployeurs d’IA doivent mettre en place des contrôles efficaces, proportionnés et sécurisés afin de faire face aux utilisations abusives et aux comportements dangereux des modèles et agents d’IA. La possibilité d’interrompre ou de désactiver un système peut constituer une mesure de protection importante, mais son efficacité dépend de mesures et de contrôles complémentaires, tels que les tests, les restrictions d’accès, la limitation des autorisations accordées aux agents d’IA, la surveillance continue, ainsi que la planification de la réponse aux incidents et de la reprise après sinistre. Bon nombre de ces pratiques sont décrites dans les cadres et normes existants de gestion des risques, tels que le cadre de gestion des risques liés à l’IA du NIST et la norme ISO/IEC 42001. La simple disponibilité d’une fonctionnalité d’arrêt ne suffit pas à elle seule à évaluer la sécurité globale d’un système.

Les mesures de sécurité d’urgence peuvent jouer un rôle important dans la gestion des risques liés à l’IA et, dans de nombreux cas, sont déjà intégrées aux programmes de gestion des risques existants. Toutefois, elles ne constituent qu’un élément d’une approche plus large. Avant d’imposer une obligation d’arrêt autonome, les décideurs politiques devraient identifier la lacune qu’elle permettrait de combler, évaluer les nouveaux risques qu’elle pourrait engendrer et déterminer qui est le mieux placé pour agir. La gestion des risques liés à l’IA ne peut pas reposer sur un simple interrupteur ; elle nécessite la mise en œuvre d’une série de mesures et de contrôles.

Actualités et analyses connexes

Recherche basée sur l'IA

Suggestion

Sélectionnez la langue et la région

ITI affiche du contenu en fonction de la région que vous avez sélectionnée.
Sélectionnez « Mondial » pour ne plus recevoir ce contenu.