Por qué un «interruptor de emergencia» para la IA no es una solución universal
Los recientes incidentes de ciberseguridad relacionados con agentes de IA, como el de Hugging Face y OpenAI, han llevado a los responsables políticos a plantearse si es necesario un «interruptor de emergencia» para la IA con el fin de evitar que unos sistemas cada vez más capaces causen un daño significativo e inminente. Sin embargo, esta expresión sugiere una simplicidad que no existe. Un «interruptor de emergencia» podría significar desde revocar los permisos de un agente hasta suspender un modelo o desactivar la infraestructura que sustenta un servicio. Antes de que los responsables políticos impongan dichos mecanismos, deberían plantearse una pregunta más fundamental: ¿qué riesgos abordaría realmente la obligación de apagar el sistema y qué nuevos riesgos podría generar?
Por ejemplo:
- Las medidas de seguridad de emergencia podrían consistir en distintos mecanismos que varían en cuanto a su alcance y efecto. Dichas medidas podrían bloquear el acceso de un usuario concreto, revocar los permisos de un agente, suspender un modelo, servicio o implementación concretos, o desactivar la infraestructura que aloja un modelo o a través de la cual se presta un servicio. La implementación de estos controles combinaría mecanismos técnicos, operativos y administrativos. La cuestión de quién controla la activación es una consideración aparte, ya que un proveedor puede actuar de forma independiente o en respuesta a una orden gubernamental, o bien puede ser otra parte la que active el mecanismo. La forma en que se diseña la medida de seguridad y qué entidad tiene la capacidad de activarla tienen implicaciones muy diversas para la seguridad y la continuidad del servicio.
- Es posible que las medidas de seguridad de emergencia no detengan todas las actividades. Por ejemplo, la suspensión de un modelo concreto no implica automáticamente que se interrumpan las tareas delegadas que ya se hayan iniciado. Es posible que no desactive las copias del modelo que se hayan descargado y se ejecuten de forma independiente.
- La aplicación eficaz de una medida de protección de emergencia depende del momento en que se lleve a cabo. Una intervención de emergencia requiere que se detecte o se prevea un problema y que se tomen medidas con la suficiente rapidez como para limitar los daños. En muchos casos, incluso la activación rápida de una medida de protección podría provocar daños si no se han establecido otras medidas de gestión de riesgos.
- La introducción de mecanismos de protección de emergencia puede generar nuevos riesgos. Una suspensión generalizada podría interrumpir los servicios para usuarios que no guardan relación alguna con la actividad que la ha motivado. Las empresas que dependen de un servicio afectado podrían sufrir interrupciones en sus propias operaciones. Además, incorporar la capacidad técnica para desactivar de forma remota un producto o servicio podría crear nuevas vías para la interferencia malintencionada o comprometer de otro modo la seguridad y la resiliencia. Las intervenciones normativas que prescriben implementaciones técnicas específicas pueden resultar menos adecuadas a medida que evolucionan los modelos y las implementaciones, lo que introduce vulnerabilidades e impide que los productos y servicios evolucionen.
- Si los requisitos de apagado de emergencia subsanarían las deficiencias de los controles de ciberseguridad existentes. Teniendo en cuenta los riesgos operativos y empresariales que puede acarrear un mecanismo de apagado, los responsables políticos que estén considerando nuevos requisitos deberían determinar en primer lugar los daños específicos que pretenden prevenir o mitigar y en qué aspectos se quedan cortos los requisitos y prácticas existentes. Las propuestas de nuevos requisitos deberían evaluar los costes y la posible introducción de un riesgo desproporcionado. Los responsables políticos también deben comprender que las obligaciones contradictorias a nivel estatal o internacional agravan estos retos. En los casos en que los requisitos tuvieran un impacto extraterritorial, los clientes podrían mostrarse preocupados por la continuidad del servicio, y los productos y servicios estadounidenses podrían perder confianza y competitividad.
- Las medidas de seguridad de emergencia deben considerarse como una parte de un enfoque integral de la gestión de riesgos de la IA. Los desarrolladores, integradores y responsables de la implantación de la IA deben mantener controles eficaces, proporcionados y seguros para hacer frente al uso indebido y al comportamiento inseguro de los modelos y agentes de IA. La capacidad de interrumpir o desactivar un sistema puede constituir una medida de seguridad importante, pero su eficacia depende de medidas y controles complementarios, tales como pruebas, restricciones de acceso, límites a los permisos de los agentes de IA, supervisión continua y planes de respuesta ante incidentes y de recuperación. Muchas de estas prácticas se describen en los marcos y normas de gestión de riesgos existentes, como el Marco de Gestión de Riesgos de la IA del NIST y la norma ISO/IEC 42001. La mera disponibilidad de una función de apagado no es suficiente para evaluar la seguridad general de un sistema.
Las medidas de seguridad de emergencia pueden desempeñar un papel importante en la gestión de riesgos de la IA y, en muchos casos, ya se tienen en cuenta en los programas de gestión de riesgos establecidos. Sin embargo, no son más que una parte de un enfoque más amplio. Antes de imponer una orden de apagado independiente, los responsables políticos deberían identificar la laguna que esta cubriría, sopesar los nuevos riesgos que podría generar y determinar quién está en mejor posición para actuar. La gestión de riesgos de la IA no puede depender de un único interruptor; requiere la aplicación de una variedad de medidas y controles.