Informe: Gestión de riesgos de la inteligencia artificial en España
Autores
Equipo de RCG: Guillem Bas Graells, Roberto Tinoco, Jaime Sevilla Molina, Jorge Torres Celis, Mónica Ulloa Ruiz, Daniela Tiznado.
Descargar
La inteligencia artificial (IA) está experimentando un rápido avance que conlleva importantes riesgos globales. Para manejarlos, la Unión Europea está preparando un marco regulatorio que será probado por primera vez en un sandbox que albergará España. En este informe, revisamos qué riesgos deben tenerse en cuenta para gobernar efectivamente la IA y discutimos cómo el Reglamento europeo puede implementarse de manera efectiva.
Para facilitar su análisis, hemos clasificado los riesgos asociados a la IA en adversarios y estructurales. El primer grupo incluye aquellos riesgos en los que existe una relación directa entre el daño y su causante. En concreto, hemos identificado dos potenciales vectores de origen: actores maliciosos con intención de hacer un uso indebido de la IA y los propios sistemas de IA, que pueden perseguir metas de manera autónoma y contraria al interés humano. Esto último es destacado como un vector de riesgo inédito que requerirá de soluciones innovadoras.
En cuanto a las amenazas concretas asociadas a este riesgo, nos hemos enfocado en tres: (i) ciberataques y otros accesos no autorizados, (ii) desarrollo de tecnologías estratégicas, y (iii) manipulación de usuarios. Los ciberataques y otros accesos no autorizados consisten en el uso de la IA para ejecutar ofensivas cibernéticas con el objetivo de obtener determinados recursos; el desarrollo de tecnologías estratégicas consiste en el uso indebido de la IA para alcanzar ventajas competitivas en el ámbito militar o civil; y la manipulación de usuarios consiste en el uso de técnicas de persuasión o la presentación de información sesgada o falsa para condicionar el comportamiento humano.
Por otro lado, los riesgos estructurales son aquellos causados por el despliegue de la IA a escala masiva o en aplicaciones de gran impacto, y se enfocan generalmente en los efectos colaterales que tal disrupción tecnológica puede causar en la sociedad. En este caso, nos enfocamos en cinco: (i) disrupción laboral, (ii) desigualdad económica, (iii) amplificación de sesgos, (iv) inseguridad epistémica, y (v) automatización de procesos críticos de decisión y gestión. La disrupción laboral consiste en la pérdida masiva de empleos que son automatizados; la desigualdad económica supone que las grandes empresas desarrolladoras de IA concentran más riqueza y poder del mercado; la amplificación del sesgo hace referencia a los sesgos que los algoritmos puedan incorporar y generar en sus decisiones; la inseguridad epistémica indica que la IA puede dificultar la distinción de información correcta y relevante de aquella que no lo es, afectando la estabilidad sociopolítica y el correcto funcionamiento de un país; y por último, la automatización de procesos críticos consiste en la entrega del comando y control de infraestructura estratégica a la IA.
Dados los riesgos asociados a la inteligencia artificial, realizamos nueve recomendaciones para reforzar la implementación del Reglamento europeo para la IA, especialmente de cara al desarrollo del sandbox de España. Las propuestas están divididas en tres categorías: medidas para la fase de desarrollo de los sistemas de IA, medidas para la fase de despliegue y sugerencias para el ámbito de aplicación del Reglamento.
En cuanto a las medidas para la fase de desarrollo, priorizamos cuatro: (i) la detección y gobernanza de sistemas punteros, tomando el cómputo usado durante el entrenamiento como medida indicativa de las capacidades del modelo; (ii) las auditorías, con especial énfasis en las evaluaciones independientes del modelo; (iii) los ejercicios de red teaming para detectar potenciales usos indebidos y otros riesgos asociados a la IA; y (iv) el refuerzo de los sistemas de gestión y reducción de riesgo.
Para estas políticas, recomendamos que las autoridades públicas realicen un análisis sistemático del registro de sistemas de IA, prestando especial atención a aquellos con altos requerimientos computacionales de entrenamiento. Estos sistemas punteros deberán estar sometidos a auditorías externas, mientras que los demás deberán pasar evaluaciones internas llevadas a cabo por una función especial en la compañía. Para identificar potenciales usos indebidos, recomendamos también la realización de ejercicios de red teaming a través de una red de profesionales que identifique los riesgos principales y ensaye respuestas. Asimismo, pedimos que estas prácticas alimenten un sistema de gestión de riesgos exhaustivo y diligente.
En cuanto a la fase de despliegue, presentamos tres propuestas: (i) la recopilación de incidentes graves y riesgos asociados al uso de sistemas de alto riesgo en una base de datos analizada sistemáticamente por las autoridades para elaborar un informe anual de acceso público; (ii) el refuerzo de las responsabilidades legales de los proveedores durante toda la cadena de valor para incentivarlos a mantener la integridad de sus sistemas de IA; (iii) y el desarrollo de planes de intervención ante emergencias durante el seguimiento posterior a la comercialización.
Así pues, se propone compartir incidentes y riesgos en una base de datos que promueva el aprendizaje colectivo. Por otro lado, se sugieren medidas de seguridad para que los proveedores originales de sistemas de IA eviten alteraciones y usos indebidos de sus modelos, y se plantean salvaguardias y planes para asegurar la detección oportuna de productos que estén causando daño, así como la capacidad de ajustarlos o retirarlos.
Finalmente, pedimos (i) incluir los modelos fundacionales en el ámbito de aplicación del Reglamento y (ii) atender la gobernanza de la IA en sus aplicaciones militares. Para los modelos fundacionales, se sugiere que se asuman las obligaciones requeridas para los sistemas de alto riesgo y se ordene la realización de auditorías externas y ejercicios de red teaming. Para sistemas con usos militares, se insta al desarrollo de normas y principios generales en línea con el derecho internacional humanitario.
Figura 1. Resumen gráfico del informe
Agradecimientos
Agradecimientos especiales por su ayuda y comentarios a Pablo Villalobos, Pablo Moreno, Toni Lorente, José Hernández-Orallo, Joe O’Brien, Rose Hadshar, Risto Uuk, Samuel Hilton, Charlotte Siegmann, Javier Prieto, Jacob Arbeid y Malou Estier.
