Propuestas para el sandbox regulatorio de IA en España
por Guillem Bas, Jaime Sevilla y Mónica Ulloa
Resumen: La Unión Europea está diseñando un marco regulatorio para la inteligencia artificial (IA) que podría ser aprobado a finales de 2023. Este reglamento prohíbe prácticas consideradas inaceptables y estipula requisitos para sistemas de IA en sectores críticos. Estas obligaciones consisten en un sistema de gestión de riesgos, un sistema de gestión de calidad y un seguimiento posterior a la comercialización. La ejecución de la legislación será probada por primera vez en España, en un sandbox regulatorio de aproximadamente tres años. Esta será una gran oportunidad para preparar al ecosistema nacional e influenciar el desarrollo de la gobernanza de la IA a nivel internacional. En este contexto, presentamos varias políticas a considerar, incluyendo auditorías independientes, la detección y evaluación de sistemas punteros, ejercicios de simulación de ataques y la creación de una base de datos de incidentes.
Introducción
Todo apunta a que la Unión Europea se convertirá en la primera entidad política de gran magnitud en aprobar un marco regulatorio exhaustivo para la inteligencia artificial (IA). El 21 de abril de 2021, la Comisión Europea presentó el Reglamento por el que se establecen normas armonizadas en materia de inteligencia artificial. Esta iniciativa legislativa abarca todo tipo de sistemas de IA en todos los sectores excepto el militar, convirtiéndose en el plan más ambicioso hasta la fecha para regular la IA.
Como explicaremos a continuación, España liderará la implementación de este reglamento en el contexto de un terreno de pruebas o sandbox. Ésta es una oportunidad para que el Gobierno de España contribuya a establecer buenas prácticas de auditoría y regulación que puedan adoptarse en otros estados miembros.
El presente artículo se divide en seis apartados. En primer lugar, contamos una breve historia del Reglamento. La segunda parte resume la propuesta legislativa de la Comisión Europea. La tercera sección detalla el primer entorno de pruebas de esta regulación, realizado en España. La cuarta relaciona los organismos públicos involucrados en el entorno de pruebas. La quinta sección explica la relevancia de este ejercicio. Y, finalmente, presentamos propuestas para mejorar la gobernanza de riesgos asociados a la IA en este contexto. Concluimos que este proyecto otorga una oportunidad excelente para desarrollar una cultura de IA responsable y determinar la efectividad de diversas políticas.
Breve historia del Reglamento
Las bases para la elaboración del texto se remontan a 2020, cuando la Comisión Europea publicó el Libro blanco sobre la inteligencia artificial. Ese fue el inicio de un proceso de consultas y una posterior hoja de ruta que contó con la participación de centenares de actores interesados y del que resultó la mencionada propuesta.
Tras su publicación, la Comisión recibió 304 comentarios formales, dando paso a un proceso de revisión que involucra al Parlamento Europeo y al Consejo de la Unión Europea en virtud de órganos legislativos. En diciembre de 2022, el Consejo adoptó una postura común. En el caso del Parlamento, la votación para acordar una postura conjunta está prevista para mayo (Bertuzzi, 2023). El triálogo se iniciará inmediatamente después y la versión definitiva podría ser aprobada a finales de 2023, por lo que entraría en vigor a principios de 2024.
Resumen del Reglamento [1]
El principal punto de partida de la propuesta de ley es la clasificación de los sistemas de IA según el nivel de riesgo que implican. En concreto, la propuesta se basa en una jerarquía que distingue entre riesgos inaceptables, altos, limitados y mínimos. Los dos primeros son el objeto principal de la regulación.
Como parte de la categoría de riesgos inaceptables, quedan prohibidas prácticas que supongan una amenaza clara para la seguridad, los medios de subsistencia y los derechos de las personas. Por el momento, tres prácticas se han considerado inaceptables por ir en contra de los valores europeos: alterar el comportamiento humano para causar daño; evaluar y clasificar personas según su conducta social; y usar sistemas de identificación biométrica remota en tiempo real en espacios públicos, salvo en casos de emergencia.
Por otro lado, los sistemas de alto riesgo son aquellos con el potencial de causar un mayor impacto por desplegarse en sectores críticos, incluyendo las infraestructuras esenciales, la educación, el empleo, los servicios públicos y privados esenciales, la aplicación de la ley y la gestión de fronteras. En este caso, varios requerimientos pesan sobre el desarrollo e implementación de todos los productos.
En primer lugar, se requiere que los proveedores de sistemas de alto riesgo establezcan, implementen, documenten y mantengan un sistema de gestión de riesgos en dos fases. Primeramente, se deberán identificar y evaluar riesgos conocidos y previsibles, tanto antes como después de la comercialización. Los riesgos podrán considerarse “conocidos” o “previsibles” si el desarrollador del sistema de IA debería conocerlo al adoptar un nivel razonable de diligencia. Actualmente, pero, el Reglamento no explica claramente qué constituye “un nivel razonable de diligencia”.
La segunda fase consiste en reducir los riesgos detectados a un nivel aceptable: los proveedores deberán eliminar completamente los riesgos en la medida de lo posible o, en caso contrario, implementar medidas de mitigación y control, así como entrenar a los usuarios para que hagan un uso responsable. De esta manera, el sistema de gestión de riesgos será un proceso a repetir hasta que todos los riesgos identificados sean aceptables. La identificación de riesgos inaceptables que no puedan ser reducidos implicará la detención inmediata del desarrollo y/o despliegue del sistema de IA en cuestión (Schuett, 2023).
En paralelo, los proveedores desarrollarán un sistema de gestión de calidad que asegure que el desarrollo y verificación del sistema de IA cumplan con el Reglamento. Antes de la salida al mercado, los desarrolladores deberán proporcionar documentación técnica que incluya detalles del diseño y la arquitectura del sistema. Adicionalmente, los conjuntos de datos de entrenamiento deberán haber seguido pautas de gobernanza referentes a la elección de un diseño adecuado, operaciones de tratamiento oportunas y detección de posibles deficiencias y sesgos.
También se expondrán los procedimientos destinados a reforzar la ciberseguridad y la robustez, es decir, la resistencia del sistema ante alteraciones. Paralelamente, se requerirán medidas de transparencia como facilitar instrucciones de uso accesibles y, cuando aplique, informar al usuario de que está interactuando con una IA. Con base en la documentación, se realizarán procedimientos de evaluación mayoritariamente internos. En caso de pasar esta examinación, los sistemas de IA quedarán avalados por una declaración de conformidad redactada por el proveedor y a disposición de las autoridades.
Durante todo el periodo de uso, los sistemas deberán estar supervisados por humanos que comprendan las capacidades y limitaciones del modelo y puedan intervenir en su funcionamiento en caso de ser necesario. En paralelo, los eventos (logs) ocurridos durante todo el ciclo de vida serán registrados automáticamente para garantizar trazabilidad. En el seguimiento posterior a la comercialización, todo incidente grave o fallo deberá ser notificado. En este caso, las autoridades europeas de vigilancia del mercado tendrán derecho a acceder a datos, documentación y código fuente. Cuando el operador sea incapaz de adoptar medidas correctoras, también se les concederá la potestad de prohibir o restringir la comercialización del sistema.
Para la implementación de la regulación, la UE apuesta por la creación de entornos controlados de prueba o sandboxes, los cuales tienen el objetivo de identificar y solucionar problemas potenciales en la aplicación del Reglamento. Estos entornos estarán disponibles mediante convocatoria, para que empresas y organizaciones que deseen probar nuevas soluciones de IA participen en ellos. Los proyectos seleccionados para integrar los sandboxes podrán compartir información y conocimientos, fomentando así la colaboración y el intercambio de experiencias y mejores prácticas. Además, recibirán acceso a asesoramiento y orientación de expertos, contando con un entorno seguro y controlado para probar soluciones de IA antes de su lanzamiento al mercado. Los resultados de las pruebas realizadas contribuirán a los esfuerzos de la Comisión Europea en la aplicación eficaz del nuevo Reglamento y facilitarán la flexibilización y adaptación de las normas a las necesidades reales que demande esta tecnología (Rodríguez, 2022).
En este contexto, la regulación ordena que se asignen autoridades nacionales de supervisión e introduce el Comité Europeo de Inteligencia Artificial como nexo de todos los organismos estatales. Durante el sandbox, las autoridades nacionales deberán presentar informes anuales al Comité y a la Comisión, incluyendo resultados, enseñanzas y recomendaciones.
España como terreno de pruebas
En junio de 2022, el Gobierno de España y la Comisión Europea presentaron conjuntamente el primer sandbox regulatorio para el desarrollo de la inteligencia artificial en la Unión Europea (MINECO, 2022). Desde el segundo semestre de 2022, se está llevando a cabo la primera fase de este sandbox, en la cual se está desarrollando un marco legal nacional y se están decidiendo las directrices que permitirán su operativa. Esto implica determinar aspectos como el proceso de selección de compañías que van a participar, la forma de gestión y protección de los datos con los que se trabaje en el entorno de pruebas, así como la participación de otros países que quieran unirse al piloto (Rodríguez, 2022). A la fecha de publicación de este artículo, el Gobierno está ultimando el real decreto que oficializará el inicio del proyecto y ya ha empezado a invitar a las empresas que formarán parte de él (Aguilar, 2023). Se espera que las pruebas tengan una duración aproximada de tres años.
En el sandbox se buscará un proceso de aprendizaje iterativo a través de la experiencia, que permita ajustar las directrices a medida que se avanza en las pruebas. Además, se llevarán a cabo informes que evalúen la eficacia y los costos de las diversas estrategias para la implementación de la inteligencia artificial, y se analizarán las sinergias en distintos mercados en relación a su funcionamiento en el sandbox. Esto resultará beneficioso no solo para España, sino también para todos los países de la Unión Europea.
El presupuesto estimado para su desarrollo es de 4,3 millones de euros. Esta financiación fue asignada a través del Plan de Recuperación, Transformación y Resiliencia, que canaliza los fondos de recuperación europeos Next Generation. En general, el plan asigna un total de 500 millones a la Estrategia Nacional de Inteligencia Artificial (ENIA), que menciona entre sus objetivos “el desarrollo de la normativa necesaria para permitir sandboxes regulatorios”. El proyecto ha sido incluido en la agenda España Digital 2026, entre las medidas para un marco normativo y ético para el despliegue de la IA.
Los principales motivos de la decisión de que en España se implemente el primero de los sandboxes propuestos por la UE han sido la proactividad y predisposición mostrada. Se trata del primer país en crear una agencia supervisora del Reglamento y parece que es el que más firmemente ha querido invertir en la iniciativa. Las autoridades nacionales consideran que es una gran oportunidad para impulsar todo el ecosistema español en el desarrollo responsable de la IA.
Otro punto fuerte de España puede haber sido la reciente experiencia con un sandbox en el sector fintech, previsto en la ley 7/2020. La iniciativa fue considerada un éxito internacional tras recibir 67 proyectos que integraban tecnologías como la biometría, blockchain, computación en la nube, IA o Internet of Things (IoT) (MINECO, 2021).
Finalmente, es probable que el prestigio internacional de las caras visibles del Gobierno haya ayudado a confiar en España para este desafío. Nadia Calviño, vicepresidenta primera y ministra de Asuntos Económicos y Transformación Digital, trabajó en la Comisión Europea entre 2006 y 2018, alcanzando puestos de Directora General. Por su parte, la Secretaria de Estado de Digitalización e Inteligencia Artificial, Carme Artigas, es una reconocida experta internacional en Big Data e IA.
Organismos involucrados
La Agencia Española de Supervisión de la Inteligencia Artificial (AESIA) es el actor designado para garantizar la correcta aplicación del Reglamento. La Coruña será la sede de esta futura Agencia Estatal que deberá actuar como polo de atracción y mitigador de los riesgos asociados a la IA, tanto durante el sandbox como en la continua implantación de la ENIA. Este organismo de reciente creación, aprobado en los Presupuestos del Estado de 2022, cuenta con personalidad jurídica propia y está adscrito a la Secretaría de Estado de Digitalización e Inteligencia Artificial (SEDIA). Esta última es el órgano superior del Ministerio de Asuntos Económicos y Transformación Digital (MINECO) que se encarga de impulsar la digitalización de la sociedad y economía de forma respetuosa con los derechos individuales y colectivos, y el ordenamiento jurídico español. A la par, también estará colaborando con estos organismos el Consejo Asesor de la IA, un órgano consultivo formado por cerca de una veintena de expertos que proporcionan recomendaciones independientes al gobierno para promover un uso seguro y ético de la IA. Finalmente, el Instituto Nacional de Ciberseguridad (INCIBE) dará soporte en materia de seguridad informática.
A nivel europeo, el Comité Europeo de la Inteligencia Artificial será el encargado de coordinar las agencias nacionales, compartir conocimiento técnico y buenas prácticas, uniformizar procesos administrativos, y emitir recomendaciones. La Comisión Europea, por su parte, continuará elaborando e implementando políticas, principalmente a través de la Dirección General de Redes de Comunicación, Contenido y Tecnología (DG-CNET). En este caso, el Centro Común de Investigación (JRC) y el Grupo de expertos de alto nivel sobre inteligencia artificial serán quienes proporcionen el conocimiento científico y presenten propuestas. Finalmente, el Supervisor Europeo de Protección de Datos será la autoridad competente para la vigilancia del mercado cuando las instituciones, agencias y organismos de la Unión Europea entren en el ámbito de aplicación del Reglamento.
Potencial relevancia del sandbox
El banco de pruebas realizado en España será una gran oportunidad para sumar experiencia en la gobernanza de la IA. Los recientes avances en esta tecnología han atraído mucho interés público y parte de esta atención se ha dirigido a los riesgos asociados a su desarrollo e implementación. La sociedad alimenta ahora un debate que apenas había salido de los círculos académicos e impele a los actores implicados a asumir responsabilidades. Se inicia, así, un proceso de concienciación que se debe consolidar.
Es difícil determinar qué soluciones van a ayudar a canalizar beneficiosamente el desarrollo de la IA. La gobernanza de la IA es una disciplina joven y no existe consenso académico. Sin embargo, existen diversas propuestas prometedoras, que han sido implementadas con éxito en otras industrias y cuentan con la aprobación de la mayor parte de los expertos internacionales.
Actualmente, la prioridad es ejecutar eficazmente el Reglamento europeo y evaluar la adecuación de sus requerimientos. Pero el sandbox en España, un espacio reducido y controlado, es también un entorno ideal para probar la viabilidad de políticas complementarias que refuercen las exigencias europeas. En este sentido, las pruebas realizadas tendrán una enorme influencia en el resto de la Unión Europea, y esta afectará también al resto del mundo (Siegmann & Anderljung, 2022). Más allá de esto, una exitosa gestión de los riesgos menores es el fundamento para abordar casos más complejos, incluyendo riesgos catastróficos.
Propuesta de gobernanza
En esta sección exponemos algunas medidas a considerar para la gobernanza de IA en el contexto europeo, las cuales podrían practicarse en el sandbox de España. Sugerimos explorar auditorías independientes, la detección y evaluación de sistemas punteros, la simulación de ataques para detectar vulnerabilidades (red teaming) y la creación de una base de datos de incidentes.
Una de las prácticas más avaladas para aumentar la confianza en los sistemas de IA es el uso de auditorías independientes para examinar los procedimientos de las empresas (Brundage et al., 2020, sección 2.1). El Reglamento ya exige a los desarrolladores que rindan cuentas y colaboren con las autoridades, pero implementar auditorías de tercera parte puede ser un paso adicional para fortalecer los mecanismos de verificación y asegurar el cumplimiento de responsabilidades (Floridi et al., 2022). Existe, además, la necesidad de optimizar estos procedimientos para adaptarlos a las peculiaridades de la IA, algo que se podría probar en el sandbox. Mökander et al. (2023) proponen un sistema de auditorías en tres capas, integrando las estructuras de gobernanza de la organización, el impacto y conformidad de sus aplicaciones, y las capacidades y limitaciones técnicas del modelo. En cuanto a esto último, sería positivo que los auditores tuvieran acceso de ejecución al modelo en el propio hardware de la empresa desarrolladora, facilitando la logística de la auditoría y minimizando el riesgo de filtraciones de información confidencial (Shevlane, 2022). Incluir estas praxis en la experiencia española constituiría una experiencia fundamental para revelar posibles trabas prácticas y estratégicas, especialmente en cuanto a las reticencias por asuntos de confidencialidad.
A nivel público, recomendamos que el Estado desarrolle sus capacidades para detectar y evaluar sistemas punteros. Los riesgos derivados de la IA se concentran en el entrenamiento y despliegue de sistemas generales con nuevas capacidades. Para definir qué sistemas deben considerarse punteros, sugerimos utilizar una medida basada en los recursos computacionales para entrenar el modelo. El cómputo utilizado para entrenar los modelos, medido en términos de operaciones de coma flotante (FLOP), es una variable predictiva de las capacidades resultantes (Sevilla et al, 2022). En su anexo IV, el Reglamento europeo requiere que la documentación técnica describa los recursos informáticos utilizados para el desarrollo, el entrenamiento, la prueba y la validación del sistema de IA –esto podría incluir también el cómputo usado en el entrenamiento–. Si bien los documentos técnicos son de elaboración y uso internos, sería recomendable que desde el primer momento se pusiera a conocimiento de las autoridades el desarrollo de sistemas que superen una determinada cantidad de FLOP. En estos casos, se podrían aplicar procesos extraordinarios de auditoría externos, centrados en determinar capacidades peligrosas como, por ejemplo, manipulación de usuarios vulnerables, adquisición autónoma de recursos o asistencia en crímenes (OpenAI, 2023a). La comercialización de los sistemas punteros estaría condicionada al aval del auditor.
La participación del Instituto Nacional de Ciberseguridad (INCIBE) también puede ayudar a incorporar prácticas habituales en la ciberseguridad. Un ejercicio relevante es el red teaming, es decir, la simulación de ataques para detectar vulnerabilidades. Esta práctica está siendo adoptada por algunos de los grandes desarrolladores de IA como un mecanismo para identificar y corregir comportamientos peligrosos. En el caso de GPT-4, por ejemplo, OpenAI contó con un equipo de investigadores y profesionales de diversas industrias que trataron de incitar contenido nocivo como discursos de odio, información para fabricar armas o tendencias subversivas (OpenAI, 2023b). Consolidar esta práctica, en conjunto con las auditorías, sería positivo para aumentar el nivel de robustez de los sistemas antes de ser lanzados al público. Esto deviene especialmente importante para sistemas de alto riesgo, sobre todo aquellos en los que la IA influye significativamente en decisiones críticas –diagnosis médicas, análisis financieros, etc.–. En España, el INCIBE y la AESIA podrían coordinarse para institucionalizar estos procesos, creando una red de profesionales independientes enfocados en la identificación de riesgos y ensayo de respuestas. Esto sería especialmente provechoso para distribuir costes y compartir información entre los diversos actores del ecosistema (Brundage et al., 2020), así como para garantizar que la práctica se estandarice transversalmente con independencia de los intereses y posibilidades de cada desarrollador.
Finalmente, las autoridades también podrían cooperar para crear una base de datos para compartir incidentes. Esta solución podría ser impulsada en el sandbox y posteriormente escalada a nivel europeo, algo que Future of Life Institute y un grupo de expertos de la Universidad de Cambridge han propuesto en su respectivo feedback al Reglamento. Una compilación de incidentes graves y fallos de funcionamiento, que el artículo 62 ya ordena reportar, sería un recurso útil para facilitar el aprendizaje conjunto de los actores implicados. En este caso, la iniciativa de Partnership on AI podría ser fuente de inspiración.
Conclusión
El Reglamento europeo es un paso crucial en el esfuerzo colectivo para alinear el desarrollo de la IA con los intereses humanos. La inminente regulación presenta un exhaustivo marco legal que debe servir de base para abordar exitosamente los riesgos asociados tanto a los sistemas actuales como a escenarios futuros más complejos. Procedimientos como el sistema de gestión de riesgos, el sistema de gestión de calidad o el seguimiento post-comercialización constituyen pautas de gobernanza pioneras que serán referencia tanto en Europa como, presumiblemente, en el resto del mundo.
En este contexto, España ha sabido asegurarse, a través de un sandbox regulatorio, una posición privilegiada para influenciar la definición y ejecución del texto legislativo. En vista de la oportunidad, presentamos varias políticas que pueden ser aplicadas a nivel nacional para complementar el Reglamento y expandir su alcance: la realización de auditorías independientes; la evaluación pública del progreso con base en un seguimiento del poder computacional; el establecimiento de equipos de profesionales para ejercicios de red teaming; y la elaboración de bases de datos para compartir incidentes entre desarrolladores.
La implementación de todas estas recomendaciones es factible a corto plazo y no debería ser contraproducente. Si bien las propuestas son exploratorias, estimamos que los costes tangibles y potenciales serían relativamente bajos, compensados por los beneficios esperados. En este sentido, la posibilidad de experimentación provee el valor principal, por lo que el sandbox es una excelente oportunidad para probar políticas.
Agradecemos a Javier Prieto, Pablo Villalobos y Pablo Moreno sus comentarios sobre este artículo. Fernando Irrázabal y Claudette Salinas contribuyeron a la edición del artículo.
Notas al pie
[1] Para acotar el artículo y facilitar su comprensión, no se tienen en cuenta las enmiendas del Parlamento Europeo y la postura del Consejo. En cualquier caso, se prevé que las líneas generales de la regulación no cambien demasiado.
-
Aguilar, A. R. (2023, 6 de marzo). El Gobierno ya está invitando a grandes empresas al ensayo del Reglamento de la IA: quiere resultados para noviembre. Business Insider. https://www.businessinsider.es/gobierno-ya-invita-empresas-ensayos-reglamento-ia-1209262
Bertuzzi, L. (2023, 30 de marzo). AI Act: MEPs close in on rules for general purpose AI, foundation models. EURACTIV. https://www.euractiv.com/section/artificial-intelligence/news/ai-act-meps-close-in-on-rules-for-general-purpose-ai-foundation-models/
Brundage, M. et al. (2020). Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims. https://doi.org/10.48550/arXiv.2004.07213
Floridi, L.; Holweg, M.; Taddeo, M.; Amaya Silva, J.; Mökander, J.; Wen, Y. (2022). capAI - A Procedure for Conducting Conformity Assessment of AI Systems in Line with the EU Artificial Intelligence Act. http://dx.doi.org/10.2139/ssrn.4064091
MINECO (2021, 24 de febrero). El Sandbox financiero recibe en su primera convocatoria un total de 67 proyectos. Ministerio de Asuntos Económicos y Transformación Digital. https://portal.mineco.gob.es/es-es/comunicacion/Paginas/210224_np_-Sandbox.aspx
MINECO (2022, 27 de junio). El Gobierno de España presenta, en colaboración con la Comisión Europea, el primer piloto del sandbox de regulación de Inteligencia Artificial en la UE. Ministerio de Asuntos Económicos y Transformación Digital. https://portal.mineco.gob.es/es-es/comunicacion/Paginas/20220627-PR_AI_Sandbox.aspx
Mökander, J.; Schuett, J.; Kirk, H. R. & Floridi, L. (2023). Auditing large language models: a three-layered approach. https://doi.org/10.48550/arXiv.2302.08500
OpenAI (2023a). GPT-4 System Card. https://doi.org/10.48550/arXiv.2303.08774
OpenAI (2023b). GPT-4 Technical Report. https://doi.org/10.48550/arXiv.2303.08774
Rodríguez, B. (2022, 29 de septiembre). España Lanza el primer piloto de “AI regulatory sandbox” de la Unión Europea. Observatorio IA de AMETIC. https://observatorio-ametic.ai/regulacion-de-la-inteligencia-artificial/espana-lanza-el-primer-piloto-de-ai-regulatory-sandbox-de
Sevilla, J.; Heim, L.; Ho, A.; Besiroglu, T.; Hobbhahn, M. & Villalobos, P. (2022). Compute Trends Across Three Eras of Machine Learning. https://doi.org/10.48550/arXiv.2202.05924
Schuett, J. (2023). Risk Management in the Artificial Intelligence Act. European Journal of Risk Regulation, 1-19. https://doi.org/10.1017/err.2023.1
Shevlane, T. (2022). Structured Access. An Emerging Paradigm for Safe AI Deployment. https://doi.org/10.48550/arXiv.2201.05159
Siegmann, C. & Anderljung, M. (2022). The Brussels Effect and Artificial Intelligence. Centre for the Governance of AI.
