El algoritmo decide, tú no puedes reclamar: nuevas investigaciones exponen las carencias del sistema español y europeo

El problema es real y ya está pasando en España

Los daños provocados por sistemas algorítmicos no son ciencia ficción. Según las investigaciones de IA Ciudadana, casos como la sanción a AENA por usar reconocimiento facial sin garantías, la sentencia del Tribunal Supremo que obligó al Gobierno a entregar el código fuente del sistema BOSCO (bono social eléctrico) o la multa impuesta a Amazon en Cataluña por ocultar los algoritmos que medían la productividad de sus trabajadores demuestran que los perjuicios van desde la discriminación hasta la pérdida de acceso a prestaciones sociales básicas.

Otra de las investigaciones de la coalición documenta cómo se están desplegando sistemas de reconocimiento facial y de supuesta "lectura de emociones" en calles, estaciones, fronteras y contextos policiales. A pesar de que la legislación europea prohíbe la vigilancia biométrica masiva, la excepción de seguridad nacional da cabida a todo tipo de controles excesivos, con claro componente racista, como explican Judith Membrives, responsable de IA y Derechos Humanos en Lafede y Youssef M. Ouled, investigador en Algorace.

“Hay una cadena de protección que debería funcionar y que está rota en cada uno de sus eslabones: desde la transparencia sobre qué algoritmos se están usando, a la evaluación previa de cómo nos afectan, pasando por el control de sus usos más invasivos -como la vigilancia en el espacio público- y terminando por el derecho a reclamar. Los algoritmos que deciden sobre nuestras vidas ya están aquí y ninguna de esas barreras de control funciona como debería”, resume Celia Zafra, de Political Watch, una de las entidades de la coalición.

Hay normas, pero están fragmentadas

Una de las investigaciones presentadas analiza todo el marco normativo aplicable, desde el ámbito internacional (ONU, UNESCO, OCDE, Consejo de Europa) hasta el europeo (RGPD, Reglamento de Servicios Digitales, Reglamento de IA) y el español (LOPDGDD, Carta de Derechos Digitales, Anteproyecto de Gobernanza de la IA). La conclusión es significativa: una misma vulneración algorítmica puede quedar cubierta por varias normas simultáneamente o, paradójicamente, no encajar plenamente en ninguna de ellas.

Las personas afectadas se pierden en el laberinto

Existen al menos tres autoridades distintas que pueden recibir una reclamación por daño algorítmico (la Agencia Española de Protección de Datos, la Comisión Nacional de los Mercados y la Competencia y las autoridades de vigilancia del mercado, incluida la AESIA), cada una con lógicas y procedimientos diferentes. Además, en las vías previstas por el Reglamento de IA y el Anteproyecto español, la persona que denuncia ni siquiera adquiere automáticamente la condición de parte interesada en el procedimiento. El sistema, según el informe, está más pensado para controlar el mercado que para reparar a quien sufre el daño. El laberinto sigue si se busca una reparación, para lo que no queda otro remedio que a otras vías tradicionales: vía judicial civil, social o a instancias superiores de la vía administrativa.

Las conclusiones preliminares de esta nueva investigación sobre reclamaciones por vulneración de derechos corresponde a la primera fase de un proyecto más amplio. Las siguientes fases se dedicarán a diseñar, junto con la sociedad civil y las comunidades afectadas, una guía para crear un sistema de reclamación que sea accesible, transversal y sensible a los daños colectivos que producen los sistemas algorítmicos y de IA, algo que hoy no existe en España ni en la Unión Europea.

El escándalo SyRI en Países Bajos -un algoritmo de fraude que discriminaba a madres jóvenes solteras y minorías étnicas en ayudas sociales- que provocó la dimisión del gobierno, muestra por qué es imprescindible una evaluación previa de impacto antes de empezar a utilizar ningún sistema de decisión automatizado, como recuerda David Sánchez, director de la Federación de Consumidores y Usuarios (CECU). Tampoco existe un registro público de algoritmos a nivel estatal, lo que impide conocer dónde se están aplicando estas tecnologías, tal y como señala David Cabo, co-director de Civio.

Las organizaciones también han valorado el ómnibus digital europeo, la propuesta de la Comisión Europea que, según más de 120 organizaciones de la sociedad civil —entre ellas las que conforman la plataforma IA Ciudadana—, supone el mayor recorte de derechos digitales en la historia de la UE, al debilitar la protección de datos personales y los requisitos de protección, reclamación y reparación del Reglamento Europeo de Inteligencia Artificial antes incluso de su plena entrada en vigor, así como del Reglamento General de Protección de Datos y el Reglamento de Servicios Digitales, entre otros. Con este paquete desregulador, la UE está tratando de modificar el equilibrio de poder, pasando de las protecciones individuales a la impunidad empresarial, y cediendo a los intereses lucrativos de los gigantes tecnológicos que a menudo operan a costa de nuestros derechos.

"Conviene garantizar que todas las innovaciones que se dan en el campo de la IA sean en pro del impacto. Por eso, como ecosistema de impacto, tiene todo el sentido facilitar conversaciones e iniciativas como las de la jornada de hoy", explica Nathalie Alvaray, directora de la Consultoría Impact Hub, entidad que ha cedido el espacio del evento celebrado en la tarde de ayer, que se cerró con la intervención de la investigadora del CSIC y pensadora sobre tecnología Remedios Zafra.

¿Qué es IA Ciudadana?

Es una coalición de 19 organizaciones que trabajan para defender los derechos humanos en el contexto de las tecnologías digitales. Nuestro objetivo es ampliar los espacios de participación de la sociedad en la regulación y en la gobernanza de la inteligencia artificial y los algoritmos, con el fin de conseguir que estas tecnologías protejan a las personas y promuevan la justicia social. Hay 14 organizaciones participantes en IA Ciudadana (Civio, Political Watch, Algorace, TAS, Eticas, LaFedeCat, Komons, Digital Fems, Institut de Drets Humans de Catalunya, Algorights, Iridia, Novact, Federación de Consumidores y Usuarios CECU y Oxfam Intermón). Como observadoras, actúan Amnistía Internacional, Fundación Secretariado Gitano, X Net, Taula d'entitats del Tercer Sector Social de Catalunya y Red Acoge.