Reclaman transparencia y control democrático de los algoritmos utilizados por la Administración
Administraciones públicas y empresas están utilizando algoritmos para tomar decisiones sobre a quién conceder ayudas públicas o a quien contratar, sin que exista control sobre qué criterios utilizan. “IA Ciudadana” reclama registros públicos accesibles y transparentes para evitar discriminaciones y vulneración de derechos fundamentales.
Unas 26.000 familias de fueron se quedaron sin ayudas y expuestas a desahucios porque el sistema utilizado por los servicios sociales detectó erróneamente que había “riesgo de fraude”.
“IA Ciudadana”, una coalición de 17 organizaciones, entre ellas Civio, se pregunta: ¿cómo exigimos responsabilidades a sistemas cuyos mecanismos y alcance desconocemos? Cada vez más, proliferan estos sistemas que procesan datos, aplican reglas y determinan el acceso a derechos y servicios, sin que exista posibilidad de cuestionarlos.
En España, el programa utilizado para reconocer el derecho al ingreso mínimo vital ha generado muchas sospechas, porque no valora la composición familiar en su contexto ni atiende al empadronamiento.
El sistema de seguimiento de la violencia de género (VioGén) recurre a algoritmos, a pesar de las fatales consecuencias que una mala decisión puede tener en la vida de las mujeres amenazadas. La Fundación Ana Bella ha documentado que 55 mujeres asesinadas recibieron “una orden de protección que resultó ser insuficiente”.
El error podría haber consistido en sobrevalorar la necesidad de protección de denunciantes con hijos sobre aquellas que no las tenían. De conocerse el algoritmo utilizado se podrían haber realizado mejoras y sobre todo evaluado periódicamente.
Los sistemas automatizados proliferan en otros muchos ámbitos de la Administración, como la Justicia para determinar las condenas y los permisos carcelarios, la Seguridad Social que puede rastrear las bajas laborales en busca de fraude, en Educación para asignar las puntaciones en las oposiciones o el acceso a la universidad.
La insuficiente regulación europea
La Unión Europea ha puesto en marcha desde agosto de 2024 el reglamento de inteligencia artificial (IA) por el que obliga a crear una base de datos pública donde se registren los sistemas de IA de alto riesgo.
La intención es mejorar la transparencia sobre los algoritmos que afectan a ámbitos críticos como la sanidad, la educación o la justicia. Pero, en la práctica, tiene tres vulnerabilidades críticas, afirma la investigación de la iniciativa ciudadana.
La primera parece evidente, solo se registrarán los considerados “de alto riesgo” –y con obligaciones mínimas–, dejando fuera muchos otros que también afectan derechos fundamentales.
Sin ir más lejos, los chatbot, las aplicaciones de respuesta automática que atienden a los usuarios y pueden negar la información demanda o dejar de atenderlas no están obligadas a darse de alta en ese registro. Tampoco las fórmulas para clasificar a estudiantes, ni el sistema BOSCO que en España se ha utilizado para reconocer a los hogares vulnerables con derecho al bono social.
Algoritmos utilizados en ámbitos con gran impacto en la vida de la ciudadanía, como los usados por la policía, en el control de fronteras o en decisiones de inmigración quedarán almacenados en un área privada de la base de datos, inaccesible para la ciudadanía, totalmente opacos. Además, las obligaciones no afectan a los algoritmos que se usan actualmente, sino a los nuevos a partir de la puesta en marcha del registro, en 2026.
La información que se compartirá será del todo insuficiente. Habrá que facilitar los detalles técnicos básicos, pero no datos esenciales como el código fuente o los modelos de entrenamiento. En muchos casos, la faculta de considerar un algoritmo como de alto riesgo queda en manos de sus propios creadores, los proveedores de tecnología.
La normativa europea ha establecido unos requisito mínimos a los que pueden acogerse aquellos Estados miembros que no quieran ir más allá, por lo que el uso y funcionamiento de estos sistemas seguirá siendo “poco transparentes y frágiles, a la espera de que se produzca el siguiente escándalo algorítmico”.
De momento, solo cuatro países europeos cuentan ya con registros nacionales integrales (Países Bajos, Reino Unido, Noruega y Francia), y solo dos son miembros de la UE. En Europa hay 34 registros activos y al menos 5 en desarrollo.
Las diferencias son enormes. El registro holandés, con más de 600 algoritmos registrados, incluye las interfaces de programación de aplicaciones (API) en tiempo real para seguimiento de actualizaciones en sistemas automatizados, otros se limitan a PDF estáticos sin mecanismos de búsqueda.
La investigación advierte que el voluntarismo de la norma la hace ineficaz. Son los registros voluntarios los que menos algoritmos reportan y dada la diversidad resulta imposible su análisis comparativo.
El caso español
En España no se sabe cuántos algoritmos están en uso, en qué ámbitos operan y qué impacto tienen. La Estrategia Nacional de IA, de 2024, propone una IA “transparente y humanista”, pero sin acciones concretas, y la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), el organismo competente, aún no opera plenamente.
Al menos, la Comunidad Valenciana, cuenta con una Ley de Transparencia regional que obliga a publicar sistemas automatizados, con un registro en desarrollo junto con universidades.
En el País Vasco se han dado los primeros pasos. Y en Cataluña ya se han publicado fichas técnicas detalladas de varios algoritmos, incluyendo cómo se ha entrenado el sistema, riesgos en términos de privacidad o discriminación, evaluaciones de sesgos y protocolos de revisión humana.
CIVIO reclama la implantación de herramientas dinámicas de control democrático, que faciliten las investigaciones y la vigilancia sobre los sistema automatizados que usan las administraciones públicas.
Así considera que España debe crear un registro obligatorio de algoritmos cuyas decisiones tengan impacto público. El Reglamento de IA de la UE solo cubre los sistemas de “alto riesgo”, pero la realidad es que muchos algoritmos que no entran en esa categoría afectan a derechos y servicios esenciales.
De ahí que, plantee que el registro español debe incluir “todos los algoritmos que toman decisiones en la administración pública y en sectores estratégicos como sanidad, educación o bienestar social. Y todos los algoritmos en uso, no solo los nuevos”.
Igualmente reclama que no se oculten los algoritmos utilizados en seguridad y fronteras. “Si algo demuestra la experiencia internacional es que los algoritmos usados en vigilancia, migración y control de fronteras son especialmente problemáticos, y ya conocemos escenarios de discriminación racial masiva”.
También reclama que la publicación de información comprensible y accesible. “No basta con colgar documentos técnicos incomprensibles en una web perdida. Un registro de algoritmos debe ofrecer información clara y estructurada, permitiendo que cualquier persona pueda entender qué sistemas se están utilizando y con qué propósito”.
Para conocer qué sistemas han sido descartados, y por qué, con el fin de evitar que los mismos errores se repitan, habrá que “documentar y archivar los sistemas retirados”, no solo los algoritmos en funcionamiento.
Por último, apuesta por fomentar el control externo y la participación pública. “Para que la transparencia sea efectiva, hay que ir más allá de la simple publicación de datos. El registro debe permitir el escrutinio de la ciudadanía, los periodistas y las organizaciones de la sociedad civil, creando canales claros para denunciar problemas y exigir explicaciones”.
“O hay un registro nacional de algoritmos bien hecho, obligatorio y con información útil, o seguiremos en un sistema donde los algoritmos toman decisiones importantes sin que nadie pueda vigilarlos”, afirma CIVIO.
La organización periodística centrada en la vigilancia pública afirma que “no podemos permitir que la tecnología avance más rápido que la supervisión democrática, los derechos y la transparencia”. Para avanzar hacia una administración más justa y responsable, “la transparencia no es opcional”.
Redactor jefe de Noticias Obreras
