Algoritmos, eficiencia y personas vulnerables

Escrito por Gabriele Vestri el 24 Diciembre 2024.

por Enrique J. Benítez Palma

El uso de algoritmos en el sector público tiene muchos entusiastas, pero también sus críticos y detractores, a menudo no tan visibles. En OSPIA LAB ya se han comentado diversos episodios de fallos y errores graves en el uso de estas herramientas para combatir el fraude en la percepción de ayudas públicas de carácter social, criminalizando a personas inocentes y arruinando vidas concretas, perjudicando de manera muy seria a personas y familias honestas señaladas por un exceso de celo administrativo y un exceso de sesgos algorítmicos contra determinadas razas, barrios y orígenes sociales. Todos los episodios narrados tienen un denominador común: los algoritmos fallan y se equivocan contra los más vulnerables, y en el debate público global sobre el uso de las más modernas herramientas tecnológicas para combatir el fraude cada vez más personas nos preguntamos por qué no se pone el mismo empeño tecnológico en combatir el fraude fiscal a gran escala, el blanqueo de capitales o los movimientos multimillonarios de dinero negro.

El daño que causan los algoritmos sesgados y el celo de algunos gestores públicos ha sido documentado en los Países Bajos y Dinamarca, como se comentó en una entrada anterior (“La auditoría de algoritmos en el sector público”). En estas últimas semanas se ha conocido también un hecho similar acaecido en Francia: el 15 de octubre, Amnistía Internacional y otros catorce socios de la coalición encabezada por La Quadrature du Net (LQDN) presentaron una denuncia ante el Consejo de Estado, el más alto tribunal administrativo de Francia, en la que pedían que se pusiera fin al sistema algorítmico de puntuación de riesgos utilizado por la CNAF (la Caja Nacional de Subsidios Familiares, de la Agencia Francesa de Seguridad Social), que se emplea para detectar pagos en exceso y errores en el pago de prestaciones sociales. Asimismo, en el Reino Unido ha saltado a los medios la noticia de que más de 200.000 personas han sido investigadas por fraude y error en las ayudas a la vivienda después de haber sido señaladas (¿acusadas?) por un algoritmo utilizado por el Departamento de Trabajo y Pensiones (DWP), que consideró que dos tercios de las solicitudes presentadas en los últimos tres años presentaban alto riesgo de ser fraudulentas o irregulares. Los mismos errores, una vez más, en la misma dirección.

Los errores algorítmicos llevaron a Sean McGregor a fundar una iniciativa estupenda: la AI Incident Database (https://incidentdatabase.ai/ ) que permite registrar los fallos de los algoritmos para contribuir a mejorar su eficacia y a la disminución de los errores, siguiendo el ejemplo de la aviación comercial, que hizo lo mismo en los años 80 para rebajar drásticamente el número de accidentes. Siguiendo este modelo, la propia OCDE ha copiado el formato para crear su OECD AI Incidents Monitor (https://oecd.ai/en/incidents), que “documenta los incidentes y peligros de la IA para ayudar a los responsables políticos, a los profesionales de la IA y a todas las partes interesadas del mundo a obtener información valiosa sobre los riesgos y daños de los sistemas de IA”. Y, last but not least, el MIT ha creado un vasto repositorio de riesgos asociados a la IA, con más de 700 entradas clasificadas por causa y ámbito de aplicación (https://airisk.mit.edu/ ).

En todo caso, y junto a las iniciativas de las grandes instituciones globales y de la sociedad civil organizada para señalar los notables márgenes de mejora en el uso de algoritmos, en el caso de las administraciones públicas está creciendo la tendencia a destacar las nuevas vulnerabilidades y las nuevas cargas administrativas que se están generando al automatizar el estado del bienestar. Sobre la idea de la automatización de la desigualdad, es imprescindible el libro homónimo (Automating Inequality: How High-Tech Tools Profile, Police and Punish the Poor) escrito por Virginia Eubanks en 2018 y publicado en España por la editorial independiente Capitán Swing.

Al final de esta entrada se incluye un breve anexo documental con diez referencias destacadas y actuales. Pero en esta parte final del texto me quiero centrar en la investigadora Sofía Ranchordás y en sus trabajos sobre la empatía y el concepto de vulnerabilidad en el Estado administrativo digital (Digital Administrative State). Sostiene esta fabulosa investigadora de origen portugués que “los sistemas automatizados intermediados por tecnología privada o guiados principalmente por valores de eficiencia colocan a los ciudadanos vulnerables en una situación de desventaja por dos razones. En primer lugar, los ciudadanos calificados como pertenecientes a un grupo infrarrepresentado (por ejemplo, en el caso del escándalo de las prestaciones neerlandesas por hijos a cargo, los ciudadanos neerlandeses de origen antillano) quedan «atrapados en el sistema» (caught in the system), recibiendo una clasificación o puntuación «negativa» (por ejemplo, mayor riesgo de fraude en las prestaciones sociales) debido a su nacionalidad, etnia, sexo o estatus socioeconómico. Los datos existentes se interpretan en su contra y, dada la ausencia de una verdadera mirada crítica del «humano en el bucle» (human in the loop), estos ciudadanos son calificados como posibles defraudadores. Quiénes son determinan en quién se convierten a los ojos del sistema digital. En segundo lugar, los ciudadanos vulnerables también quedan excluidos debido a la forma en que está diseñada la tecnología digital y a lo que el gobierno digital espera de ellos en términos de habilidades, tiempo y educación. Una automatización justa e igualitaria (…) debería garantizar que el gobierno digital se diseñe también teniendo en cuenta las necesidades de los ciudadanos vulnerables. Esto significa una mayor simplificación de los formularios, más información por parte del gobierno, software e instrucciones desarrollados públicamente, más asistencia digital o humana y (…) más empatía administrativa por los errores cometidos de buena fe” (Automated Government for Vulnerable Citizens: Intermediating Rights, pp. 48-49).

A partir de estas investigaciones y preocupaciones, la Universidad de Tilburg ha puesto en marcha un proyecto liderado por Ranchordás sobre la vulnerabilidad en el Estado administrativo digital, con la intención de encontrar y proponer respuestas para las siguientes preguntas:

· ¿Por qué a algunos ciudadanos les resulta tan cómodo el gobierno digital y a otros les cuesta tanto?

· ¿Tiene en cuenta el derecho administrativo que a veces los ciudadanos no ejercen sus derechos debido a obstáculos tecnológicos y burocráticos?

· ¿Cómo podemos capacitar a todas las personas para que ejerzan sus derechos en igualdad de condiciones en la era digital?

· ¿Y cómo cerramos la brecha entre las normas y principios administrativos concebidos en una época en la que no existían sistemas de IA y los retos modernos de la automatización?

Cuatro interrogantes pertinentes, a los que España no es ajena si recordamos los problemas para la distribución del Ingreso Mínimo Vital y su diseño a espaldas de las características socioeconómicas y educativas de sus potenciales perceptores. Todo un campo de investigación y de reflexión que debe ir por delante de la automatización entusiasta e indiscriminada de las administraciones públicas.

DIEZ REFERENCIAS DE INTERÉS

· Ranchordás, S. y Scarcella, L. (2021): “Automated Government for Vulnerable Citizens: Intermediating Rights”. University of Groningen Faculty of Law Research Paper Series Nº 11/2021.

· Ranchordás, S. (2022): “Empathy in the Digital Administrative State”. Duke Law Journal, vol. 71 (2022).

· Ranchordás, S. y Beck, M. (2024): “Vulnerability”. En Kaufmann, Mareille & Mork Lomell, Heidi (Eds), Handbook on Digital Criminology (De Gruyter, 2024, forthcoming).

· Astudillo-Rodas, M., Venancio-Rodriguez, J., & Hetling, A. (2024): “Assessing Unintended Administrative Burdens of Technology: The Case of Swipe Card Attendance for Child Care Subsidies”. Journal of Policy Studies.

· Brown, J. (2020): “Algorithms and vulnerable citizens: The cost of Australia’s experiment with automation in the governance of its social welfare system”. University of Melbourne.

· Halling, A. y Baekgaard, M. (2024): “Administrative Burden in Citizen–State Interactions: A Systematic Literature Review”. Journal of Public Administration Research and Theory, 2024, 34, 180–195.

· Hofmann, S., Saebo, O. y Rydén, H. H. (2024): “Implications of Digitalised Welfare Services from a Vulnerable Citizens’ Perspective”. Nordic Welfare Research 2/2024, pp. 127-141.

· Lussi, E.B., Larsson, S., Högberg, Ch. y Kaun, A. (2024): “Governing the Automated Welfare State: Translations between AI Ethics and Antidiscrimination Regulation”. Nordic Welfare Research, 2/2024, pp. 180-192.

· Lutz, C. (2024): “Social Inequalities and Artificial Intelligence. How Digital Inequality Scholarship Enhances Our Understanding”. En Brzezinski et alia (Eds). “Algorithms, Artificial Intelligence and Beyond. Theorising Society and Culture of the 21st Century”. Routledge.

· Rydén, H. H. y Andrade, L. A. (2023): “The Hidden Costs of Digital Self-Service Administrative Burden, Vulnerability and the Role of Interpersonal Aid in Norwegian and Brazilian Welfare Services”. In 16th International Conference on Theory and Practice of Electronic Governance (ICEGOV 2023), September 26–29, 2023, Belo Horizonte, Brazil. ACM, New York, NY, USA, 6 pages.