La auditoría de algoritmos en el sector público
Enrique J. Benítez Palma
El 14 de octubre de 2020, cinco importantes instituciones europeas de control externo -las de Alemania, Finlandia, Holanda, Noruega y el Reino Unido- publicaron un documento conjunto de enorme interés e importancia para la fiscalización de las decisiones públicas basadas en el uso de algoritmos. En efecto, Auditing machine learning algorithms. A White paper for public auditors se convirtió en una guía básica de referencia para ayudar a este tipo de instituciones a llevar a cabo auditorías de algoritmos basados en machine learning que estén siendo utilizados por las agencias gubernamentales y el sector público.
Unos meses más tarde, en 2021, publiqué un artículo titulado Auditores de algoritmos en la revista Auditoría Pública, con un llamamiento a la acción por parte de los Organismos de Control Externo (OCEx) españoles, para preparar el terreno a la fiscalización del uso de herramientas basadas en la Inteligencia Artificial (IA) en la toma de decisiones o en la distribución de fondos en el sector público. De no ser así, sería la sociedad civil la que tomaría la iniciativa a través de entidades especializadas, como ya ha hecho Amnistía Internacional en Holanda y Dinamarca, o como han demostrado que pueden hacer Civio o Éticas en España.
Desde entonces, se han producido diversos hitos que merecen ser destacados. Respecto al protagonismo de las entidades de la sociedad civil, es imprescindible reseñar, dentro de un conjunto numeroso de ejemplos notables y de buenas prácticas, dos informes de Amnistía Internacional: Xenophobic Machines, sobre el escandaloso uso en Holanda de un algoritmo que acusó sesgadamente de fraude a decenas de familias inmigrantes en la recepción de ayudas para las guarderías, lo que provocó la caída del gobierno de Mark Rutte en enero 2021; y en este último año el informe Coded Injustice, que cuestiona las graves violaciones de los derechos humanos de los posibles beneficiarios de ayudas sociales en Dinamarca, por la aplicación (otra vez) de un algoritmo que identificaba con sesgos muy evidentes a posibles receptores inadecuados de este tipo de ayudas públicas. Para entendernos, y de manera muy sintética, en ambos casos se detectaron demasiados “falsos positivos” entre los sospechosos de haber recibido ayudas que no les correspondían, y los sesgos tenían que ver con los países de origen, la raza y otras características similares.
No han sido las organizaciones de la sociedad civil las únicas que han analizado o fiscalizado el uso de algoritmos por parte del sector público. Ya existen informes elaborados por las instituciones de control externo de Holanda, Reino Unido y Noruega. Es entonces oportuno e interesante analizar estos informes, para saber qué han detectado y qué podemos aprender de ellos.
El país más avanzado en esta fiscalización es, sin duda, Holanda, espoleado por el escándalo ya mencionado. En verano se ha hecho público el registro de algoritmos utilizados por instituciones públicas en Holanda (ahora mismo hay registrados 581 algoritmos, utilizados por 190 organizaciones, con la Municipalidad de Ámsterdam a la cabeza), pero el documento de referencia a efectos de este artículo es el titulado An audit of algorithms. Nine algorithms use by the Dutch Government, continuación de un primer informe introductorio de 2021 (Understanding algorithms), que detecta que sólo tres de los nueve algoritmos analizados cumplen con los requisitos exigidos, mientras que en los seis restantes persisten los sesgos y otros elementos que deben ser mejorados o corregidos.
En sus informes, el órgano de control holandés propone cuatro recomendaciones:
1. Cuando los algoritmos se subcontraten o se compren a un proveedor externo, es necesario documentar los acuerdos sobre su uso y adoptar medidas eficaces para supervisar el cumplimiento de forma permanente.
2. Garantizar que los algoritmos y los datos necesarios para su funcionamiento estén protegidos mediante controles generales de IT eficaces.
3. Comprobar periódicamente -tanto durante el diseño de los algoritmos como durante su utilización- el efecto de los sesgos.
4. Al supervisar las agencias públicas instrumentales, tener en cuenta explícitamente cómo se utilizan los algoritmos para prestar servicios públicos.
En marzo de 2024, se presentó el informe de la National Audit Office (NAO) del Reino Unido. A pesar del impulso interno y del despliegue de un notable plan estratégico, acompañado del diseño de un estándar para ayudar a las organizaciones del sector público a proporcionar información clara sobre las herramientas algorítmicas que utilizan y por qué las utilizan (Algorithmic Transparency Recording Standard Hub), la fiscalización de la NAO reveló el escaso uso por parte de las diferentes agencias gubernamentales de este tipo de herramientas, poniendo de manifiesto que “existen riesgos para la rentabilidad [value for money] si el Gobierno no determina qué departamento es responsable de la aplicación de la estrategia para la adopción de la IA en el sector público y establece las funciones y responsabilidades adecuadas para quienes deban contribuir”. Para obtener beneficios a gran escala es probable que no sólo sea necesaria la adopción de nuevas tecnologías, sino también cambios significativos en los procesos internos y los correspondientes cambios en la fuerza de trabajo del sector público.
En el caso del Reino Unido, aunque también existe un registro público de algoritmos, como ya ocurre en Holanda o Francia (una próxima entrega abordará estas novedades), sólo aparecen nueve algoritmos contabilizados. Sin embargo, otra atenta organización de la sociedad civil, Public Law Project, detectó en octubre de 2023 hasta 55 herramientas de automatización de decisiones públicas. La última novedad se ha producido en la Cámara de los Lores, donde Lord Clement´Jones, liberal-demócrata, ha iniciado la tramitación de la llamada Public Authority Algorithmic and Automated Decision-Making Systems Bill, “un proyecto de ley para regular el uso de herramientas automatizadas y algorítmicas en los procesos de toma de decisiones en el sector público; para exigir a las autoridades públicas que completen una evaluación de impacto de los sistemas automatizados y algorítmicos de toma de decisiones; para garantizar la adopción de normas de transparencia para dichos sistemas; y para fines relacionados”.
Para finalizar, en Noruega se va a discutir en su Parlamento nacional, en fechas próximas, otro informe de control externo, The use of artificial intelligence in the central government (2023-2024), que trata de responder alas siguientes preguntas de auditoría:
· ¿Están utilizando los organismos públicos la IA para mejorar y aumentar la eficiencia de los servicios?
· ¿Adoptan los organismos públicos principios éticos al desarrollar y utilizar la IA?
· La coordinación del Ministerio de Digitalización y Gobernanza Pública, ¿fomenta el uso responsable de la IA en los organismos gubernamentales?
Las conclusiones del informe son muy relevantes para cualquier país que desee adoptar la IA (y los algoritmos) para mejorar la administración pública: las agencias gubernamentales están aprovechando el potencial de la IA de forma desigual, y la IA aún no se ha adoptado de forma generalizada. ¿Qué cuestiones deben, entonces, tenerse en cuenta? Los auditores noruegos apuntan en varias direcciones:
- Aún no se dan los requisitos previos importantes para la adopción de la IA a gran escala.
§ Gran necesidad de aclarar las cuestiones jurídicas relativas al uso de la IA.
§ Infraestructura y acceso a datos de alta calidad inadecuados.
§ Gran necesidad de competencias
§ Es importante disponer de recursos lingüísticos en noruego
- Los principios éticos para el uso responsable de la IA se observan en diversos grados; es necesario establecer mecanismos de control que garanticen el uso responsable de la IA.
- La coordinación de los esfuerzos relacionados con la IA en el sector público es inadecuada, y los esfuerzos globales son insuficientes dada la ambición de Noruega de contar con una infraestructura de IA de categoría mundial.
En definitiva, la experienciade los países más avanzados en la incorporación de la IA y el uso de algoritmos en la administración pública muestra los obstáculos más comunes: falta de coordinación, carencias formativas, escasa atención al impacto ético, importancia de contar con datos limpios y fiables, entre otros. Un compendio de recomendaciones útiles para los responsables públicos que deseen innovar utilizando este tipo de herramientas en la gestión pública. Todo un reto lleno de dificultades y de exigencias.