Sistemas de Inteligencia Artificial para la toma de decisiones administrativas: la encrucijada entre la eficiencia y la garantía de los derechos humanos
Lea más sobre el tema de la entrada en nuestra Revista:
Libertad de expresión en internet y redes sociales vs. derechos a la intimidad y el buen nombre. Prevalencia, colisión y ponderación en el Derecho constitucional (1992-2019)
Nuevas tecnologías y constitucionalismo
Por: Mauricio Alejandro Ascencio Moreno[1]
El mundo ha sido testigo del avance acelerado de la Inteligencia Artificial[2] en todos los aspectos de la vida en el planeta, que ha llevado a una gran parte de la sociedad a someterse a decisiones algorítmicas[3], pues sus patrones de consumo se ven influidos por sugerencias hechas por sistemas basados en IA, que condicionan desde sus opciones de entretenimiento hasta las rutas para hacer sus desplazamientos cotidianos, sus interacciones sociales en ambientes digitales, entre otros aspectos de la esfera más íntima de las personas.
Este mismo fenómeno se ha venido presentando en las actuaciones a cargo de las administraciones públicas prácticamente a nivel global, en razón a las ventajas que ofrecen para el mejoramiento del actuar estatal a todo nivel las tecnologías disruptivas propias de la industria 4.0 como la IA, la robótica, el Big Data, los vehículos autónomos, los drones, el block chain, el rastreo digital, la impresión 3D y el internet de las cosas[4].
Bajo esa perspectiva, la IA se ha convertido en una herramienta para la realización de tareas complejas con un mínimo o sin ningún tipo de esfuerzo humano, la cual ha generado grandes beneficios para la humanidad, tal es el caso de los sistemas de navegación terrestre o el medicamento capaz de matar a las superbacterias farmacorresistentes, descubierto por Regina Barzilay[5], profesora titular de IA en el MIT[6], quien conformó un equipo compuesto por biólogos e ingenieros de datos y lograron, diseñar y entrenar un algoritmo que procesó los datos de más de dos mil trescientos compuestos con propiedades antimicrobianas, a fin de identificar cual de estos podría inhibir el crecimiento de una bacteria letal para el ser humano, generando un tratamiento que consiguió disminuir de la mortalidad causada por la presencia de dicho microorganismo en el cuerpo humano.
Teniendo en cuenta estas experiencias exitosas, los Estados han iniciado un proceso de “smartificación”[7] y robotización de la administración pública, por el cual se pretende minimizar sus tiempos de respuesta en el cumplimiento de las funciones a su cargo con el uso de tecnologías convergentes, un ejemplo de ello es el uso en Colombia de las cuentas en redes sociales de autoridades administrativas y judiciales o de sus funcionarios de más alto nivel, para hacer anuncios o informar la toma de decisiones.
En Colombia, se expidió el documento Conpes 3975 de 8 de noviembre de 2019[8], con el cual se creó la política pública de transformación digital del sector público y el privado a partir de la utilización de herramientas tecnológicas en particular la IA, cuyo objetivo principal[9] busca alcanzar mayores índices de eficiencia estatal.
En el marco de esta política pública, entidades como la Corte Constitucional[10], la Superintendencia de Industria y Comercio, la Contraloría General de la República[11], la Agencia de Defensa Jurídica del Estado, el Sisben[12], han empezado a implementar sistemas de IA para el cumplimiento de sus objetivos misionales, conforme a los lineamientos fijados en la política pública de transformación digital y donde, dicho sea de paso, se expidió el Marco Ético para la Inteligencia Artificial en Colombia, convirtiendo al país en pionero en la materia.[13]
Sin embargo y a pesar de las bondades de la IA como herramienta de eficiencia en la toma de decisiones y en la resolución de problemas complejos, su implementación a nivel global tanto en el sector público como privado ha generado un reto a la hora de garantizar y respetar los derechos humanos de las personas afectadas por decisiones algorítmicas, como se pasa a exponer.
Uno de los primeros casos de vulneración de derechos causado por una decisión tomada por un sistema basado en IA, fue el algoritmo denominado “COMPAS”[14] cuyo objetivo consistía en determinar la probabilidad de reincidencia de un condenado y fue usado por los jueces federales en Estados Unidos, para decidir si se concedía o no la libertad condicional vigilada, pero se evidenció que se produjo un sesgo por razones de raza, pues en la mayoría de los casos en que el algoritmo predijo que las personas volverían a reincidir se trataba de miembros de poblaciones afrodescendientes y en los eventos en que predijo la no reincidencia de los condenados, se trataba de personas de raza blanca, quienes si volvieron a reincidir.[15]
Una situación similar ocurrió con la policía predictiva en Estados Unidos, el algoritmo denominado “PredPol” el cual predice las zonas concretas de las ciudades donde es más probable que se comentan delitos, a fin de desplegar un mayor número de efectivos en dichas áreas. Una vez se puso en operación empezó a predecir mayor riesgo en zonas donde residían personas de bajos recursos y grupos raciales minoritarios, dejando las demás áreas urbanas libres del control policial[16].
Pero uno de los casos más representativos respecto al riesgo o vulneración de derechos humanos por decisiones algorítmicas, fue el algoritmo denominado “SyRI[17]” utilizado por el gobierno de los Países Bajos para detectar fraudes fiscales en materia de seguridad social y subsidios de cuidado infantil, dicho sistema basado en IA recopilaba y procesaba datos de todas las personas beneficiarias de algún tipo de subsidio o prestación asistencial por parte del Estado, realizaba perfiles de riesgo y alertaba a las autoridades sobre la potencialidad de un fraude.
Los datos recolectados y procesados por “SyRI” correspondían a la información disponible en todas las bases de datos de las entidades gubernamentales neerlandesas, como nombre, dirección de residencia, fecha de nacimiento, género, información referente al trabajo de las personas, sobre medidas y sanciones administrativas aplicadas, bienes muebles e inmuebles, datos comerciales, de integración, historial de cumplimiento de las leyes y reglamentos; becas recibidas, pensiones, registro de órdenes de reintegro de prestaciones públicas, endeudamiento, beneficiarios de ayudas o subsidios recibidos, permisos y exenciones, datos del seguro de salud.
Sin embargo; en el procesamiento de dicha data, el algoritmo identificó el origen étnico, la doble nacionalidad especialmente cuando se trataba de personas provenientes de Marruecos u otros Estados del medio oriente y el origen étnico diferente al europeo, como factores que aumentaban el riesgo de fraude y ordenaba de forma inmediata el inicio de las actuaciones administrativas necesarias para recuperar el valor de los subsidios señalados como fraude, lo cual generó una crisis social en los Países Bajos, pues muchas personas quedaron en la ruina y perdieron la custodia de sus hijos.
Por lo anterior, el Tribunal de Distrito de La Haya de primera instancia resolvió las demandas presentadas por algunas personas afectadas por SyRI, en sentencia del 5 de febrero de 2020[18], donde declaró no vinculante la legislación[19] que sirvió de base para el funcionamiento del referido sistema de aprendizaje automático, pues el artículo 65.2 permitía la recopilación de datos sensibles sin conocimiento de las personas, la elaboración de informes de riesgos que no eran conocidos por las personas, ni tenían la garantía de preguntar las razones por la que de una decisión algorítmica.
SyRI era usualmente utilizado en barrios considerados como problemáticos, los que usualmente albergaban comunidades de apariencia no europea o de bajos ingresos.
Gracias a una auditoría algorítmica, se evidenció la materialización de un sesgo que causó una estigmatización y discriminación de la ciudadanía[20], vulnerando sus derechos a la privacidad, la buena administración y la dignidad humana, desconociendo el artículo 8 de Convenio Europeo de Derechos Humanos.
Bajo ese entendido, se tienen múltiples experiencias con sistemas de IA utilizadas para tomar decisiones administrativas o judiciales, las cuales han generado una vulneración sistemática de los derechos fundamentales de las personas destinatarias de estas, quienes generalmente pertenecen a grupos étnicos, sociales, culturales y económicos minoritarios, por parte del Estado, lo cual evidencia la necesidad de cuestionarnos sí el desarrollo y las políticas públicas sobre IA en el sector público en Colombia, están siendo diseñadas no solo para alcanzar ese objetivo de mayor eficiencia gracias a su correcto funcionamiento técnico, sino también la protección de los derechos humanos de los ciudadanos que potencialmente pueden ser víctimas de situaciones similares a las antes expuestas.
Adicionalmente, es importante agregar al debate y previo a la implementación de la IA en el sector público, si el país cuenta con la infraestructura necesaria para detectar e impedir la producción de sesgos algorítmicos o si por el contrario, la falta de independencia tecnológica, la brecha y el analfabetismo digital, maximizan los riesgos generalizados para los derechos humanos de los ciudadanos destinatarios de dichas decisiones algorítmicas.
Bibliografía
Bianchi, Patrizio. “4.0 La nueva revolución industrial” Alianza Editorial, Madrid. 2020.
Du Sautoy, Marcus. “Programados para crear. Cómo está aprendiendo a escribir, pintar y pensar la inteligencia artificial”, Acantilado. Barcelona. 2020.
Coeckelbergh, Mark. “Ética de la inteligencia artificial”. Ediciones Cátedra. Madrid, 2021.
Consejo Nacional de Política Económica y Social República de Colombia, Departamento Nacional de Planeación. Documento Conpes 3975 de 8 de noviembre de 2019. https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/3975.pdf
Consejo Nacional de Política Económica y Social República de Colombia, Departamento Nacional de Planeación. Documento Conpes 4024 del 8 de marzo de 2021. https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/4024.pdf
Consejo Nacional de Política Económica y Social República de Colombia, Departamento Nacional de Planeación. Documento Conpes 4045 del 3 de septiembre de 2021. https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/4045.pdf
Fernández, Carlos, “Primera sentencia europea que declara ilegal un algoritmo de evaluación de características personales de los ciudadanos”, Wolters Kluwer, 13 de febrero de 2020. https://diariolaley.laleynext.es/Content/Documento.aspx?params=H4sIAAAAAAAEAMtMSbH1czUwMDAyNDa3NDJUK0stKs7Mz7M1MjACC6rl5aekhrg425bmpaSmZealpoCUZKZVuuQnh1QWpNqmJeYUp6qlJuXnZ 6OYFA8zAQCfSdkrYwAAAA==WKE
Kelleher, John y Tierney, Brendan. “Data Science” Cambridge, MA, MIT Press, 2018.
Konrad-Adenauer-Stiftung e. V. “Inteligencia artificial en Latinoamérica”. 2022. https://www.kas.de/es/web/regionalprogramm-adela/un-solo-t%C3%ADtulo/-/content/inteligencia-artificial-en-latinoamerica
Mayer-Schönberger, Viktor, Cukier, Kenneth y de Véricourt, Francis. “Framers: La virtud humana en la era digital”. Turner Publicaciones. Madrid, 2021.
Organización para la Cooperación y el Desarrollo Económicos (OCDE) “The Strategic and Responsible Use of Artificial Intelligence in the Public Sector of Latin America and the Caribbean”, Paris, 2022. https://www.oecd-ilibrary.org/governance/the-strategic-and-responsible-use-of-artificial-intelligence-in-the-public-sector-of-latin-america-and-the-caribbean_1f334543-en
Ramió, Carles. “Inteligencia artificial y Administración pública. Robots y humanos compartiendo el servicio público.”Madrid, Catarata. 2019.
[1] Doctorando en Derecho, Universidad Externado de Colombia, Abogado de la Universidad Santo Tomás de Bogotá D.C., Magíster en Consultoría de la Universidad de Salamanca, Magíster en Derecho Contractual Público y Privado de la Universidad Santo Tomás, Especialista en Derecho Administrativo de la Universidad del Rosario y docente universitario en el área de derecho público.
[2] En adelante IA, por sus siglas en español.
[3] Du Sautoy, Marcus. “Programados para crear. Cómo está aprendiendo a escribir, pintar y pensar la inteligencia artificial”, Acantilado. Barcelona. 2020, p. 59.
[4] Bianchi, Parizio. “4.0 La nueva revolución industrial” Alianza Editorial, Madrid. 2020, p. 9.
[5] Mayer-Schönberger, Viktor, Cukier, Kenneth y de Véricourt, Francis. “Framers: La virtud humana en la era digital”. Turner Publicaciones. Madrid, 2021, p. 13.
[6] Massachusetts Institute of Technology.
[7] Ramió, Carles. “Inteligencia artificial y Administración pública. Robots y humanos compartiendo el servicio público.”Madrid, Catarata. 2019, p. 8.
[8] Consejo Nacional de Política Económica y Social República de Colombia, Departamento Nacional de Planeación. Documento Conpes 3975 de 8 de noviembre de 2019: “Política Nacional Para La Transformación Digital E Inteligencia Artificial” recuperado de: https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/3975.pdf
[9] “Aumentar la generación de valor social y económico a través de la transformación digital del sector público y del sector privado, mediante la disminución de barreras, el fortalecimiento del capital humano y el desarrollo de condiciones habilitantes, para que Colombia pueda aprovechar las oportunidades y enfrentar los retos relacionados con la 4RI.”, p. 38.
[10] Con el documento Conpes 4024 del 8 de marzo de 2021, se aprobó la realización de una operación de crédito público externo con la banca multilateral hasta por USD 100 millones de dólares para financiar la Fase I del PROGRAMA PARA LA TRANSFORMACIÓN DIGITAL DE LA JUSTICIA EN COLOMBIA.
[11] Igualmente, con el Conpes 4045 del 3 de septiembre de 2021, se emitió concepto favorable para la contratación de una operación de crédito público externo con la banca multilateral hasta por USD 30 millones de dólares para financiar el PROGRAMA PARA LA TRANSFORMACIÓN DIGITAL DE LA CONTRALORÍA GENERAL DE LA REPÚBLICA.
[12] Organización para la Cooperación y el Desarrollo Económicos (OCDE) “The Strategic and Responsible Use of Artificial Intelligence in the Public Sector of Latin America and the Caribbean”, publicado el 22 de marzo de 2022. Recuperado de: https://www.oecd-ilibrary.org/governance/the-strategic-and-responsible-use-of-artificial-intelligence-in-the-public-sector-of-latin-america-and-the-caribbean_1f334543-en
[13] Konrad-Adenauer-Stiftung e. V. “Inteligencia artificial en Latinoamérica”. 2022, p.45.
[14] La Corte Suprema de Wisconsin resaltó el riesgo que implican las decisiones algorítmicas para los derechos humanos en materia penal en la Sentencia Wisconsin vs. Loomis del 13 de julio de 2016.
[15] Coeckelbergh, Mark. “Ética de la inteligencia artificial”. Ediciones Cátedra. Madrid, 2021, p. 109.
[16] Kelleher, John y Tierney, Brendan. “Data Science” Cambridge, MA, MIT Press, 2018, pp. 127-130. Este algoritmo fue usado en Bélgica y Uruguay con idénticos resultados, se recomienda la lectura del informe hecho por la Fundación Word WideWeb disponible en: https://webfoundation.org/docs/2018/09/WF_AI-in-LA_Report_Spanish_Screen_AW.pdf.
[17] Systeem Risico Indicatie.
[18] Rechtbank Den Haag. Sentencia del 5 de febrero de 2020, Rad. C / 09/550982 / HA ZA 18-388. Disponible en: https://uitspraken.rechtspraak.nl/#!/details?id=ECLI:NL:RBDHA:2020:1878&showbutton=true&keyword=syri
[19] Ley de Organización de Implementación y Estructura de Ingresos (Wet structuur uitvoeringsorganisatie en inkomen, SUWI).
[20] Fernández, Carlos, “Primera sentencia europea que declara ilegal un algoritmo de evaluación de características personales de los ciudadanos”, Wolters Kluwer, 13 de febrero de 2020. https://diariolaley.laleynext.es/Content/Documento.aspx?params=H4sIAAAAAAAEAMtMSbH1czUwMDAyNDa3NDJUK0stKs7Mz7M1MjACC6rl5aekhrg425bmpaSmZealpoCUZKZVuuQnh1QWpNqmJeYUp6qlJuXnZ 6OYFA8zAQCfSdkrYwAAAA==WKE
Para citar: Mauricio Alejandro Ascencio Moreno, “Sistemas de Inteligencia Artificial para la toma de decisiones administrativas: la encrucijada entre la eficiencia y la garantía de los derechos humanos” en Blog Revista Derecho del Estado, 25 de agosto de 2023. Disponible en: https://blogrevistaderechoestado.uexternado.edu.co/2023/08/25/sistemas-de-inteligencia-artificial-para-la-toma-de-decisiones-administrativas-la-encrucijada-entre-la-eficiencia-y-la-garantia-de-los-derechos-humanos/