77 José Julio Fernández Rodríguez La realidad ya ha mostrados distintos supuestos, algunos con notable repercusión, de esta discriminación algorítmica. Es fácil rastrear noticias en la web sobre ello, por lo que sólo vamos a apuntar algún ejemplo ilustrativo. Así, el algoritmo SyRI (Systeem Risico Indicatie) empleado en Países Bajos consideró incorrectamente que habían cometido fraude fiscal miles de familias de recursos socioeconómicos bajos. Este algoritmo impidió que muchas familias con más de una nacionalidad percibieran beneficios sociales que sí hubieran tenido en otras circunstancias. Con posterioridad los tribunales declararon ilegal dicho algoritmo y en enero de 2021 dimitió el gobierno holandés por este escándalo, en el que también se incluía una estricta política gubernamental que llevaba a considerar fraudulentas conductas menores (como una peque a incoherencia entre los datos o la falta de firma en una de las páginas del formulario)5. Sin duda, el adecuado acceso a los servicios sociales es un elemento esencial en el mundo tecnológico dado que “se ha detectado un peligro considerable de que los algoritmos puedan excluir a determinados grupos de ciudadanos o perfiles humanos” (Presno Linera, 2022, p. 77). Otro ejemplo que traemos a colación es del sector privado: el algoritmo de ofertas de trabajo de Amazon que al emplear datos históricos mostró un sesgo perjudicial para las mujeres6. El sistema fue entrenado con base en los currículos enviados a esa empresa durante un período de 10 a os. El problema radicaba en que la mayoría de tales currículos provenían de hombres dado que en la industria tecnológica existe un dominio masculino. Esto originó que el algoritmo se ense ó a sí mismo que los candidatos masculinos eran preferibles. Amazon tuvo que cerrar este proyecto. Otro caso conocido que afectó igualmente de forma negativa a las mujeres fue el de la tarjeta Apple Card de la empresa Goldman Sachs, que ofrecía crédi5 Un relato de este caso desde el punto de vista del problema algorítmico puede verse en https://medium.com/berkman-klein-center/why-the-resignation-ofthe-dutch-government-is-a-good-reminder-of-how-important-it-is-to-monitor-2c599c1e0100. En esta información también se alude a que el gobierno holandés usaba algoritmos en otros muchos supuestos, como para determinar dónde se cometen delitos, evaluar cuánta ayuda social necesitará cada persona y cuáles son las probabilidades de que un determinado estudiante abandone la escuela. La Autoridad de Protección de Datos de ese país ha incrementado por ello la supervisión de los algoritmos empleados por el sector público. 6 Información periodística sobre ello en https://www.reuters.com/article/us-a mazon-com-jobs-automation-insight-idUSKCN1MK08G/.
RkJQdWJsaXNoZXIy MjEzNzYz