Discriminación algorítmica: un análisis jurídico de los desafíos y oportunidades en la era digital 48 tección de los derechos de las personas afectadas y el cumplimiento de la normativa vigente. f ) Barrera de la caja negra: esto es especialmente relevante en el contexto del uso de algoritmos, teniendo en cuenta el debate sobre el llamado fenómeno de “caja negra” (black box), es decir, la falta o la limitada transparencia algorítmica. Ello hace que sea extremadamente complejo aportar pruebas concretas de discriminación, especialmente para personas, que pueden no ser conscientes de que han sido sometidos a un escrutinio algorítmico. ¿Cómo pueden demostrar que han sufrido abusos? Por lo tanto, se plantea la cuestión de qué margen queda para impugnar las decisiones discriminatorias adoptadas sobre la base de conclusiones algorítmicas. Además, es interesante se alar que estos abusos no suelen manifestarse en forma de actos concretos, sino que se limitan a situaciones de mera conducta, como hemos expresado en trabajos anteriores en materia de migraciones y control fronterizo. g) Asimetrías de información: resulta complejo determinar hasta qué punto discrimina la IA y, si lo hace, en qué sentido es una discriminación algorítmica y no humana y quién es responsable de la misma. Determinarlo es complejo, teniendo en cuenta que a menudo las personas no son conscientes de que están interactuando con sistemas de IA ya que pueden desconocer los mecanismos de funcionamiento y los fines operativos de esos sistemas. Como ya se alamos, las implicaciones de la barrera de la “caja negra” son de gran alcance y suscitan preocupación sobre la transparencia y la confianza en la toma de decisiones basada en algoritmos. Sin una comprensión clara de cómo funciona un algoritmo, resulta difícil determinar si es discriminatorio y esta falta de transparencia puede obstaculizar el derecho de recurso. Por lo tanto, se plantea la cuestión de qué margen queda para impugnar las decisiones discriminatorias adoptadas sobre la base de conclusiones algorítmicas sin contar con la debida información sobre su funcionamiento y puesta en ejecución.
RkJQdWJsaXNoZXIy MjEzNzYz