Sesgos en la era digital: desigualdad algorítmica y pueblos indígenas 330 porque las instrucciones pueden excluir, restringir o dar preferencia a características personales sobre otras, las cuales no son razonables y proporcionales al objetivo de respuesta. Esta tensión entre el principio de no discriminación y los sistemas algorítmicos, se ha visto reflejado en diferentes casos en el mundo, donde la IA ha representado a un grupo de personas mediante información sesgada y estereotipada. Caparrós (2022, p. 3-8), identificó que existe una discriminación hacia las personas negras, donde se les identificaba como parte de un grupo animal, en específico como gorilas o primates, fue realizada por Google Photos en 2015 y Facebook en 2021, en donde sus sistemas inteligentes realizaron identificación y recomendaciones en base a estereotipos y sesgos por el color negro y la estatura, identificándolos como gorilas, este tipo de discriminación encaja en las acciones indirectas, ya que, los parámetros que habrían usado dichos sistemas, fueron con el propósito de dar un resultado, sin embargo, este sistema se encontraba sesgada de información y parámetros implementadas por humanos, de igual manera sucedió en Estados Unidos, donde se integró una IA denominada sistemas COMPAS, el cual catalogaba a las personas negras conmayor riesgo de reincidencia de ser arrestados, a comparación de personas blancas, evidenciándose un sesgo en el riesgo real de cada sujeto. Otro caso, es la exclusión que se realiza a las personas adultas mayores en los parámetros de los sistemas de IA, está por los estereotipos que se han generado socialmente sobre este grupo humano determinado, por ser sujetos sin habilidades e intereses diversos (Caparrós, 2022, p. 8). Además, también se han identificado casos donde el desarrollo de IA por el sector empresarial ha realizado discriminación hacia la mujer, por sesgos y prejuicios sociales, como el caso de la empresa Amazon, donde habría desarrollado un sistema de contratación de personal, donde los algoritmos y parámetros usados, generaban una puntuación negativa en el curriculum de mujeres en comparación al de varones (Dastin, 2018). También en Google News, el sistema de promoción de ofertas laborales, proporcionaba mayor remuneración a los varones a comparación de las mujeres, en base al mapeo de las palabras que se suministraban en el sistema de data, dejando en evidencia sesgos en base al género, perfilando las ofertas profe-
RkJQdWJsaXNoZXIy MjEzNzYz