Algoritmos como mecanismos de opressão à população LGBTQIAPN+ 240 que os sistemas de inteligência artificial podem não só herdar, mas também propagar, preconceitos existentes nos dados em que foram treinados. Observa-se que os algoritmos podem vir a informar ou apoiar decisões que refletem (ou deixam refletir) tanto os valores como os preconceitos humanos. É o que ocorre, por exemplo, nos modelos treinados em dados nos quais há sub-representação das minorias, “o que levanta questões de potencial preconceito e discriminação, nomeadamente em decisões automatizadas em matéria de emprego, habitação, crédito e justiça criminal” (Doneda; Mendes; Souza; Andrade, 2018, p. 12). Frazão (2021) alerta que a programação pode gerar e manter diversos preconceitos, muito embora tenham sido criados sob o viés da neutralidade. Assim, os algoritmos, em tese programados para superar as limitações de racionalidade dos seres humanos, podem incorporar as escolhas, os vieses e os preconceitos de seus programadores – mesmo que não intencionalmente –, culminando em injustiças. Barocas e Selbst (2016, p. 671) afirmam que durante a construção, a programação e o treinamento de algoritmos, o processo pode apresentar resultados desproporcionalmente adversos, concentrados em grupos historicamente desfavorecidos. Ryan Calo (2017, p. 9) aponta alguns exemplos, como um sistema de tradução instantânea que associa a profissão de médico como masculino e a de enfermeira como feminino – ainda que o idioma traduzido não faça qualquer distinção de gênero7, e uma câmera que se recusou a fotografar uma blogueira de Taiwan por “acreditar” que ela estava de olhos fechados. Os motivos pelos quais os algoritmos podem produzir resultados discriminatórios e prejudicar determinadas pessoas ou grupos sociais dividem-se emdois grandes grupos: 1) “qualquer algoritmo só é tão bom quanto os dados que lhe servem como base”, isto é, a qualidade da decisão automatizada (denominada output), baseada em um algoritmo, guarda estreita relação com a qualidade dos dados que ele processa (denominada input). Logo, caso o algoritmo se baseie em dados históricos repletos de preconceitos, serão reprodu7 “O turco usa uma terceira pessoa neutra em termos de gênero, o pronome ‘o.’ Conectado ao serviço de tradução on-line Google Translate, no entanto, as frases em turco ‘o bir doktor’ e ‘o bir hemşire’ são traduzidos para o inglês como ‘ele é médico’ e ‘ela é enfermeira’”.
RkJQdWJsaXNoZXIy MjEzNzYz