Discriminação algorítmica e LGPD: o papel do princípio da adequação e qualidade nos datasets de treinamento de Sistemas de IA 190 dade de as autoridades reforçarem a confiança e os conhecimentos necessários para desafiar ou anular uma recomendação algorítmica; considera importante ter expectativas realistas sobre tais soluções tecnológicas e não prometer soluções de aplicação da lei perfeitas e a deteção de todas as infrações cometidas; (Parlamento Europeu, 2021). As formas de discriminação algorítmica, segundo esclarecemMattiuzzo, Mendes e Fujimoto (2021, p. 425), podem ocorrer por meio de: (a) erro estatístico: forma de discriminação que decorre da ação ou omissão do desenvolvedor do algoritmo, abrangendo problemas no código e dados incorretamente coletados, culminando um resultado incorreto; (b) uso de dados pessoais sensíveis: a despeito do acerto à nível estatístico, um resultado do modelo pode ser discriminatório se utilizados dados legalmente protegidos, especialmente quando baseado em características endógenas individuais ou de grupos historicamente discriminados; (c) generalização injusta ou correlação abusiva: ainda que a análise do modelo esteja correta, o resultado restará prejudicado quando houver generalização imprecisa ou injusta, abrangendo indivíduos que não se encaixam na média, grupo ou resultado obtido, e; (d) limitação ao exercício de direitos: nesse caso, o resultado pode estar correto sob a perspectiva estatística, mas, por outro lado, ser discriminatório em razão de afetar demasiadamente a realização de um direito. Ressalta-se que o tema não é alheio ao Conselho Nacional de Justiça, que já tratou da utilização de tecnologias de IA no Poder Judiciário (CNJ, 2020). Com efeito, a Resolução CNJ n.º 332/2020 estabelece que na hipótese de constatação de viés discriminatório no modelo algorítmico, não passível de correção técnica, será determinada a descontinuidade no uso domodelo (o que deverá ser observado antes de ser colocado em “produção”): Art. 7º As decisões judiciais apoiadas em ferramentas de Inteligência Artificial devem preservar a igualdade, a não discriminação, a pluralidade e a solidariedade, auxiliando no julgamento justo, com criação de condições que visem eliminar ou minimizar a opressão, a marginalização do ser humano e os erros de julgamento decorrentes de preconceitos. § 1º Antes de ser colocado em produção, o modelo de Inteligência Artificial deverá ser homologado de forma
RkJQdWJsaXNoZXIy MjEzNzYz