Discriminação algorítmica e LGPD: o papel do princípio da adequação e qualidade nos datasets de treinamento de Sistemas de IA 188 cas de avaliação para modelos de IA”, que considerem aspectos (a) técnicos e (b) sociais. Isso porque, em geral, os desenvolvedores se concentram mais no desempenho e na acurácia do modelo. Assim, “o modelo que apresenta uma taxa de acerto aceitável com base nesses critérios se torna elegível para ser implementado emum sistema em produção, independentemente de demonstrar um viés para um ou outro lado” (Cortiz, 2020, p. 1-5). Hoffmann-Riem (2021, p. 33-34) ressalta que “os próprios algoritmos – pelo menos no ponto de partida – são criados por humanos. Neste sentido, são – como outras técnicas/tecnologias – construções sociais criadas em determinados contextos. Isso também se aplica à criação de algoritmos altamente desenvolvidos, que podem então ‘aprender’ e se programar de forma independente.” (Hoffmann-Riem, 2021, p. 33-34). E Matthews (2020, p. 85) destaca que problemas como o mencionado (que diz respeito aos datasets), envolvendo resultados negativos oriundos de bancos de dados excessivos ou imprecisos, podem ser recorrentes caso os desenvolvedores do sistema se contentem com o desempenho agregado do sistema e não promovam a devida revisão ou explicação dos resultados. Segundo atenta Hoffmann-Riem (2021, p. 33-34): “deve-se notar novamente que alguns algoritmos são tão complexos que dificilmente podem ser ‘compreendidos pelos humanos’ como um todo, e portanto, seu modo de operação só pode ser entendido de forma limitada. Eles então agem como uma caixa preta, ou, como são chamados nos países de língua anglo-saxônica, ‘opaque, inscrutable artefacts’”. As preocupações despertam à medida em que a IA passa a estar cada vez mais ligada a questões críticas, como por exemplo, aquelas relacionadas ao exercício de direitos e garantias fundamentais. Sistemas de IA (capazes de realizar decisões automatizadas) podem ser utilizados em atividades simples, como cálculos e estimativas, ou complexas, como auxiliar na prescrição de diagnósticos e tratamentos médicos, na criação automatizada de perfis e, entre outros exemplos, na colaboração com o cumprimento da lei e do policiamento preditivo (Mittelstad et al., 2016, p. 3). Nesse sentido, por meio do processamento dos dados do dataset que nutrem o sistema, ummodelo algorítmico é capaz de realizar análises preditivas voltadas a reincidência de réus em processos penais, recomendação de
RkJQdWJsaXNoZXIy MjEzNzYz