75 Haide Maria Hupffer e Renata Fröhlich ou grupos afetados por sistemas de IA. A sessão II do Capítulo II se dedica a elucidar os direitos da pessoa ou grupo afetado por sistemas de IA de alto risco (Pacheco, 2023). Em relação a classificação dos riscos, observa-se uma convergência da PL n. 2.338/2023 com a normativa da União Europeia (AI Act). A AI Act europeu propõe quatro níveis de risco a seremadotados, enquanto o PL n. 2.338/2023 adota três: i] sistemas de risco excessivo (art. 13º), como sistemas de identificação biométrica, que são proibidos, salvo exceções previstas em legislação federal oumediante autorização judicial; ii] sistemas de risco alto (art. 14º, 15º e 16º), práticas autorizadas, desde que apresentem requisitos obrigatórios, como entrega de documentação, análise de impacto algorítmico, mecanismos que possibilitem a explicabilidade dos resultados; iii] risco moderado e baixo: ações permitidas, desde que contenham adoção de medidas de transparência e prevenção de vieses (Pacheco, 2023). Para reduzir os riscos, a tomada de decisão deve ser sempre humana, ou seja, com supervisão e intervenção humana em todas as etapas da tomada de decisão. Sistemas que colocam os seres humanos e o meio ambiente em risco devem ser sempre proibidos. Deve ser garantido que a IA esteja operando dentro dos limites éticos e legais, a exemplo de processos judiciais em que a tomada de decisão deve ser sempre humana, o que possibilita identificar e corrigir possíveis vieses, transparência nas operações, justiça e equidade (Coitinho; Silva, 2024, p. 11). A automação e a sofisticação trazidas pela IA para sistemas de justiça criminal podem exacerbar ainda mais a discriminação social e colocar em risco as liberdades fundamentais, como também desafiam princípios constitucionais, abrir a “caixa preta” da IA e como retomar a autonomia humana em diversas áreas de aprendizado de máquina que já operam de forma a evitar a intervenção humana. Abordagens ativas do aprendizado de máquina já são criadas para eliminar os humanos da equação. Outro desafio ético está na forma como redes neurais artificiais são desenvolvidas que “aprendem a executar tarefas considerando exemplos, geralmente sem serem programadas com regras específicas para cada tarefa”. A decisão humana, transparência, explicabilidade das decisões são valores fundamentais em ambientes judiciais. Assim, “um processo de tomada de decisão que carece de transparência e compreensibilidade não
RkJQdWJsaXNoZXIy MjEzNzYz