Discriminação algorítmica, Inteligência artificial, Hipervigilância digital e tomada de decisão automatizada

O devido processo digital na perspectiva processual e constitucional: para além da transparência algorítmica 282 cidade dos atos processuais, que preceitua que a digitalização dos processos deve manter a transparência, permitindo acesso público às informações relevantes, e, por fim, a imparcialidade dos juízes, uma vez que algoritmos utilizados no processo de tomada de decisões devem ser projetados e auditados para evitar vieses que possam comprometer a imparcialidade das decisões. No entanto, a transparência algorítmica enfrenta vários desafios, como a questão do segredo comercial, que impede a divulgação, uma vez que muitos algoritmos são proprietários e protegidos por segredos comerciais, o que dificulta a sua divulgação completa, bem como a questão da complexidade técnica, que pode tornar difícil para leigos entenderem o funcionamento de certos algoritmos, bem como o ponto mais importante, que diz respeito aos vieses inerentes, ou seja, algoritmos podem incorporar vieses existentes nos dados de treinamento, levando a decisões injustas. A partir desse conceito de utilização de sistemas inteligentes, capazes de automatizar procedimentos e tomar decisões, como a avaliação do comportamento dos consumidores, surgiu a ideia do devido processo digital. Inspirada pelo princípio do devido processo legal, que será discutido posteriormente, essa ideia busca estabelecer parâmetros básicos para orientar o funcionamento dos sistemas tecnológicos na tomada de decisões. Essa abordagem surge como uma resposta à necessidade de garantir certa igualdade de tratamento aos destinatários desses sistemas, assegurando que sejam alcançados resultados minimamente equitativos. Embora a transparência seja crucial, ela por si só não é suficiente para garantir o devido processo digital. É necessário implementar mecanismos adicionais que assegurem a justiça e a equidade no uso de tecnologias digitais. Entre osmecanismos que podemser adotados estão a auditoria independente de algoritmos, que permite a verificação imparcial da justiça e da precisão dos algoritmos, a criação de regulamentos específicos para o uso de tecnologias digitais no sistema judicial, que estabeleçam padrões claros para o uso de algoritmos no sistema judicial, e a educação contínua de profissionais do direito sobre as implicações dessas tecnologias e sua aplicação no contexto judicial. Um exemplo notável do uso de sistemas inteligentes que exibem vieses em processos decisórios é o caso do COMPAS (Correc-

RkJQdWJsaXNoZXIy MjEzNzYz