Cidade Nova Um projeto pela Fraternidade Universal

OS ALGORITMOS já permeiam tanto nosso cotidiano que, por vezes, não nos damos conta da sua influência em nossa tomada de decisão. Seja em um aplicativo de streaming, seja nas buscas na internet, nas redes sociais, nos sistemas de reconhecimento facial e em tantos outros exemplos, esses modelos de programação são feitos para assimilar padrões de comportamento, automatizar ações e facilitar as nossas vidas. 

No entanto, a tecnologia nem sempre acerta, e alguns casos vêm preocupando especialistas e pesquisadores. A empresa Amazon, por exemplo, foi surpreendida quando seu sistema de Inteligência Artificial para seleção e recrutamento de novos funcionários começou a penalizar a seleção de mulheres. Isso aconteceu porque a ferramenta havia sido abastecida com dados de currículos recebidos pela empresa ao longo de 10 anos e, como a maioria dos currículos eram de homens, a tecnologia criou uma tendência a preferir candidatos do gênero masculino. Ao encontrar a palavra “mulher”, o algoritmo penalizava as inscrições, pois atribuía menos pontos no processo de seleção. 

Outro caso a ser citado foi o do algoritmo Compas, usado no estado americano de Wisconsin, o qual fazia uso de Inteligência Artificial para calcular o grau de periculosidade dos réus e, assim, definir suas penas. Dependendo da  pontuação atribuída pela ferramenta com base em dados prévios sobre a pessoa, o infrator poderia pagar fiança ou receber determinados anos de prisão. No entanto, ao analisar pontuações de sete mil pessoas presas no estado da Flórida durante dois anos, uma pesquisa concluiu que pessoas negras tinham 45% a mais de chance de receberem pontuações mais altas, mesmo em situações criminais parecidas com a de pessoas brancas. 

Esses são apenas dois exemplos famosos do que pesquisadores e estudiosos chamam de discriminação algorítmica, em razão de reprodução de práticas racistas, misóginas e homofóbicas por meio da tecnologia dos algoritmos. 

Formas de algoritmo preconceituoso

Conversamos com Gustavo Babo, advogado, pesquisador e executivo de proteção de dados na Sympla, para entender melhor o tema. “De uma forma geral, a discriminação algorítmica é uma situação que tem como resultado a discriminação que vem por meio de uma tecnologia. Em uma sociedade cada vez mais regida por algoritmos, isso fica mais latente, mais crítico”, diz. 

Babo explica que existem várias formas de tornar um algoritmo preconceituoso, mas três delas são mais comuns. A primeira é a utilização de uma base de dados tendenciosa, como vimos no caso da Amazon.

“Historicamente, as nossas bases de dados são tendenciosas e racistas. E uma vez que você alimenta o algoritmo com esses dados, ele perpetua essas situações. A tecnologia não consegue entender o que é racismo ou não e pode fazer da raça um fator determinante.” 

A segunda pode se dar no meio, na construção dos algoritmos, ao fazer uso de parametrizações preconceituosas, por exemplo, quando é ensinado à tecnologia que gênero é uma base de condição.  A terceira pode acontecer no resultado do algoritmo, como em ferramentas de reconhecimento facial, que são menos precisas para pessoas negras e transexuais, levando ao reconhecimento errôneo de fotos, como no caso da plataforma Flickr, que identificou fotos de pessoas negras como “macacos”, ou mesmo o Twitter (agora, X), que assumiu que sua Inteligência Artificial estava privilegiando a viralização de conteúdos de pessoas brancas. 

Para enfrentar este desafio da discriminação algorítmica, Babo enxerga alguns caminhos, e o primeiro deles passa pela representatividade. “Algo que destaco muito é a importância da representatividade nos times de desenvolvimento de tecnologia porque se você tem uma equipe que não representa a sociedade, você também vai ter um algoritmo que não representa a sociedade. Por exemplo: temos poucas pessoas pretas, especialmente mulheres, em times de desenvolvimento e tecnologia”, argumenta. 

Outro caminho possível é instigar, cada vez mais, um debate multissetorial sobre o tema. As empresas precisam ser mais transparentes com suas plataformas e produtos, o governo precisa incentivar mais campanhas de conscientização junto às escolas e ao público de idosos (mais suscetíveis às falhas tecnológicas) e a sociedade civil pode e deve atuar como fiscalizadora, trazendo a perspectiva do usuário, e se engajar nesse debate, já que são suas próprias informações pessoais que estão em jogo. 

No que tange as empresas, onde nascem as ferramentas capazes de criar situações de discriminação algorítmica, Babo aconselha que haja uma atuação conjunta dos profissionais de tecnologia com o departamento jurídico, por exemplo.

“Os maiores desafios dos algoritmos hoje não são técnicos, são humanos: éticos, sociais, legais. E precisamos superá-los para destravar a inovação”, defende.  

Além disso, a observância da Lei Geral de Proteção de Dados é recomendada, “Temos também um projeto de lei (PL 2.338/2023) que dispõe sobre requisitos mais específicos sobre como funcionam esses algoritmos, como boas práticas de governança dentro de Inteligência Artificial”. 

No entanto, o especialista alerta: “quando falamos de discriminação algorítmica, estamos falando de algo que já existe na sociedade, é só uma manifestação diferente. E ajustar um algoritmo é muito mais fácil do que combater um preconceito. De fato, todo combate ao racismo é uma forma legítima de combater a discriminação algorítmica. Um fortalece o outro”, finaliza.

Matéria originalmente publicada pela Revista Cidade Nova, na edição de novembro de 2023.