Discriminação algorítmica, proteção de dados e igualdade racial

Resumo

O artigo examina a discriminação algorítmica de natureza racial como problema jurídico situado na interseção entre igualdade, proteção de dados pessoais e governança da inteligência artificial. O objetivo é identificar parâmetros normativos capazes de orientar prevenção, detecção, explicação, revisão e reparação de impactos discriminatórios produzidos ou ampliados por sistemas automatizados. A pesquisa adota abordagem qualitativa, bibliográfica e documental, articulando literatura sobre racismo algorítmico e auditoria de sistemas com a Constituição Federal, a Lei Geral de Proteção de Dados Pessoais e iniciativas regulatórias recentes da Autoridade Nacional de Proteção de Dados. Sustenta-se que a aparente neutralidade técnica não elimina a incidência do princípio da não discriminação, especialmente quando dados, proxies, modelos ou critérios de decisão reproduzem desigualdades historicamente racializadas. Como resultado, propõe-se uma matriz jurídica de governança baseada em avaliação de impacto, documentação, testes desagregados, explicabilidade adequada ao risco, revisão efetiva, participação de grupos afetados e responsabilização institucional. Conclui-se que a tutela jurídica da igualdade em ambientes automatizados depende de deslocar a análise do código isolado para o ciclo completo de decisão, incluindo dados, desenho, finalidade, implantação e efeitos concretos do sistema.

Palavras-chave: discriminação algorítmica; igualdade racial; proteção de dados; inteligência artificial; governança algorítmica.

Abstract

This article examines racial algorithmic discrimination as a legal problem at the intersection of equality, personal data protection and artificial intelligence governance. Its objective is to identify normative parameters capable of guiding the prevention, detection, explanation, review and remediation of discriminatory impacts produced or amplified by automated systems. The research adopts a qualitative, bibliographic and documentary approach, combining scholarship on algorithmic racism and system auditing with the Brazilian Federal Constitution, the General Data Protection Law and recent regulatory initiatives of the Brazilian Data Protection Authority. It argues that apparent technical neutrality does not exclude the non-discrimination principle, especially when data, proxies, models or decision criteria reproduce historically racialized inequalities. As a result, it proposes a legal governance matrix based on impact assessment, documentation, disaggregated testing, risk-appropriate explainability, effective review, participation of affected groups and institutional accountability. It concludes that protecting equality in automated environments requires shifting the analysis from isolated code to the entire decision cycle, including data, design, purpose, deployment and concrete effects.

Keywords: algorithmic discrimination; racial equality; data protection; artificial intelligence; algorithmic governance.

Sumário

1 Introdução. 2 Discriminação algorítmica e racialização de decisões automatizadas. 2.1 Da neutralidade aparente aos efeitos jurídicos. 2.2 Dados, proxies e discriminação indireta. 3 Fundamentos jurídicos brasileiros. 3.1 Igualdade, dignidade e não discriminação. 3.2 LGPD, princípios e decisões automatizadas. 3.3 Dados sensíveis, biometria e inferências. 4 Evidências empíricas e o dever de testar. 5 Governança jurídica de sistemas de IA. 5.1 Avaliação de impacto e documentação. 5.2 Transparência, explicabilidade e revisão. 5.3 Auditoria, participação e prestação de contas. 6 Matriz de proteção contra discriminação algorítmica racial. 7 Considerações finais. Referências.

1 INTRODUÇÃO

A incorporação de sistemas de inteligência artificial e de modelos automatizados de classificação em atividades públicas e privadas ampliou a capacidade de processar dados, identificar padrões e produzir decisões em escala. Essa expansão, porém, não desloca as tecnologias para fora do Direito. Quanto maior a influência de sistemas automatizados sobre oportunidades, acesso a serviços, crédito, trabalho, segurança, educação ou visibilidade, maior se torna a necessidade de examinar os critérios que estruturam seus resultados e os efeitos que produzem sobre pessoas e grupos socialmente vulnerabilizados.

A discriminação algorítmica é um dos pontos centrais desse debate. O problema não se restringe à hipótese de um programador inserir deliberadamente uma regra discriminatória no código. Sistemas podem gerar impactos desiguais por bases de dados historicamente enviesadas, variáveis que funcionam como proxies de raça ou condição socioeconômica, categorias mal definidas, métricas inadequadas, ausência de testes desagregados ou objetivos organizacionais que premiam eficiência sem considerar direitos fundamentais. Modelos estatísticos podem, assim, reproduzir padrões pretéritos como se fossem sinais neutros sobre o futuro.

A literatura crítica sobre tecnologia demonstra que ferramentas de busca, sistemas de classificação, modelos de risco e tecnologias de visão computacional podem reproduzir ou intensificar desigualdades existentes. Noble (2018) mostrou como mecanismos de busca e arquiteturas informacionais podem produzir hierarquias raciais e de gênero; Benjamin (2019) analisou formas de discriminação codificada que operam sob aparência de neutralidade; Silva (2022) sistematizou, no contexto brasileiro, o racismo algorítmico como fenômeno relacionado à incorporação de hierarquias raciais nas tecnologias digitais. Esses trabalhos convergem em um ponto: decisões tecnológicas não devem ser presumidas socialmente neutras apenas porque foram formalizadas em modelos matemáticos.

No Brasil, essa discussão encontra fundamentos constitucionais e infraconstitucionais relevantes. A Constituição estabelece a igualdade como direito fundamental e adota a promoção do bem de todos sem preconceitos de origem, raça, sexo, cor, idade e outras formas de discriminação como objetivo fundamental da República. A Lei Geral de Proteção de Dados Pessoais (LGPD) consagra princípios como finalidade, adequação, necessidade, transparência, segurança, prevenção, não discriminação e responsabilização e prestação de contas. A lei também disciplina dados pessoais sensíveis e assegura ao titular o direito de solicitar revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem seus interesses.

A questão de pesquisa é: quais parâmetros jurídicos devem estruturar a governança de sistemas de inteligência artificial para prevenir e enfrentar discriminação algorítmica racial no contexto brasileiro? O objetivo geral é sistematizar uma matriz de proteção que integre igualdade, proteção de dados e governança algorítmica. Como objetivos específicos, busca-se identificar mecanismos pelos quais desigualdades raciais podem ser reproduzidas em sistemas automatizados; relacionar esses mecanismos aos deveres derivados da Constituição e da LGPD; e propor requisitos operacionais de avaliação de impacto, testagem, documentação, explicabilidade, revisão, participação e responsabilização.

Metodologicamente, trata-se de pesquisa qualitativa, bibliográfica e documental, baseada em revisão de literatura interdisciplinar e análise jurídico-normativa. O trabalho utiliza legislação brasileira, documentos institucionais da Autoridade Nacional de Proteção de Dados (ANPD) e estudos empíricos de referência sobre desempenho desigual de sistemas automatizados. O argumento central sustenta que a proteção contra discriminação algorítmica racial exige análise do ciclo sociotécnico completo da decisão: dados, finalidade, categorias, métricas, implantação, contestação e impactos efetivamente observados.

2 DISCRIMINAÇÃO ALGORÍTMICA E RACIALIZAÇÃO DE DECISÕES AUTOMATIZADAS

A discriminação algorítmica designa situações em que processos automatizados produzem, reproduzem ou ampliam diferenciações ilegítimas entre indivíduos ou grupos. A origem do efeito discriminatório pode estar em diferentes etapas do sistema. Um modelo treinado com dados históricos de contratação pode aprender associações entre perfis considerados bem-sucedidos e características correlacionadas a grupos já privilegiados. Um sistema de crédito pode utilizar CEP, padrão de consumo, escolaridade ou rede de relações como variáveis aparentemente neutras que, combinadas, funcionam como aproximações de raça e classe. Uma ferramenta de visão computacional pode apresentar taxas de erro diferentes conforme tom de pele e gênero, ainda que seu objetivo formal não seja discriminar.

Em sociedades marcadas por desigualdades estruturais, modelos de aprendizagem de máquina dependem de registros do mundo social. Se esses registros refletem mercados segmentados, policiamento desigual, distribuição assimétrica de renda, diferenças de acesso a educação e saúde ou padrões discriminatórios de contratação, o aprendizado estatístico pode transformar desigualdade histórica em correlação operacional. A automação não cria necessariamente a desigualdade do zero; pode convertê-la em infraestrutura decisória e ampliar seu alcance, velocidade e opacidade.

Uma categoria analítica previamente formulada pela autora deste estudo em trabalho anterior, cuja referência é suprimida nesta versão para preservar a avaliação às cegas, descreve a passagem da racialização social dos corpos para classificações produzidas por dados e sistemas digitais (AUTORA, 2026). Utilizada aqui apenas como ponto de partida conceitual, a ideia permite observar que raça pode ingressar em sistemas automatizados não apenas por um campo denominado “raça”, mas por imagens, localização, linguagem, hábitos, redes de interação, sobrenomes, padrões de consumo e outros sinais estatisticamente correlacionados.

Do ponto de vista jurídico, a inexistência de variável racial explícita não basta para demonstrar neutralidade. É necessário examinar efeitos, correlações, contexto e finalidade. A análise deve considerar tanto discriminação direta quanto formas indiretas em que critérios aparentemente gerais produzem impacto desproporcional sobre grupos racializados sem justificativa legítima, necessária e proporcional.

2.1 Da neutralidade aparente aos efeitos jurídicos

A neutralidade tecnológica é frequentemente apresentada como consequência da matematização da decisão. Entretanto, todo sistema automatizado incorpora escolhas normativas e organizacionais: quais dados coletar, quais resultados otimizar, qual taxa de erro considerar aceitável, quais grupos representar na base de treinamento, como definir sucesso, que situações encaminhar para intervenção humana e que custos atribuir a falsos positivos ou falsos negativos. Mesmo quando essas escolhas são tecnicamente defensáveis, elas distribuem riscos e benefícios.

O Direito deve examinar não apenas a intenção subjetiva de quem desenvolve ou utiliza o sistema, mas também a estrutura objetiva do tratamento e seus impactos. O princípio da não discriminação da LGPD proíbe o tratamento para fins discriminatórios ilícitos ou abusivos. Um tratamento pode ser formalmente uniforme e, ainda assim, produzir efeitos incompatíveis com igualdade substancial. Essa interpretação é coerente com a função preventiva da proteção de dados e com a centralidade dos direitos fundamentais.

A governança adequada pressupõe reconhecer que desempenho global elevado pode ocultar falhas severas em subgrupos. Métricas agregadas reduzem diferenças internas a uma média. Quando a população afetada é heterogênea, essa prática pode tornar invisível que determinado grupo suporta parcela desproporcional dos erros. A juridicidade de um sistema não pode depender apenas de sua acurácia média; deve incluir análise distributiva dos riscos.

2.2 Dados, proxies e discriminação indireta

A utilização de proxies é uma das principais dificuldades para o controle jurídico da discriminação algorítmica. Uma variável pode capturar informação sobre outra mesmo quando esta não está diretamente disponível. Em contextos de segregação territorial e desigualdade socioeconômica, localização residencial, escola frequentada, padrão linguístico ou rede de contatos podem carregar informação racial indireta. A exclusão do atributo protegido, portanto, não impede que o modelo reconstrua associações equivalentes.

Em alguns casos, a coleta responsável de dados sensíveis pode ser necessária justamente para testar disparidades. Uma política de cegueira completa em relação a atributos protegidos pode impedir auditorias de equidade. Ao mesmo tempo, dados raciais são sensíveis e seu tratamento exige fundamento jurídico, finalidade legítima, necessidade, segurança e salvaguardas reforçadas. A governança deve evitar tanto a coleta indiscriminada quanto a ignorância deliberada que impossibilita verificar discriminação.

Dados sensíveis destinados a auditoria não devem ser reutilizados para decisão individual incompatível com a finalidade de controle. Devem existir segregação funcional, acesso restrito, minimização, documentação, retenção limitada e supervisão. O objetivo é tornar possível medir desigualdade sem transformar a própria auditoria em nova fonte de vulnerabilidade.

3 FUNDAMENTOS JURÍDICOS BRASILEIROS

3.1 Igualdade, dignidade e não discriminação

A Constituição Federal oferece o primeiro eixo normativo para o controle da discriminação algorítmica. A igualdade prevista no art. 5º não se resume à aplicação formal da mesma regra a todas as pessoas. Em contextos de desigualdade estrutural, a tutela constitucional exige atenção aos efeitos concretos de práticas públicas e privadas. O art. 3º, IV, estabelece como objetivo fundamental promover o bem de todos sem preconceitos de origem, raça, sexo, cor, idade e quaisquer outras formas de discriminação, enquanto o art. 4º, VIII, inclui o repúdio ao racismo entre os princípios das relações internacionais do Brasil.

Essas normas condicionam a adoção de tecnologias. A inovação não constitui zona de exceção constitucional. Se um sistema automatizado interfere de modo relevante no acesso a direitos, serviços ou oportunidades, sua utilização deve ser compatível com dignidade, igualdade, devido processo, privacidade e proteção de dados. Isso vale para o Estado e, conforme o contexto, também para agentes privados que exercem poder classificatório relevante sobre indivíduos.

O Estatuto da Igualdade Racial reforça o dever de enfrentar desigualdades e garantir igualdade de oportunidades. Embora elaborado antes da atual expansão de sistemas de IA, seus objetivos permanecem aplicáveis quando a discriminação assume forma digital. A mudança do meio técnico não altera a natureza do dever jurídico de prevenção e enfrentamento da desigualdade racial.

3.2 LGPD, princípios e decisões automatizadas

A LGPD oferece instrumentos particularmente relevantes porque sistemas de inteligência artificial frequentemente dependem de tratamento intensivo de dados pessoais. O art. 6º estabelece princípios que podem ser convertidos em requisitos concretos de governança. Finalidade exige objetivos legítimos, específicos e informados; adequação demanda compatibilidade entre tratamento e finalidades; necessidade limita a coleta ao mínimo pertinente; qualidade dos dados requer exatidão e atualização; transparência assegura informações claras; prevenção orienta medidas antecipatórias; não discriminação proíbe tratamentos discriminatórios ilícitos ou abusivos; e responsabilização exige demonstração de medidas eficazes de conformidade.

Em sistemas automatizados, esses princípios devem ser avaliados de forma integrada. Um modelo pode ser preciso, mas utilizar quantidade excessiva de dados; pode ser transparente quanto à existência da automação, mas insuficiente quanto aos critérios relevantes; pode ter finalidade legítima, porém produzir impacto discriminatório. A conformidade não é uma lista de verificação isolada, e sim uma estrutura relacional entre finalidade, dados, risco, direitos e efeitos.

O art. 20 da LGPD é central para decisões automatizadas. O titular pode solicitar revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, inclusive aquelas destinadas a definir perfil pessoal, profissional, de consumo, de crédito ou aspectos de sua personalidade. O controlador deve fornecer, quando solicitado, informações claras e adequadas sobre critérios e procedimentos utilizados, observados segredos comercial e industrial. Se essas informações não forem fornecidas sob tal fundamento, a ANPD pode realizar auditoria para verificar aspectos discriminatórios do tratamento automatizado.

A norma conecta transparência, contestabilidade e não discriminação. A revisão não deve ser concebida como formalidade incapaz de alterar o resultado. Uma revisão efetiva precisa permitir que o titular apresente informações, conteste premissas, corrija dados inexatos e obtenha reavaliação com capacidade real de modificar a decisão. Caso contrário, cria-se aparência de devido processo sem controle substantivo sobre a automação.

A atuação regulatória da ANPD confirma a relevância contemporânea do tema. Em 2024 e 2025, a Autoridade conduziu tomada de subsídios sobre inteligência artificial e revisão de decisões automatizadas, estruturada em princípios da LGPD, hipóteses legais, direitos dos titulares, boas práticas e governança. Em sua agenda regulatória, o projeto de inteligência artificial permanece relacionado à interpretação do art. 20 e aos efeitos do treinamento e uso de sistemas de IA. Em 2026, o sandbox regulatório avançou em testes supervisionados voltados, entre outros aspectos, à transparência, explicabilidade, proteção de dados e gestão de riscos.

Esses movimentos mostram que a proteção de dados não opera apenas após a ocorrência de dano. O modelo regulatório enfatiza documentação, gestão de riscos e aprendizado institucional. Para discriminação algorítmica, essa perspectiva preventiva é essencial, pois danos produzidos em escala podem atingir muitas pessoas antes de serem percebidos por mecanismos individuais de reclamação.

3.3 Dados sensíveis, biometria e inferências

A LGPD classifica como dados pessoais sensíveis, entre outros, aqueles referentes à origem racial ou étnica e os dados biométricos vinculados a uma pessoa natural. O regime diferenciado se justifica porque certas informações podem potencializar discriminação e outros danos graves. Tecnologias de reconhecimento facial, verificação biométrica e análise de imagens devem, portanto, ser examinadas não apenas sob a ótica de conveniência ou eficiência, mas à luz das hipóteses legais e salvaguardas aplicáveis a dados sensíveis.

O problema se torna mais complexo quando o sistema infere atributos sensíveis a partir de dados que não foram originalmente classificados dessa forma. Fotografias, voz, padrões de deslocamento e linguagem podem permitir inferências sobre raça, origem, saúde, religião ou outros aspectos protegidos. Concentrar-se apenas no rótulo formal do dado de entrada pode ser insuficiente; o risco decorre também do conhecimento derivado e das decisões que esse conhecimento possibilita.

Governança adequada exige mapear não apenas quais campos estão armazenados, mas quais inferências o modelo produz ou pode produzir. Avaliações de impacto devem considerar riscos de reidentificação, inferência, correlação e uso secundário. A minimização de dados precisa abranger arquitetura, atributos derivados e retenção de representações internas quando estas permitam efeitos equivalentes ao tratamento de dados sensíveis.

4 EVIDÊNCIAS EMPÍRICAS E O DEVER DE TESTAR

A discussão jurídica sobre discriminação algorítmica precisa dialogar com evidências empíricas. Um dos estudos mais influentes é Gender Shades, de Buolamwini e Gebru (2018), que avaliou sistemas comerciais de classificação de gênero e encontrou disparidades significativas segundo gênero e tonalidade de pele. No conjunto analisado, mulheres de pele mais escura apresentaram taxas de erro muito superiores às observadas entre homens de pele mais clara. O estudo não autoriza generalizar os mesmos percentuais para qualquer sistema atual, mas demonstra por que avaliações agregadas podem ocultar desigualdades relevantes.

A lição regulatória é direta: sistemas que afetam pessoas devem ser testados de modo compatível com os grupos que poderão sofrer seus erros. Não basta relatar acurácia global. Dependendo do caso, devem ser analisadas taxas de falso positivo, falso negativo, rejeição, aprovação, encaminhamento, detecção ou outro indicador adequado, desagregado por grupos pertinentes. O teste deve ocorrer antes da implantação e continuar durante o uso, porque mudanças de população, dados e contexto podem alterar o desempenho.

A definição do que medir também é jurídica. Em reconhecimento facial utilizado para segurança pública, falso positivo pode contribuir para abordagem indevida de pessoa inocente; em crédito, falso negativo pode impedir acesso a financiamento; em recrutamento, um ranking enviesado pode reduzir oportunidades sem produzir decisão formal explícita. O custo do erro varia conforme o contexto, de modo que a governança deve combinar análise estatística com avaliação de direitos afetados.

O dever de testar decorre de prevenção, não discriminação, qualidade dos dados e responsabilização. Se um controlador adota tecnologia com potencial impacto significativo e deixa de verificar disparidades previsíveis, a ausência de conhecimento não equivale necessariamente a ausência de responsabilidade. A prestação de contas exige demonstrar por que o sistema foi considerado adequado, quais riscos foram identificados, quais testes foram realizados, que medidas mitigadoras foram adotadas e como os resultados serão monitorados.

Essa perspectiva evita reduzir o debate a uma oposição simplista entre sistemas “enviesados” e “não enviesados”. Todo modelo opera com escolhas e limitações. A questão regulatória é se os riscos foram identificados, mensurados, justificados e reduzidos de maneira compatível com direitos fundamentais. Em certos contextos, a conclusão adequada pode ser não implantar a tecnologia, especialmente quando o dano potencial é elevado e não há salvaguardas capazes de tornar seu uso proporcional.

5 GOVERNANÇA JURÍDICA DE SISTEMAS DE IA

5.1 Avaliação de impacto e documentação

A avaliação de impacto é mecanismo central para transformar princípios abstratos em procedimento verificável. Antes da implantação de sistema de IA com potencial de afetar direitos, o responsável deve documentar finalidade, base jurídica, categorias de dados, grupos afetados, contexto de uso, decisões apoiadas ou automatizadas, fornecedores envolvidos, riscos previstos, métricas de desempenho, salvaguardas, mecanismos de revisão e plano de monitoramento. Essa documentação deve ser proporcional ao risco e atualizada quando houver mudanças materiais.

No campo racial, a avaliação precisa incluir pergunta específica sobre distribuição de efeitos. Quais grupos podem ser mais afetados por erros? Há variáveis que funcionam como proxies? A base representa adequadamente a população de uso? Existem diferenças conhecidas de qualidade dos dados entre grupos? O contexto histórico contém padrões de discriminação que possam ser aprendidos pelo sistema? Que medidas foram adotadas para evitar que desigualdades pretéritas sejam convertidas em previsão legítima?

A avaliação de impacto não deve ser documento produzido apenas para arquivo. Sua função é modificar decisões de projeto. Se os riscos identificados não podem ser mitigados, a organização deve reconsiderar finalidade, arquitetura, fonte de dados ou mesmo a adoção do sistema. Esse caráter decisório distingue gestão de riscos de mera formalização burocrática.

5.2 Transparência, explicabilidade e revisão

Transparência em IA não significa necessariamente divulgar código-fonte ou revelar segredo industrial. Significa fornecer informação suficiente para que titulares, auditores, reguladores e responsáveis internos compreendam aspectos relevantes da decisão. Para a pessoa afetada, são especialmente relevantes a existência de automação, finalidade, categorias de dados consideradas, fatores principais que influenciaram o resultado, consequências e vias de contestação.

Explicabilidade deve ser orientada à utilidade. Uma descrição matemática incompreensível para o titular não satisfaz a função de permitir exercício de direitos. Da mesma forma, mensagem genérica segundo a qual “a decisão foi baseada em seu perfil” pouco acrescenta. O objetivo deve ser possibilitar compreensão suficiente para contestar premissas relevantes e identificar eventual erro, dado desatualizado ou critério inadequado.

A revisão humana precisa ser substancial. Se o revisor apenas confirma automaticamente o resultado do sistema, há risco de viés de automação. O procedimento deve garantir acesso a informações pertinentes, autoridade para alterar a decisão, treinamento para compreender limitações do modelo e prazo compatível com a gravidade do impacto. Em decisões de alto impacto, mecanismos internos de escalonamento e registro de divergências podem ser necessários.

A transparência coletiva também importa. Relatórios periódicos podem divulgar finalidade do sistema, métricas agregadas, resultados de testes de equidade, número de contestações, taxa de reversão e medidas corretivas, preservados segredos legítimos e dados pessoais. Essa prática permite controle social e reduz a assimetria informacional entre organizações que utilizam IA e populações submetidas aos seus efeitos.

5.3 Auditoria, participação e prestação de contas

Auditorias algorítmicas podem assumir formatos internos, externos ou regulatórios. Sua utilidade depende da independência, do acesso a evidências e da adequação metodológica. Uma auditoria limitada ao código pode falhar ao não examinar dados, contexto de uso e efeitos. Por isso, o objeto deve abranger o ciclo de vida: definição do problema, aquisição de dados, desenvolvimento, validação, implantação, monitoramento e descontinuação.

A participação de grupos afetados acrescenta dimensão que métricas técnicas não capturam. Pessoas que vivenciam discriminação podem identificar danos, categorias inadequadas e efeitos contextuais invisíveis para equipes de desenvolvimento. Consultas, testes com usuários, painéis participativos e canais acessíveis de denúncia não substituem auditoria, mas ampliam a capacidade de detectar problemas.

Diversidade das equipes também tem relevância, embora não constitua garantia automática de justiça. Equipes multidisciplinares com perspectivas sociais, jurídicas e técnicas aumentam a probabilidade de questionar pressupostos e antecipar efeitos. O ponto central é institucionalizar contraditório dentro da própria governança, evitando que decisões sobre direitos sejam tomadas exclusivamente por quem mede sucesso em termos de desempenho técnico ou retorno econômico.

Prestação de contas exige atribuição clara de responsabilidades. Em cadeias de IA, desenvolvedor, fornecedor, integrador e controlador podem desempenhar funções distintas. Contratos devem definir acesso a documentação, testes, atualização, incidentes, correção e cooperação com direitos dos titulares. A terceirização tecnológica não deve produzir terceirização de responsabilidade. Quem utiliza o sistema para decidir sobre pessoas precisa avaliar sua adequação ao contexto concreto.

6 MATRIZ DE PROTEÇÃO CONTRA DISCRIMINAÇÃO ALGORÍTMICA RACIAL

A partir dos fundamentos examinados, propõe-se uma matriz composta por oito eixos. O primeiro é finalidade e legitimidade: definir por que a automação é necessária e se existe alternativa menos invasiva. O segundo é governança de dados: conhecer origem, representatividade, qualidade, lacunas, proxies e riscos de inferência. O terceiro é avaliação distributiva: medir desempenho e impactos por grupos pertinentes, com atenção a falsos positivos, falsos negativos e outros erros relevantes. O quarto é documentação: registrar escolhas, limitações, versões, testes e medidas mitigadoras.

O quinto eixo é transparência e explicabilidade orientadas a direitos: comunicar a existência e o papel da automação e fornecer informação útil para contestação. O sexto é revisão e reparação: criar canais acessíveis, revisão humana efetiva, correção de dados e mecanismos de reversão ou compensação quando houver dano. O sétimo é participação e controle: envolver grupos afetados, especialistas independentes e órgãos de supervisão conforme o risco. O oitavo é monitoramento contínuo: acompanhar desempenho após implantação, registrar incidentes, estabelecer gatilhos de suspensão e reavaliar periodicamente a necessidade do sistema.

Essa matriz pode ser aplicada de maneira proporcional. Um sistema de recomendação de baixo impacto não exige os mesmos controles de ferramenta usada para vigilância biométrica, concessão de crédito ou seleção de candidatos. A proporcionalidade, contudo, não deve servir para eliminar controles fundamentais. Mesmo sistemas considerados de menor risco podem produzir efeitos cumulativos quando operam em grande escala ou em ambientes de alta vulnerabilidade.

Em matéria racial, três perguntas devem acompanhar todo o ciclo de vida. Primeira: o sistema utiliza, infere ou reconstrói atributos associados a raça ou a condições historicamente racializadas? Segunda: seus erros ou resultados se distribuem de forma desigual entre grupos? Terceira: caso exista diferença, há justificativa legítima, necessária e proporcional, e foram adotadas medidas de mitigação capazes de reduzir o impacto? Essas perguntas deslocam a governança da intenção para evidência e justificabilidade.

Alguns danos não são plenamente capturados por estatísticas de paridade. Sistemas podem ser igualmente precisos entre grupos e ainda servir a finalidade incompatível com direitos fundamentais. Uma tecnologia de vigilância pode apresentar desempenho técnico uniforme e, mesmo assim, estar inserida em prática excessivamente invasiva. A matriz proposta combina equidade estatística com legalidade da finalidade, necessidade, proporcionalidade e garantias processuais.

Governança antidiscriminatória deve incluir capacidade de interromper o sistema. Organizações frequentemente tratam modelos como investimentos que precisam permanecer em operação. Essa lógica pode criar resistência à revisão. Critérios objetivos de suspensão — aumento de disparidades, mudança de contexto, falha de segurança, perda de qualidade de dados, aumento de reclamações ou impossibilidade de explicar decisões — devem ser definidos antecipadamente. A possibilidade real de descontinuação é parte da prevenção.

7 CONSIDERAÇÕES FINAIS

A discriminação algorítmica racial não pode ser compreendida como falha excepcional de sistemas supostamente neutros. Ela deve ser tratada como risco previsível de tecnologias que aprendem e operam sobre dados produzidos em sociedades desiguais. A automatização pode aumentar consistência e eficiência, mas também pode transformar correlações historicamente discriminatórias em critérios de decisão em larga escala. Por isso, a legalidade de um sistema não se esgota na ausência de variável racial explícita ou de intenção discriminatória.

O ordenamento brasileiro oferece fundamentos relevantes para resposta jurídica. A Constituição estabelece igualdade, dignidade e rejeição à discriminação racial. A LGPD acrescenta princípios de finalidade, necessidade, transparência, prevenção, não discriminação e responsabilização, disciplina dados sensíveis e reconhece direitos relacionados a decisões automatizadas. A atuação recente da ANPD em inteligência artificial, revisão de decisões automatizadas e sandbox regulatório indica movimento institucional em direção à gestão preventiva de riscos.

A principal conclusão é que a proteção contra discriminação algorítmica exige governança do ciclo completo da decisão. Dados, proxies, objetivos, métricas, arquitetura, implantação, explicações, revisão e efeitos devem ser examinados conjuntamente. A avaliação jurídica não deve perguntar apenas se o algoritmo é tecnicamente correto, mas se o sistema é justificável diante dos direitos afetados e se a distribuição de seus riscos é compatível com igualdade e não discriminação.

A matriz proposta — finalidade e legitimidade; governança de dados; avaliação distributiva; documentação; transparência e explicabilidade; revisão e reparação; participação e controle; e monitoramento contínuo — oferece estrutura prática para traduzir princípios jurídicos em deveres operacionais. Ela não elimina a necessidade de regulamentação setorial ou análise casuística, mas fornece base para políticas internas, avaliações de impacto, auditorias e supervisão regulatória.

Tecnologias automatizadas devem permanecer subordinadas a escolhas democráticas e juridicamente controláveis. Quando sistemas classificam pessoas, distribuem oportunidades ou orientam ações estatais, a eficiência não pode substituir a justificabilidade. O desafio da governança de IA é assegurar que a escala tecnológica seja acompanhada por escala equivalente de responsabilidade, contestabilidade e proteção de direitos.

REFERÊNCIAS

AUTORA. Referência suprimida para preservar a avaliação às cegas. 2026.

BENJAMIN, Ruha. Race after technology: abolitionist tools for the New Jim Code. Cambridge: Polity, 2019.

BRASIL. Constituição da República Federativa do Brasil de 1988. Brasília, DF: Presidência da República, 1988. Disponível em: https://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm. Acesso em: 20 set. 2026.

BRASIL. Lei nº 12.288, de 20 de julho de 2010. Institui o Estatuto da Igualdade Racial. Brasília, DF: Presidência da República, 2010.

BRASIL. Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Brasília, DF: Presidência da República, 2018. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709compilado.htm. Acesso em: 20 set. 2026.

BRASIL. Agência Nacional de Proteção de Dados. ANPD apresenta resultados da Tomada de Subsídios sobre Inteligência Artificial e Revisão de Decisões Automatizadas. Brasília, 19 maio 2025. Disponível em: https://www.gov.br/anpd/pt-br/assuntos/noticias/anpd-apresenta-resultados-da-tomada-de-subsidios-sobre-tratamento-automatizado-de-dados-pessoais. Acesso em: 20 set. 2026.

BRASIL. Agência Nacional de Proteção de Dados. Agenda Regulatória. Brasília, 2026. Disponível em: https://www.gov.br/anpd/pt-br/assuntos/regulacao/agenda-regulatoria-1. Acesso em: 20 set. 2026.

BRASIL. Agência Nacional de Proteção de Dados. ANPD publica metodologia de testagem do Sandbox Regulatório em IA e Proteção de Dados. Brasília, 19 ago. 2026. Disponível em: https://www.gov.br/anpd/pt-br/assuntos/noticias/anpd-publica-metodologia-de-testagem-do-sandbox-regulatorio-em-inteligencia-artificial-e-protecao-de-dados. Acesso em: 20 set. 2026.

BRASIL. Agência Nacional de Proteção de Dados. Publicados primeiros resultados do Sandbox Regulatório em Inteligência Artificial. Brasília, 2 jul. 2026. Disponível em: https://www.gov.br/anpd/pt-br/assuntos/noticias/publicados-primeiros-resultados-do-sandbox-regulatorio-em-inteligencia-artificial. Acesso em: 20 set. 2026.

BUOLAMWINI, Joy; GEBRU, Timnit. Gender Shades: intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research, v. 81, p. 77-91, 2018. Disponível em: https://proceedings.mlr.press/v81/buolamwini18a.html. Acesso em: 20 set. 2026.

NOBLE, Safiya Umoja. Algorithms of oppression: how search engines reinforce racism. New York: New York University Press, 2018.

O'NEIL, Cathy. Weapons of math destruction: how big data increases inequality and threatens democracy. New York: Crown, 2016.

SILVA, Tarcízio. Racismo algorítmico: inteligência artificial e discriminação nas redes digitais. São Paulo: Edições Sesc São Paulo, 2022.